数据分层行动手册：基于价值的数据访问方法

白皮书数据分层剧本:基于一个值的方法数据访问 白皮书好处和挑战如果您的组织与大多数组织一样，那么您很有可能有更多比你知道如何处理数据。也有可能您有大量隐藏、存储在错误位置或只是普通的数据无法访问，几乎没有提供洞察力或价值你的业务。数据分层对于许多组织来说，数据分层的做法是变得越来越必要。首先，它创造了可持续和可管理的方式来理解所有数据所在的位置，同时为您提供能力迅速从任何地方访问它,当你想要的它。这种级别的数据访问反过来,生成新的运营效率 — 提供更好的可视性您的环境,提高监测和努力创建更清晰的整个数据图片监管合规审计师的格局为您的企业。要从数据中创造最大价值，您必须创建一个数据的策略。但你在哪里开始?作为任何迭代数据策略的先决条件，您首先必须了解您拥有哪些数据并确定对您的业务最重要的是什么 — 流程称为数据分层。数据分层的核心是对企业数据进行优先级排序和排名的做法最关键到最不常用 — 考虑地理、合规性或格式限制 — 以及在云数据中对该数据进行适当分类平台orm或存储系统。数据分层是开发全面的数据策略,这就增加了三个主要的组件:1. 组织和优先级数据摄入,根据其业务价值(用例)。您更大的数据访问策略旨在分配各种硬件类别中的数据，可以广泛在搜索工作中可见，本质上为您提供使用用于路由所有信息的框架。理想情况下,这个框架也可以生成效率和可持续的数据流程,会帮助你优化成本,提高投资回报率,最终提取业务价值.2. 加快促进搜索功能时间来调查。3. 创建一个具有成本效益的存储的方法。但是让数据分层值得吗?成本优化和捕获更多数据的能力能帮助你:就像一个巨大的春季大扫除项目一样，该行为对大量无组织数据进行排序可以en是一种恐吓——如果不是压倒性的努力，造成瘫痪，阻止你迈出第一步。加剧这种瘫痪的是需要管理成本，导致拼凑造成盲点的点工具和解决方案并阻止组织充分实现其数据的价值。•找到一个具有成本效益的解决方案为每一个数据类型和用例。•释放已经紧缩的预算来捕捉的剩余数据。• 使其与经济型架构保持一致的规模。虽然有很多好处,组织(en)遇到阻碍他们抢先的障碍踏入他们的旅程。一些挑战包括人员短缺和缺乏高级专业人员数据科学与专业知识。为了缓解一些困惑，本文提供了一个开始确定数据优先级的方法主动性，同时阐明您可以从中实现的价值数据分层。数据分层行动手册：基于价值的数据访问方法2 白皮书定义你的数据层其他挑战包括缺乏时间实施能够跟上其指数级发展的数据战略上升，以及缺乏整体带宽。因为许多各种规模的组织已经感觉被他们的数据淹没了，这并不奇怪他们还担心进行大规模的分类锻炼会要求他们花更多的时间,没有任何真正清晰度的技术、资源和技能他们会意识到的好处。将数据调整为值类别非常重要容量规划方面。我们已经确定了三个基于数据对业务价值的数据分层，以及由使用频率:•层 1: 高价值的•层 2: 中值•层 3: 低价值其他进入障碍包括预算和资源由于相互竞争的组织优先级而导致的限制。缺乏资源也可能延伸到自动化分层功能的技术。附加障碍包括误解源类型和由于普遍缺乏经验而分类。层 1 数据 被认为是最关键和高吗最常搜索的值数据，以及触手可及的监控和进行广泛的调查。虽然它不同对于每个组织，安全和威胁数据（数据检测和警报事件所需的），以及使用业务敏感的 IT 运营数据（数据帮助您触发必要的工作流程），所有这些都可以可以想象属于这一类。也就是说，有大量的安全和 IT 运营数据不一定属于第 1 级类别。数据如作为全保真 VPN 日志、非关键物联网数据、各种访问模式和资源利用率都可能更适合较低的层。也许最重要的原因之一阻碍了数据分层的努力是成本。对于大多数组织，IT Ops 被视为成本中心领导力——必须通过专注来证明其价值在减少开支的方法。当涉及到数据分层，这可能意味着管理员转向一连串不同的点房子选择数据集的工具以抵消其他地方的成本。结果碎片化的环境带来了更多挑战当基础架构和 IT 堆栈如此复杂时并且脱节，即有凝聚力的数据集成变得几乎不可能实现。层 2 数据 可能包括的信息吗重要的和需要监控,但较少经常搜索。为低收入补充数据频率相关、法医调查以及作为会计、人力资源和其他部门应用，训练数据、内部订单处理等分析数据都可能属于这一类。但是，像任何投资一样，将更多的精力投入到以下方面预先确定数据优先级将减轻您的工作量未来，为您成功做好准备。这是你如何可以采取优先处理数据的第一步，并且组织证明它的价值。层 3 数据 被认为是低价值的业务因为它的使用频率低于其他数据层，但仍需要存储历史或存档要求。大多数审计和合规性数据属于此类别，其中包括信息需要保留GDPR，PCI，等法规袜和CCPA。数据分层行动手册：基于价值的数据访问方法3 白皮书请记住，数据价值可能因团队而异及其各自的用例，因此将被分层不同。什么可能被认为是第 1 层到安全或 DevOps 团队，可能会被置于第 2 层或按 IT 运营或其他部门划分的第 3 层类别。为了缓解这些对齐挑战，数据分层当所有利益相关者时，倡议将最有效与更广泛的数据策略保持一致。在优先级方面，您需要知道正在生成哪些数据以及哪些数据在您的组织。太好了，利益相关者不知道他们的组织中存在哪些数据，如果有，他们不确定谁拥有它或谁可以访问它。为了解决这些关键的知识差距，您可以烘焙在变更控制请求流程中融入您的整体计划时间表。向正确的利益相关者将有助于减少执行延迟当谈到时间移动数据。要打破其中一些孤岛，您需要携带利益相关者共同获得清晰度和透明度关于每个团队和部门正在做什么以及他们如何看待相关数据的重要性到他们的工作职能。以下是一些最佳实践请记住:•我怎么访问这个数据?•是谁使用这个数据和为什么它是重要的给他们吗?接下来，您需要按用途描述数据（例如，“IT 基础架构数据”）、应用程序或资源类型（例如，“Windows 数据”），或按源类型 — 日志应用程序或系统中的发射器数据（例如Windows CPU 性能），按主题和数据独一无二形状。这也意味着了解其具体用例，这将需要提出以下问题：•确定用例他们想要地址和业务需求驱动他们的任务。•理解不同数据源:谁拥有今天他们,他们住的地方,和识别可能涉及的关键利益相关者受益于明天访问它们。试图真正了解管理员生活中的一天或分析师和数据对他们意味着什么。•什么是这个数据到我的重要性组织?•定期沟通与所有关键利益相关者可能影响或使用相同/相似吗数据集。反之,也理解数据他们首先优先考虑可能优先级较低的优先级给你。• 某些功能需要这些数据和工作流?• 数据需要什么样的操作？（即，它会被用于调查的目的或需要要监视吗?)无论您是在对数据进行分层还是进行协作更全面的战略,没有明显的数据努力可以单独执行。你会定期需要大量的帮助团队和涉众随着数据策略的扩展，整个组织和发展。开放的沟通渠道从一开始就建立信任，创造透明度和维持更愉快的工作环境。然后，您可以微调优先级练习更精确地用例数据服务,其相应的业务需求保持一致。的以下是一些问题你也可以考虑问:•需要数据的频率是什么?•数据住在哪儿?• 我需要多快的数据才能返回搜索？实现数据分层•每天，每月，每季度的数量是多少或年度搜索需求?现在,我们已经定义了数据类别根据它们对您的业务的有用性或价值，让我们探讨一下如何实际对数据进行分层。一个成功的数据分层策略一致优先考虑的业务目标,然后描述用例以及推动这些目标的数据源。•我怎么搜索的时候吗?•数据成本多少钱?是什么估计价值与体积比?数据分层行动手册：基于价值的数据访问方法4 白皮书若要进一步向下钻取，还需要确定如果您最紧迫的数据需求与堆栈有关现代化和架构，或者如果是为了实现更多有权访问更多数据的用户。为了支持您的决策，您还应该问以下问题:这些限制可以确保你理解建立一个路由、存储和搜索架构适合您的业务需求。•忠诚 要求: 保真度要求en与用例的类别,并帮助吗确定类型的数据准备要求,以及优化的存储和搜索工具是必要的。•最频繁访问的是什么源类型?•体积 减少/数据 准备: 知道在数据需要转换或准备任何方式有助于确定相应的数据运动工具,如果有一个。•什么是每日所需数量的搜索在一个给定的源类型?•体积比实际值是什么?•什么工具将相关数据?•数据 来源: 可能影响的数据源代理和数据收集策略。•这多用或数据地址一次性?作为最后一步，您需要映射您的分类到适当的存储层、体系结构方法、数据准备和格式设置需求。再次，映射高度取决于您自己的独特数据需求，业务战略和预算。请考虑以下事项当做出这个判断的问题:也有很多类别将数据分层策略设计为sourcetype,其中一些可能包括:•On-prem vs。 云 迁移 友谊:知道你在云之旅危急。虽然获取数据相对便宜，如果您想移动它，费用可能会迅速增加云之间和其他环境。优先考虑哪部分数据可以迁移到云以最少的努力。此外，虽然它需要很多好处,支持混合或multicloud战略还可能导致数据孤岛和工具蔓延，你还需要解决,确保满了吗在您的环境中可见性。•解决方案最佳映射到您的组织的大数据战略?•解决方案减少了许多工具参与这个过程吗?•解决方案的成本会更低?•解决方案将提供长期的成功而不是一个短期的赢了吗?预先对数据进行分类并不总是那么简单你的价值的过程——在所有阶段对齐练习，您将需要不断和迭代评估用例、性能和调查级别。但是一旦你把你的分类数据准确且令您满意，您将拥有为今后的步骤奠定了坚实的基础。•主要的 数据 类别: 每一块数据用于多种用途，但主要属于少数类别类型之一。选择具有最常见的使用将有助于更好的一致成本的目的。•最高 使用 情况下 类别: 访问频率指示数据值的级别，以及您愿意为存储它而产生的成本。理解有些数据经过一个完整的生命周期监控合规随着时间的推移,和比纯粹的合规数据区别对待。从数据层实现的价值确定数据的优先级对于重新评估数据至关重要随着数据量的增加，组织的基础架构在年龄和价值上。因此，重要的是要采取看看你的环境很难确定优化工作可以更多的什么高效。减少数据的总量通过分层将释放计算周期，从而降低存储成本,帮助促进更多准确的搜索。反过来，提高搜索效率，•区域 数据 限制: 原始的数据在不同的地区,可能会有区域合规要求,如个人(PII)屏蔽或个人可识别信息数据,需要保持在这些边界。数据分层行动手册：基于价值的数据访问方法5 白皮书将创造额外的成本节约，允许您快速解决中断和事件，同时将加速器的审计过程。攻击，识别并遏制威胁。正在尝试在多个威胁信息中查找相同的威胁信息但是，系统和工具可能会延长时间攻击者在您的网络中花费，或导致不准确调查，同时增加价格成本清理和修复的af ermath。作为此评估的一部分，您可能还需要考虑一种治理方法，它将建立最好的流程、角色、政策、标准和指标将有效和高效地使用您的数据，确保它在整个组织中的质量和安全性，以及帮助您实现业务目标。这将意味着确定组织中的谁负责管理和监视数据分层策略（一些组织有一名首席数据官，他成为CIO办公室内的实际所有者。他们还将负责确定频率他们审查战略和他们做出的决策在变更控制过程。这个例子突出的价值联邦 搜索,允许组织关联和搜索同时跨所有三个层使用集中式平台orm定制查询机器的数据。对于组织而言，这意味着全面了解整个数据生态系统 — 即使它仍保留在其孤岛 — 直接转化为更快的检测时间和解决。在其众多好处中，联合搜索将帮助您：•根据数据的价值层有效地筛选和路由数据此外，您还需要大力评估数据库中工具的数量和类型。如前面提到过，组织 en 诉诸使用各种零碎的解决方案或存储可能提供一些短期的较低数据层储蓄。但是，管理许多工具不通信 en 会导致数据被隐藏，不容易访问或根本不为人知——所有这些都是可能会对您的业务产生严重且代价高昂的影响从长远来看。您可能会实现哪些成本节约最初将被需要添加更多内容所掩盖员工、专业知识和整体可见性，以弥补非集成工具。因此，竞争价格和成本成为一个失败的游戏。•使用低收益和高价值的数据成本有效的• 以最小化成本的方式存储数据和价值最大化• 通过搜索访问您的数据，无论数据位于何处存