Microsoft Fabric for AI Readiness with a Data Mesh Strategy

Microsoft Fabric for AI Readiness采用数据网格策略 Contents Introduction01 了解企业的 AI 准备情况 02 简要概述 ： 认识数据管理中的问题03 引入数据网格 ： 数据体系结构的范式转变04 数据网格的四大核心原则05 Data Mesh 的好处06 Microsoft Fabric for a Data Mesh: 您需要的一切07 企业数据和 AI 数据网格战略 ： 帮助您提升 AI08 准备金字塔基础水平 ： 奠定基础09 分析水平 ： 跑步前走10 变革水平 ： 奔向创新Hexaware AI 就绪性评估的 11 个好处12 Hexaware 的 Fabric 实施服务13 后续步骤 ： 最大限度地购买 Microsoft Fabric14 15Conclusion 在过去的十年中，大数据的兴起以及Hadoop等技术的应用促使许多企业集中精力收集大量数据。然而，对数据积累的关注往往缺乏明确的数据管理或价值提取策略。因此，公司发现自己被海量的原始数据所淹没，难以应对数据的复杂性。 01Introduction 它现在变得明显，数据的真实价值不在于其数量，而在于其能否驱动可操作的见解——而如今，这种情况更多是通过AI实现的。这一认识强调了数据管理策略和先进AI分析的重要性。 如今 ， 企业采用人工智能的推动力比以往任何时候都强。根据麦肯锡最近的一项调查 ，72 ％ 的企业现在正在以某种形式利用 AI从几年前的水平显著增加。关键驱动因素包括负担得起的AI工具的广泛可用性、数据量的爆炸性增长以及对AI在自动化、决策和体验方面潜力的认识。 这份白皮书旨在探索如何通过Microsoft Fabric的数据网格原则加速AI就绪评估和数字化转型项目。它提供了传统数据管理挑战的见解、采用现代数据架构的优势，以及Hexaware量身定制的Fabric解决方案如何帮助企业充分利用这些优势以获得竞争优势。 企业对人工智能的准备能力是指能够在运营过程中有效播种、培育和扩展人工智能的能力。这不仅限于在适当工具到位的情况下打下基础。我们确信，将人工智能作为核心业务的企业能够迅速适应市场变化并持续创新。 了解企业的 AI 微软的“大规模AI”倡议是一种在2020年引入的开创性方法，旨在将下一代人工智能技术扩展到公司的产品和平台。结合微软最新的企业平台Fabric后，这一愿景已不再是预言。 我们进一步提出了将 Fabric 与数据网格结合以实现纯净治理，并结合或探索AI 转型。但更多内容留待后续讨论！ 首先 ， 这里有一些关于 AI 准备障碍的标识符。 数据基础架构 天赋和技能 技术基础设施 战略调整 伦理考虑 企业面临由于过时的企业数据管理策略所带来的困难。即使借助先进的云技术使数据能够满足当今AI应用的需求，您的企业团队也需要有效地管理所产生的数据，并专注于整体的AI就绪目标。 以下是几个指标 ， 可帮助您识别数据环境中的问题 ： 数据孤岛 •有限的可访问性 ： 数据被锁定在孤立的环境中 ， 限制了分析 / AI 的使用。•碎片化 ： 数据分散在系统 / 部门中 ， 难以整合 / 分析。•质量不一致 ： 来自不同来源的数据集具有不同的准确性和完整性。 •不准确 ： 错误 ， 不一致和过时的数据 ， 导致不可靠的见解。•缺失数据 ： 不完整的数据集阻碍了企业分析 / AI 的有效性•数据集成问题 ： 数据集成需要比需要更多的时间 ， 从而导致更多的错误。 数据可扩展性 •性能瓶颈 ： 传统仓库无法处理增加的工作负载。•基础设施复杂性 ： 资源 / 成本密集型的复杂数据基础设施。•成本限制 ： 计算大型数据集的成本增加 ， 这可能是令人望而却步的。 治理与合规 •••数据安全 ： 敏感数据容易发生未经授权的访问、泄露和战略问题。法规合规性 ： 不遵守各种数据隐私和安全法规。数据所有权 ： 确定谁拥有和管理成为冲突源的数据。 为了克服这些挑战，你需要采取正确的步骤。你需要采用支持灵活、可扩展和集成的企业数据的现代数据策略。将类似数据网格的数据策略与先进的数据/AI平台（如Microsoft Fabric）相结合，可以为传统系统的局限性、多平台数据配置以及最终的数据管理不佳提供一个有前景的解决方案。 04引入数据网格 ： 数据体系结构的范式转变 一种简化数据治理的数据架构策略——数据网格，是一种分散化的数据管理方法，将数据视为产品，并由最了解该数据的团队进行拥有和管理。 数据网格的指导原则简单而强大：数据所有权在企业内部跨领域分布，每个领域对其自身的数据完全负责。这是如何实现的呢？让我们来探讨一下。 不同于传统的架构策略，数据网格架构策略通过增加团队使用、治理和扩展数据/AI分析的灵活性，强化了企业数据管理。 一个数据网格旨在解决在大型复杂商业环境中扩展数据管理并治理数据架构的挑战。 数据网格方法的四个核心原则05 1. 面向域的数据所有权 一个数据网格将数据所有权分散到各个领域或团队。每个领域负责管理和提供其自身数据作为产品。这种方法赋予团队对其数据的所有权，提高问责制，并确保数据由最了解该数据的人进行管理。 2. 数据作为产品 将数据视为产品意味着数据不仅仅是运营的副产品，而是一种需要精心管理并持续改进的资产。每个领域负责提供高质量的数据产品，这些产品可靠、可发现且易于其他团队访问。 3. 自助数据平台 数据网格促进了自助式数据平台的使用，这些平台使团队能够无需强烈依赖集中式的IT支持即可访问和使用数据。这些平台提供了团队独立管理数据、运行分析并与其他数据源集成所需的各种工具和基础设施。 4. 联邦计算治理 为了确保去中心化数据管理不会导致混乱，数据网格（Data Mesh）引入了联邦计算治理。这涉及标准化的数据质量、安全性和合规性政策和实践，同时允许各个领域独立运作。治理措施保持一致但针对不同的领域进行定制。 1. 易于扩展和灵活的数据 06 分散式数据管理通过数据网格可以有效扩展数据。各个领域可以独立扩展其数据产品和基础设施，越过瓶颈并迅速应对颠覆性变化。 2. 提高数据质量的所有权 当最接近数据的团队负责管理数据时，问责制将成为你的强项。领域领导者的支持使维持高标准的数据变得至关重要，从而提升可靠性。 3. 更好的跨团队协作 您的团队在数据易于访问和互操作的情况下协作得更好，这促进了各领域轻松共享数据产品，提高了创新成功的概率。 4. 减少数据处理瓶颈 传统数据管理由于集中化导致出现瓶颈。数据网格通过明确界定数据管理职责来缓解这一问题，从而实现更快的工作流程。 随着企业越来越多地在复杂且动态的环境中运营，数据网格与灵活适应的数据管理相契合。它能够迅速集成新的数据源，并通过实时洞察加速战略调整。 数据网格提供了一种跨领域管理和使用数据的变革性方法。充分发挥其潜力需要正确的策略，这就是Microsoft Fabric发挥作用的地方。 什么是 Microsoft Fabric ？ 适用于数据网格的 Microsoft Fabric ： 企业数据和 AI 所需的一切07 Microsoft Fabric 是数据和AI的汇聚点。该平台通过利用Microsoft AI功能、插件和协同员，转变了团队进行数据集成、转换和可视化的方式，提供了企业级数据和AI所需的一切。 当以有机增长的数据景观实施时，Fabric 将数据网格赋予生命。以下是使用Microsoft Fabric 创建面向 AI 的数据网格的详细分解，适用于去中心化、数据驱动的环境： 1. 使用 Fabric Workspaces 分散的数据所有权 Microsoft Fabric 通过以领域为中心的工作空间支持这一功能。Fabric 允许团队创建专门针对特定业务领域的 workspace，为特定领域的数据提供隔离的同时，允许领域所有者完全控制数据管道和工作流。Fabric 工作空间促进独立开发，同时保持联邦治理结构。 •织物工作空间：每个领域都拥有一个专门的工作空间，用于托管其自己的数据模型、湖存储和仓库，从而实现分散化的DevOps、DataOps和AIOps等。 2. 带 Fabric 平台的自助数据基础设施 数据网格的一个核心原则是为团队提供所需的工具和平台，使它们能够独立地构建、管理和消费数据产品，而无需依赖单独的团队来提供集中化的基础设施。Microsoft Fabric 提供了一个易于使用且自助服务的平台，在简化基础设施复杂性的同时提供了强大的工具以支持可扩展的解决方案。 •数据工程与数据科学： Fabric 包括 Azure Data Factory（用于数据管道）、Synapse（用于数据分析）和 Azure Machine Learning，允许领域团队设计、部署和维护自己的数据管道、数据/AI 模型以及人工智能驱动的解决方案。 •Power BI用于可视化：通过Power BI与Fabric的紧密集成，团队能够轻松构建并分享基于领域中心化数据模型的见解。 3. 使用 Fabric Lakehouse 的数据即产品 遵循其核心理念，将数据视为产品，每个领域负责提供高质量、可访问且可靠的数据集。Microsoft Fabric的Lakehouse架构基于OneLake构建，结合了数据湖和数据仓库的特点，确保每个领域可以发布可发现、互操作且可重用的数据产品。 •数据产品的湖屋：Fabric的湖屋允许各个领域以可查询和易于访问的方式存储结构化、半结构化以及非结构化数据。 4. 与 OneLake 联合治理和安全 尽管数据网格鼓励分散的数据所有权，但也需要联邦治理以确保跨领域的一致性、安全性和质量。 Microsoft Fabric 通过 OneLake 帮助确保治理，在不同领域支持统一的数据安全、访问控制和审计政策，而不牺牲自主性。 •统一数据治理：通过将Microsoft Purview集成到Fabric中，特定领域的团队可以确保所有数据产品的一致性数据治理实践（如数据血缘关系、目录管理和访问管理）。 •行级安全与基于角色的访问控制（RBAC）：这些功能使Fabric能够使数据所有者在其数据的安全性方面拥有控制权，同时为消费者提供细粒度的访问权限，从而满足联邦治理的关键要求。 5. 跨域数据发现和共享 一个数据网格强调了跨领域数据产品的互操作性。Microsoft Fabric利用共享数据集和集中式数据目录，使消费者能够轻松发现、连接并使用来自其他领域的数据。 •数据目录与发现：Fabric 集成了 Purview（一种数据治理解决方案），实现了统一的数据目录，在该目录中，领域所有者可以发布其数据集的元数据，从而使其他团队更容易发现和使用这些产品。 •实时数据共享通过OneLake实现：各个领域可以在工作空间之间共享数据集，从而实现跨领域的便捷数据使用，同时保持数据的所有权和治理。 微软 Fabric 提供了一套强大的工具和服务，自然地与数据网格的原则相契合。以下是帮助您提升 AI 准备金字塔的各项功能。 1. 统一的数据和 AI 分析平台 Microsoft Fabric 提供了一系列服务，涵盖数据迁移、数据湖、数据工程、数据集成、数据科学、实时分析以及商业智能。 2. 架构良好的数据存储和访问解决方案 Microsoft Fabric 提供统一的数据存储和访问解决方案。它将数据库、分析、数据集成和商业智能与工作负载集成在一起，提供共享的云端体验。 3. 高级数据集成和转换解决方案 微软 Fabric 是一个强大的数据集成和转换平台，帮助您高效管理数据。它有助于为人工智能应用、分析等领域准备数据。 4. 支持 AI 功能、插件和副程序 Microsoft Fabric，依托人工智能技术，提供了数据集成、代码编写、洞察发现、报告创建以及最终的