数据4.0：构建人工智能就绪型数据体系

2024年9月 表内容 第一章：企业为什么需要人工智能准备好的数据？07 第二章：向数据4.0的演化13 第三章：实现人工智能就绪数据21 第四章：印度企业的数据准备与治理27 第五章为智能体未来做准备31 前言 人工智能（AI）和生成式人工智能（GenAI）正在改变企业的运营、创新和竞争方式。然而，有一个关键因素支撑着它们的成功：数据质量。正如先进的算法和强大的计算机至关重要一样，它们所依赖的数据质量也同样重要。今天，高质量的数据构成了现代商业运营的基石。 有效利用这些数据，然而，也带来了自身的一套挑战。人工智能输出的速度和准确性取决于获取当前、相关的数据集，而低质量的数据可能导致错误的结果。对数据重要性的日益认识推动了数据管理的重要演变，从简单的数字记录转向复杂的、云原生的数据堆栈。这些系统提供灵活性、可扩展性和集成能力，这对于释放人工智能的全部潜力至关重要。 数据4.0通过将数据视为数字转型的核心战略性资产，实现了重大飞跃。它采用云原生、元数据驱动的方法，并利用智能自动化，大规模地提供运营洞察。 本报告提供及时、实用的指导方针，这些方针基于实际经验，并展望了组织应如何评估其数据现状的前瞻性观点。报告追溯了数据管理的发展历程，并引入了一个适用于人工智能的数据七支柱框架，该框架兼顾了技术和战略方面，同时将数据计划与业务目标相结合。 随着我们迈向“代理未来”，人工智能系统日益自主，我们今天建立的数据基础将塑造我们的成功。生成式人工智能的时代并非遥不可及——它正在展开。重视今天数据准备的组织将引领明天，利用人工智能的潜力来推动创新、效率和发展。 阿莱克西·托马斯合作伙伴，技术咨询服务 EY 印度 前言 “你们的研究只有你们的数据好” “你们的分析只有你们的数据好” “你们的结论只有你们的数据好” 这些和类似的说法已经讨论了很多年了。我们听到类似这样的说法，但公司是否真的在采用它们所说的？嗯，在这个新的AI/GenAI世界里，它们最好是真的！ 数据和数据处理流程以及数据管理的规范比以往任何时候都更加重要。真正将数据作为战略资产进行管理，不再仅仅是“锦上添花”，而是任何组织成功的强制性要求。尤其是在今天，随着组织努力拥抱人工智能（AI）和生成式人工智能（GenAI）以提升业务、了解市场、改善客户服务并提高效率，认识到数据对这些新技术的重要性至关重要。“你的AI好坏取决于你的数据”是我们现在都必须接受的观点！ 在下文中，EY合伙人亚历克西·托马斯出色地阐述了数据管理采用的论点。这篇文章做得如此出色之处不在于你会发现任何特别的新颖之处，而在于你会发现亚历克西如何利用数据管理的各种已知能力，并以清晰且建设性的方式将它们对齐，从而论证数据管理作为你人工智能项目和成功的基础的重要性。 阿莱克西提出了数据准备的三项关键领域——数据完整性；数据管理和数据库性能，并将它们与人工智能准备数据的关键考虑因素联系起来——包括数据治理；增强数据可发现性并现代化应用堆栈。他指的是这种概念构建，称之为“数据4.0”。他通过强调利用当今云技术的重要性；建立强大的元数据管理和数据目录基础，并提供透明度并改善数据访问，同时保护并确保数据被有效和合乎道德地使用，来阐述这些概念。 那么这些为什么如此重要呢？因为如果企业不采用规范化的数据管理，它们在成功实施人工智能项目方面将面临重大挑战。作为全球数据管理协会，EDM论坛即将迎来成立20周年，它一直致力于通过推广DCAM（数据管理能力评估模型）来提高大家对基础数据管理最佳实践的认识。当你仔细阅读这篇论文中阐述的AI就绪型数据框架的7个支柱时，你就会看到数据管理最佳实践将是成功实施人工智能项目的重要基石。 如果你相信“你的AI只有你数据那么好”，那么请回顾并接受Alexy Thomas在这篇论文中提供的概念。作为一名几十年的数据管理从业者，我可以自信地说，Alexy成功地为数据管理对AI的重要性进行了论证！ 约翰·博泰加EDM委员会主席 601企业为什么需要人工智能准备好的数据？ 企业为什么需要人工智能准备好的数据？ 在过去两年中，世界见证了人工智能能力的空前激增，开启了技术的新时代。生成式人工智能（GenAI）的崛起加速了人工智能向真正的通用技术的演变，民主化了获取并推动了各领域的创造性实验。全球企业正迅速超越点解决方案，将横向人工智能应用整合到内部职能中，以实现持续的竞争优势。随着人工智能继续重塑全球技术格局，印度正成为关键参与者。有望成为人工智能最大的市场之一，该国正转变为一个巨大的人工智能应用游乐场，推动企业增长和生产效率。 非结构化数据，包括视频监控和公司记录，因为神经网络被设计为使用图数据结构来模拟复杂、非线性的关系。这种通常存储在文件系统、DAM系统、CMS和版本控制系统中的数据可以提供基于客户信息的高价值AI洞察。 在金融服务等领域，由于长期的多渠道互动关系，银行拥有丰富的客户数据。这为深入了解客户和组织提供了绝佳的机会，但企业尚未充分利用它。 无法充分获取非结构化数据可能导致视图不完整和不充分，进而可能阻碍人工智能的发展和应用。 面向消费者的技术、下一代供应链和智能自动化平台的投资，有潜力以人工智能优先的方式引领发展，跳过传统模式。2024年EY首席执行官展望脉搏调查报告称，99%的CEO计划投资生成式人工智能。生成式人工智能的实施可能会显著推动印度的GDP增长。根据EY的一项研究，到2029-30财年，这可能在基线预测之外增加3590亿美元至4380亿美元，该年的增长率将达到5.9%至7.2%。 存在三个关键领域用于数据准备。它们是： • • 数据完整性 ••确保所有来源的高质量、一致性数据••实施严格的数据清理和验证流程••定期审核数据以确保准确性和完整性 人工智能的进步依赖于复杂的算法、计算能力以及大量的高质量企业数据。这些数据对于各行业的决策、客户互动和运营至关重要。AI价值链受益于数据和分析能力的提升，从而改进从个性化推荐到自动化筛选的方方面面。 • • 数据管理 数据质量和数量对人工智能的成功至关重要，包括生成式人工智能、机器学习和分析。低质量数据会导致不准确的结果，而实施速度取决于当前的、相关的数据集。建立开放和可信数据基础的组织将最好地利用其数据资产。 • • 数据库性能 ••优化数据库结构以支持人工智能工作负载••确保可扩展性以处理增加的数据处理需求••实现高效的数据检索机制 整合结构化与非结构化数据 结构化数据集在历史上一直为传统人工智能开发提供了基础，因为它们通常关注数值或类别预测、模式识别或自动决策。然而，未来的人工智能应用，尤其是生成式人工智能，需要半结构化和 GenAI依赖于坚实的数据成熟度基础，这涉及到一个组织在整合数据（通过移动和转换数据等流程）和管理其治理方面的卓越表现。没有数据成熟度，GenAI（或任何类型的分析）的原型设计、部署和有效测试将变得极具挑战性。 和业务所有者。在这种情况下，数据集成不良的后果可能是严重的，可能会导致银行和业务所有者都遭受财务损失，损害客户关系甚至监管合规问题。 利用非结构化数据实现人工智能成功 印度组织仍在其数据管理成熟的道路上。为了充分释放GenAI应用的潜力，企业必须有效采用一种平衡技术、人员和流程的战略方法。通过将数据战略与包括根据GenAI进展重新评估数据战略目标在内的AI目标相结合，组织可以有效地利用其非结构化数据。 通过实施一项综合策略来利用非结构化数据，企业可以显著提升其人工智能能力，从而在各个行业和应用中提供更准确、个性化且更有价值的 AI 驱动服务。例如，一家全球银行正在利用其社交媒体账号的信息来识别潜在客户并评估信用风险。通过分析这些非结构化数据，该银行已扩大其向更广泛客户群体提供信贷的能力，同时同时降低违约风险。 想象一下，一家小企业的业主通过银行的在线平台申请贷款，在那里他们与一个AI驱动的财务顾问互动，以获得个性化的指导。为了有效，AI需要访问各种数据源：结构化数据，例如申请人的财务历史、纳税申报表、信用评分、现有贷款和账户余额；以及非结构化数据，包括业务绩效、市场趋势和经济预测；以及银行内部数据，包含最新的贷款法规和合规要求。 数据需求及来源 当企业和政府考虑数据访问时，重要的是要牢记数据需求和数据访问问题会因行业而异。例如，在金融服务领域，人工智能应用侧重于客户体验、产品设计和管理风险，需要包括客户交互、市场数据和财务记录在内多样性的数据集，而医疗保健则依赖患者记录、医学影像和监管数据用于临床服务、外展和合规。零售和农业强调产品设计、采购和生产计划，利用市场研究、土壤条件和物流等方面的数据。 该人工智能系统必须分析结构化与非结构化数据，以提供准确建议并有效导航贷款申请流程，同时遵守金融法规和数据保护法。如果人工智能系统无法正确访问或解释这些数据源，则存在提供错误贷款资格信息、不合适的产品推荐或忽视关键财务因素的风险，这可能导致银行决策失误并引发潜在的财务或监管问题。 获取数据的好处 优化数据用于人工智能可以释放组织的增长潜力。一个整合、安全和合规的数据生态系统有助于获取洞察力、发现隐藏趋势和进行准确预测。人工智能模型还可以提供更快、更可靠和准确的输出。 这种数据驱动的方法使团队能够无缝协作并专注于战略。分析师可以深入更高层次的分析，而数据科学家可以自由地探索前沿，从而催化变革性的突破。 人工智能赋能的数据战略 复杂技术项目数据 大规模的转型计划正在进行中，应该评估利用人工智能组件来简化流程（例如，EPM、ERP升级/合并、CRM功能）。 更好地服务客户通过利用人工智能算法分析客户行为和偏好，企业可以定制其产品或服务，创建个性化的沟通内容，并识别高潜力的潜在客户，最终推动销售额和客户忠诚度。 组织如何利用人工智能及其互连性来发挥核心数据能力 运营效率这是投资数据和人工智能的另一个关键优势。这些技术实现了可扩展的运营，使企业能够在不增加成比例成本的情况下处理增加的客流量。人工智能驱动的流程优化和资源配置可以显著减少低效，从而提高生产率并降低运营成本。例如，制造工厂可以优化生产计划，而零售连锁店可以根据人工智能预测的需求更好地管理库存分配。 关键在于，这个基础通过提升客户互动、交叉销售、向上销售和数字营销优化来增加收入。例如，如果客户在电商平台上购买相机，平台可以分析与摄影相关的标签和讨论，以推荐流行的配件或技术用于交叉销售。如果许多相机客户询问有关弱光摄影，它可以优先推荐弱光优化镜头或配件。类似地，通过挖掘产品评论、分析客户支持互动、利用用户行为数据进行个性化、应用图像和视频分析以提供情景感知建议，平台还可以呈现向上销售的机会。 通过战略性地实施数据驱动的AI计划,组织可以实现这些多方面的好处,从而提高财务表现,增强竞争力,并在日益以数据为中心的商业环境中实现长期可持续性。关键在于使AI战略与业务目标保持一致,并有效利用结构化和非结构化数据,以推动组织各个方面的明智决策和创新。 通过释放数据的全部潜力，该组织为自己赢得持续增长和市场领导地位，在当今数据驱动型格局中提升了竞争优势。 更新的收入模式让数据驱动的AI用户能够更快地做出决策，并迅速适应不断变化的市场动态。通过在AI模型中利用正确的数据，组织可以识别潜在的收益来源，并更有效地从市场中提取价值。虽然AI驱动的商业模式是强大的增长动力，但了解AI可以做什么以及如何利用它获得最大利益至关重要。数据驱动的AI的财务优势不仅限于直接创收和节省成本。组织可以在相邻行业创建新的商业模式，接触此前未开发的 市场，并实现显著的成本优化。这些优化通过提高生产力、节省基础设施费用和降低运营费用来实现。 人工智能就绪数据的关键考虑因素包括： 1. 将治理融入数据架构2. 提升数据可发现性3. 现代化应用堆栈以支持创新的人工智能应用并实现敏捷、数据驱动流程 数据变现表示组织能够从其数据资产和人工智能能力中创造实际经济价值的强大机会。这可能涉及