2025年数据与AI雷达：掌握数据与人工智能转型的10大挑战研究报告(英文)

10挑战掌握您的数据2025年的AI转型 摘要 第一章 人工智能的崛起：是时候扩大规模并实现治理工业化了。 1. 工业化人工智能2. 大规模通用人工智能：超越试点，实现机遇5 由生成式AI提供 7 3. AI治理：应对所有潜在问题的复杂性增加 9 4. 大规模的数据/AI同化，以加速创新并为未来做准备 12 第二章 解锁数据的全部潜力。 13 5. 一个联邦组织，用于统一数据相关的角色、标准和14个实践 6. 尽可能民主化数据的使用，让尽可能多的人使用数据17 7. 数据讲述，或使数据自我发声的艺术20 第三章 数据治理和质量仍然是关键关注点。 21 8. 成功结合数据质量和数据可观察性22 24第9点：非结构化数据的治理：组织面临的一个日益增长的问题第10点：系统化测量数据产生的价值25 ...以及接下来是什么？通过做好准备工作来迎接未来以人为本的转型 27 数据与人工智能：2025年我们预期会看到什么？ 2024年对首席数据官/人工智能领导者来说是一个充满挑战的一年。其中现在也担任首席数据与人工智能官，以及他们的团队。 人工智能，尤其是生成式人工智能的兴起，增加了执行委员会（ExCom）对数据与人工智能领域的兴趣，而不断变化的法规使得首席数据官面临解决多个挑战的压力。他们必须在应对这些新兴优先事项的同时，出色地完成其传统角色：确保公司最大限度地发挥其数据资产的价值，以增强业绩、决策力和竞争力。 为了帮助您制定到2025年（及以后）的战略和路线图，Wavestone已分析了塑造首席数据官日常职责的主要趋势以及他们在未来几年将面临的核心挑战。 Wavestone 支持各大公司和公共机构在所有地理区域内的 CDOs/AI 领导者。本雷达图反映了在过去一年中进行的任务以及所有公司数据与AI专家观察到的变化。因此，我们已经确定了未来期间十大热点话题 人工智能的兴起：时间进行扩大规模并且工业化治理 1. 工业化人工智能 尽管人工智能在以下方面有所上升：商业世界，大约85%的AI项目仍然失败。达到生产阶段。此数值略有降低但是仍然相对较高，并且只有最成熟的组织才能管理将其大幅降低。 第二个挑战在于配送实践机器学习模型仅仅不足以实现价值；它需要为在生产环境中的部署而设计。过于常见的是，模型创建与部署分离，专为实验设计。没有设计权限，没有开发框架，没有自动化任务，没有版本控制。朝着人工智能工业化发展意味着部署部分自动化模型和基础设施管理实践，这些实践是为生产使用而设计的。机器学习运维（Machine Learning Operations）旨在解决这些问题。 为了将人工智能项目全面推向生产并整合到业务流程的核心，公司正在重新思考它们的运营模式。挑战双方面： →定义一个组织角色和职责，提供在整个产品生命周期中自主交付产品所需的所有技能； 定义实践确保正确人工智能的实施，从设计到维护在操作条件下的状态。 截至目前，第一个挑战主要在于通过建立措施来解决人工智能工厂型组织。这些具体针对每个组织，但我们可以概述一个处于前沿的AI工厂的3个主要功能： →第一目标是地址数据/人工智能生态系统，与出版商建立关系从其中获得最大价值市场提供的机会； →第二个是要交付应用案例，既可用于实验也可用于产业化。 →第三项目旨在引导该工厂的活动，上下游（管理业务需求，推动针对新用例的提案并且下游（促进采用、推动）推动变革及促进人工智能及其潜力在组织内）。 2025年的通用AI工厂的先进示意图 MLOps：管理生产中AI模型的关键 继DevOps之后，MLOps是一系列旨在统一开发活动（Dev）和运营（Ops）的实践，旨在持续交付和管理人工智能模型，从开发到监控，经过验收和部署。尽管某些团队现在在初始模型生产方面越来越熟练，但接下来要解决的挑战将是高级的、自动的性能监控、漂移检测以及对连续重训练的编排，以保持模型的相关性。 数据科学家面临的挑战不再是局限于模型开发，而是要掌握机器学习工程技能，以确保这些实践的实施。对于组织而言，挑战在于在整个组织中定义一个连贯、共享的框架，当然这基于市场共享的最佳实践，并推动变革以确保其实施。 2. 模型规模化的GenAI：从试点项目（PoC）走向利用生成式AI带来的机遇 2024年见证了通用人工智能（GenAI）的兴起。我们的研究显示，2024年5月时，74%的组织已经开始实施通用人工智能的工作。生成式AI的PoC自2023年以来已经启动，并取得了进展。导致令人信服的结果。然而，我们注意到许多公司仍然停留在PoC阶段，尚未能够进入工业化阶段。一些项目在启动后超过一年仍处于PoC阶段！ 能力等）。例如，我们如何确保能够充分利用市场上一种提供改进性能的新模型，而无需重建一切？ 生成式AI让决策者对PoC（Proof of Concept，概念验证）产生恐惧。 为了避免这种情况，我们建议： →定义组织内部所有试点项目（PoCs）的简单规则。例如，试点项目必须时间与预算有限，经历初步仲裁在第一个里程碑结束时进行，如果初步结果令人信服，则有可能再延长一次。如果预期结果需要很长时间才能证明，那么项目可能不得不终止，并将重点转移到其他用例上； 更糟糕的是，一些公司出于一种责任感，落后于竞争对手，迅速地与某些科技巨头建立了合作伙伴关系以安抚决策者。这些选择有时导致了供应商锁定情况下，一个组织发现自己在创新能力、探索替代方案以及针对特定用例优化方向的能力受到限制。除了灵活性，长期来看，财务等式也可能恶化。 →管理一个单一的GenAI PoC组合（即使交付是分散的），并集体裁决哪些PoC值得从交付过渡到规模化（展示的价值、最优的投资回报率等）。这些必须限制在数量上，并且必须是一个集体努力。被要求交付这些项目尽可能有效地。 公司已经对其中长期策略进行了深思熟虑，因此他们已经将追求稳健和技术多元化纳入了自己的掌控之中。例如， 许多人正在建设。模型无关的人工智能 (GenAI)平台并且架构这样的平台使得托管、训练和监控各种大型语言模型成为可能，确保了每个场景最适合的LLM能够被用来获得最佳价值。灵活性得到了保证，适应性以及容纳新发布模型的能力也同样如此。 一项需谨慎思考的技术战略 它很诱人，想要快速行动以利用通用人工智能并迅速获得竞争优势。 一些公司已经将数据科学家的钥匙交给了家，以促进创新和价值实现的时间。然而，这种策略可能充满风险：使用案例在本地交付，被视为一个单一单元，相对缺乏灵活性和可扩展性。所有这些都在整个生成人工智能生态系统快速演变、创新层出不穷（新模型、新 实体化以代理形式呈现 人工智能代理是一种设计用于处理复杂问题、制定行动方案并使用一系列工具执行这些方案的系统。与传统计算机应用不同，这些代理具有先进的推理、记忆和任务执行能力。例如，这些代理可以解决复杂问题（例如，生成项目计划、编写代码...），通过分析自己的输出进行自我批评，使用现有工具和信息系统，甚至进行代理间的协作。 这些代理由几个元素组成： 1. 核心代理人：中央整合要素所有处理功能。2. 一种内存模块：存储和检索信息以在时间上保持上下文和连续性。一组工具：外部资源和API，代理人可以使用它们来执行特定任务。4. 一个规划模块：分析问题并制定解决策略。 人工智能治理：解决所有潜在问题的复杂性增加 人工智能的兴起也促使决策者加强治理，把握所有涉及的问题。这些问题很多： 风险管理、合规性、主权、伦理、碳足迹，只是通过这一治理需要解决的一些问题。需要同时解决多个问题，以便确立实施人工智能的可持续方法。 不断增长的信任人工智能需求。 一个组织适应了全面解决人工智能相关挑战。 可信人工智能指代一种设计和部署的人工智能，旨在保证高度的透明度、安全性、公平性，并尊重人权和伦理价值观。此意味着人工智能是在符合规范的情况下开发的。 组织已经开始建立组织和角色来管理与人工智能相关的话题。它们都面临着一项挑战：在保持全球集中控制的同时，不过度抑制地方性倡议和创新业务线倡议，实现两者之间的平衡。因此，关键问题在于“管理人工智能倡议组合的分散化”。为了实现这一点，我们需要： 严格的标准以避免不可控制的偏差，保护用户隐私，并确保在面对错误或网络攻击时的鲁棒性。可信的人工智能也是可解释的，使用户能够理解它如何以及为何做出某些决策。最后，它包括负责任的治理，其中设计师和运营商对其影响承担责任，同时整合控制和监督机制以防止滥用或恶意使用。 →明确界定中央和地方各级之间的职责和权限； →对于跨职能团队（首席数据官、数据保护官、AI工厂等），定义每个成员的职责，并明确边界和互动。 建立可信的人工智能需要涉及以下方面：各种参与者： →实施多层次治理： →伦理与CSR团队，以定义一项体现明确原则并与组织价值观相符的人工智能政策；→工程师在开发模型时，为了提供可解释和有文档记录的模型→人力资源团队，以帮助建立培训模块，以便团队应用这些指令；→企业及数据科学家，用于分析偏差并监控结果；→CISO和DPO，为保证安全，测试漏洞并执行控制措施；→首席数据与人工智能官，以引导整体方法。 • 由执行委员会成员组成的战略机构，以把握所有AI固有主题，尤其是对人力资源、合作伙伴、客户等方面的影响...； • 一个运营机构，用于管理投资组合、突出地方倡议并鼓励成功倡议在组织内的传播。此机构使我们能够维持对投资组合的全面视角，以便更好地管理风险并确保符合《人工智能法案》（见以下）。 《人工智能法案：为您的组织开始合规准备工作》 人工智能将在未来几年逐步实施： →2025年2月2日：第5条生效，禁止使用具有不可接受风险的AI系统； 《人工智能法案》于2024年8月颁布并生效。该法案旨在确保在欧洲联盟内销售的人工智能系统和模型得到道德、安全的使用，并且以尊重欧盟基本权利的方式进行。 →2025年8月2日：关于通用人工智能模型的法规即将开始实施。已经建立的欧盟人工智能办公室将负责治理和监管程序。不遵守规定也将开始实施制裁； 《AI法案》因此创造了适用于正在商业化和市场推广的人工智能系统和模型的法规。研究无商业目的的活动不 →2026年8月2日：人工智能的广泛应用行动开始，除第6条外。第一段关于高风险系统； 受影响的包括：所有在欧盟设有总部或在欧盟外设有总部但在欧盟内销售其人工智能系统和模型的供应商、分销商或部署者，法律实体（公司、基金会、协会、研究实验室等）。 →2027年8月2日：应用规则将扩展至高风险系统。欧洲委员会将于2026年2月1日之前发布关于高风险人工智能系统的实用指南和示例。 如何开始合规工作？从评估现有的以及正在设置中的AI系统开始。 法规水平和相关义务取决于人工智能系统或模型所呈现的风险水平。存在4个风险等级和4个合规等级： →具有不可接受风险的AI：人工智能系统和模型中存在不可接受的风险是被禁止的，不得在欧洲联盟内销售或用于出口； →高风险人工智能：高风险人工智能系统和模型必须获得CE标志才能上市。 →低风险人工智能：低风险人工智能系统和模型必须对用户承担信息和透明度义务； →低风险人工智能：最小风险的AI系统和模型可以符合行为准则。 特殊义务适用于生成式人工智能以及……通用人工智能模型（如大型语言模型）的发展，根据基本模型是否可访问以及其他辅助标准（计算能力、用户数量等）而有所不同。 作为提醒，Wavestone 与 France Digitale和 Gide 联合发布了一本实用指南，旨在帮助公司理解和应用欧洲人工智能法律。 风险和网络安全，在项目中往往被忽视。 随着围绕人工智能（AI）的热议，组织正面临着前所未有的威胁，这些威胁直指这些模型的根本。新的攻击形式正在形成，例如投毒（修改训练数据以欺骗它）、预言（劫持AI使其透露不应透露的信息）或幻觉（使AI相信对人类来说是虚假但看不见的事情）。需要实施新的风险评估和保护措施。 在短期内，因此优先考虑