走过新一代人工智能的蜜月期：首席信息官从试点到规模的七个硬道理

要扩大规模，首席信息官们需要专注于更少的事情，但要做得更好。 本文是Aamer Baig，Douglas Merrill和Megha Sinha与Danesha Mead和Stephen Xu的合作成果，代表了麦肯锡技术公司和麦肯锡AI QuantumBlack的观点。 蜜月阶段由于大多数组织都在学习，因此建立gee-whizgenAI飞行员相对容易，但将其转变为规模能力是另一种故事。根据我们最新的技术趋势研究，实现这一飞跃的困难在很大程度上解释了为什么只有11％的公司大规模采用了Gene AI。1 我们在上一篇文章中探讨了许多关键的初始技术问题。2在这篇文章中，我们想探讨关于为“Shaper”方法扩展GeneralAI的七个真理，在这种方法中，公司开发通过将大型语言模型（LLM）连接到内部应用程序和数据源来获得竞争优势（有关更多信息，请参见侧栏“使用Gen AI的三种方法”）。以下是Shaper需要了解和做的七件事： 这个成熟阶段是一个受欢迎的发展，因为它为CIO提供了一个机会，将Ge AI的承诺转化为商业价值。然而，尽管大多数CIO都知道飞行员并不能反映现实世界的情景——毕竟这并不是飞行员的真正意义所在— —但他们往往低估了为AI生产做好准备所需的工作量。最终，从Geeral AI获得全部价值需要公司重新连接它们的工作方式，并建立一个可扩展的技术基础。是这个过程的关键部分。 1.消除噪声，并专注于信号。对飞行员的工作诚实。减少实验。将您的努力引向解决重要的业务问题。 2.这是关于碎片如何组合在一起，而不是碎片本身。花费了太多时间来评估一代AI引擎的各个组件。更重要的是弄清楚它们如何安全地协同工作。 使用GenAI的三种方法 使用gen AI有三种主要方法： —在“Taker ”用例中，公司使用来自GitHub Copilot或Salesforce Einstein等第三方供应商的现成的，基于AI的软件来实现用例的目标。—在“Shaper ”用例中，公司通过工程提示，数据集以及与内部系统的连接来集成定制的gen AI功能，以实现用例的目标。—在“Maker ”用例中，公司通过构建大型数据集以从头开始预先训练模型来创建自己的LLM。示例包括OpenAI、Anthropic、Cohere和Mistral AI。 大多数公司将转向Taker和Shaper的某种组合，以快速访问商品服务，而Shaper则在基础模型之上建立专有功能。但是，最高价值的genAI计划通常依赖于Shaper方法。1 1有关这三种方法的更多信息，请参阅“技术与生成AI的世代时刻：CIO和CTO指南”，麦肯锡，2023年7月11日。 3.在成本让你沉没之前先处理一下。 模型仅占传统AI应用程序总成本的15%左右。了解成本潜伏在哪里，并应用正确的工具和功能来控制它们。 被认为是“成功的”，但它并不适用于业务的重要部分。 未能扩大规模的原因有很多，但首要的原因是资源和高管的关注点过于分散 4.驯服工具和技术的扩散。基础架构、LLM和工具的激增使得扩展部署变得不可行。缩小到那些最能为业务服务的功能，并利用可用的云服务（同时保持灵活性）。 数十种正在进行的gener AI计划。这并不是一个新的发展。当其他技术出现时，我们已经看到了类似的模式，从云到高级分析。然而，这些创新的教训并没有停滞不前。 5.创建可以创造价值的团队，而不仅仅是模型。要扩大规模，需要一个拥有广泛技能的团队，不仅要构建模型，还要确保它们安全可靠地产生应有的价值。 CIO需要做出的最重要的决定是消除不良的试点项目，并扩大技术上可行的试点项目，并承诺解决重要的业务领域，同时将风险降至最低(图表1)。CIO需要与业务部门领导密切合作关于确定优先事项和处理他们选择的技术影响。 6.追求正确的数据，而不是完美的数据数据。确定哪些数据最重要，并随着时间的推移对其管理进行投资，对您的扩展速度有很大影响。 2.这是关于碎片如何组合在一起，而不是碎片本身 7.重复使用或失去它。可重用代码可以将生成AI用例的开发速度提高30％至50％。 在许多讨论中，我们听到技术领导者围绕交付GeneralAI解决方案所需的组成部分（LLM，API等）进行决策。但是，我们正在学习的是，解决这些单独的部分相对容易，而集成它们却无济于事。这给扩展General AI带来了巨大的障碍。 1.消除噪声，并专注于信号 尽管许多商业领袖承认有必要进行试点和实验，但这并不总是反映在实地发生的事情上。即使gener AI采用率增加，其真正的底线影响的例子也很少。在我们最新的AI调查中，只有15％的公司表示正在使用Gen AI对其公司的息税前利润产生了有意义的影响。3 The challenge lies in orchestrating the range of interactionsand integrations at scale. Each use case often needs to accessmultiple model, vector databases, prompt libraries, andapplications (Exhibit 2). Companies have to manage a variety来源(如云中、本地、供应商或组合中的应用程序或数据库)、保真度(包括 加剧这个问题的是，领导者从他们的实验中吸取了误导性的教训。他们试图采取本质上是聊天界面的试点，并将其转移到应用程序-经典的“寻找解决方案的技术”陷阱。或者飞行员可能有 延迟和弹性）和现有协议（例如，访问权限）。当添加新组件以提供解决方案时，它会对系统中的所有其他组件产生连锁反应，从而增加整体解决方案的指数复杂性。 附件1 关注可行且业务影响明显的用例。 确定业务影响和技术可行性的标准 有效编排的关键是将组织的领域和工作流程专业知识嵌入到在云基础上运行的应用程序的模型、数据和系统交互的分步流程和排序管理中。有效的编排引擎的核心组件是API网关，它对用户进行身份验证，确保合规性，记录请求和响应对（例如，帮助为团队的使用情况计费），并将请求路由到最佳模型，包括第三方提供的模型。该网关还支持成本跟踪，并为风险和合规团队提供了一种方式。 然而，如果没有有效的端到端自动化，就不可能实现交付General AI功能所需的许多交互的编排。“端到端”是这里的关键短语。 公司通常会自动化工作流程的元素，但价值只有通过自动化整个解决方案来实现，从数据争论（清洁和集成）和数据管道构建到模型监控和风险审查，通过“政策作为代码”。“我们的最新研究表明，在每个模型的发布过程中嵌入测试和验证的可能性是他们同行的三倍多。4现代MLOps平台对于帮助管理这种自动化流程至关重要，根据麦肯锡的分析，它可以将生产速度提高十倍，并更有效地利用云资源。 以可扩展的方式监控使用情况。此网关功能对于扩展至关重要，因为它允许团队独立运营，同时确保他们遵循最佳实践（请参阅侧栏“genen AI modelorchestration的主要组件”）。 具有端到端自动化的说明性技术堆栈 麦肯锡公司 3.在成本沉没之前掌握一下成本 Ge AI模型可能会产生不一致的结果，因为它们的概率性质或基础模型的频繁变化。模型版本可以每周更新一次，这意味着公司负担不起设置其编排功能并让其在后台运行。他们需要开发高度专注的观察和分类能力，以快速和安全的方式实施geer AI。可观察性工具监控。 Gene AI数据使用和模型交互的绝对规模意味着成本可能会迅速失控。管理这些成本将对CIO是否可以管理Gene AI产生巨大影响 但了解驱动成本的因素对AI项目至关重要。例如，模型本身仅占典型项目工作量的15%左右。5LLM成本随着时间的推移大幅下降，并继续下降。 General AI应用程序与用户的实时交互，跟踪响应时间、准确性和用户满意度得分等指标。如果应用程序开始生成不准确或不适当的响应，该工具会提醒开发团队进行调查并做出任何 首席信息官们应该把精力集中在四个现实上： —变更管理是最大的成本。我们的经验表明，管理GeneralAI成本的一个很好的经验法则是，每1美元 GeneralAI模型编排的主要组成部分 编排是协调各种数据、转换和AI组件以管理复杂的AI工作流的过程。API（或LLM）网关层是用户或应用程序与底层General AI模型之间安全高效的接口。编排引擎本身由以下组件组成： —工程提示和提示库：提示工程是设计输入提示或查询以指导AI模型的行为和输出的过程。提示库是预定义提示的集合，用户可以在调用传统AI模型时将其用作最佳实践/快捷方式。 上下文管理和缓存：上下文管理突出显示与特定任务或交互相关的背景信息。缓存涉及存储先前计算的结果或中间数据以加速将来的计算。 —信息检索（语义搜索和混合搜索）：信息检索逻辑允许genAI模型从文档或数据源集合中搜索和检索相关信息。 —评估和护栏：评估和护栏工具有助于评估AI模型的性能、可靠性和道德考量。它们还为治理和LLMOps提供输入。这包括用于评估模型准确性、稳健性、公平性和安全性的工具和流程。 花在开发模型上，您需要花费大约3美元用于变更管理。（相比之下，对于数字解决方案，开发和变更管理的比率往往接近1美元。6）管理变革行动范围的纪律，从培训您的人员到角色建模再到主动绩效跟踪，对于geAI至关重要。我们的分析表明，高绩效者拥有强大的绩效管理基础设施（如关键绩效指标（KPI））的可能性是其他公司的近三倍，以衡量和跟踪geAI的价值。他们对非技术人才的培训能力也是前者的两倍，足以理解在工作中使用GeAI的潜在价值和风险。7 公司默认只为GenerAI应用程序创建聊天界面），其次，让他们最好的员工参与培训模型，以确保模型正确快速地学习。 —GeneralAI应用程序的运行成本高于构建成本。我们的分析表明，运行模型比构建模型要昂贵得多。基础模型的使用和人工是该成本的最大驱动因素。大多数劳动力成本用于模型和数据管道维护。在欧洲，我们发现风险和合规管理也产生了巨大的成本。 公司在处理变更管理的成本方面特别成功，主要集中在两个方面：第一，从第一天起就让最终用户参与解决方案开发（通常， —降低模型成本是一个持续的过程。例如，与如何为GeneralAI设计架构相关的决策可能会导致10到20倍的成本差异，有时甚至更多。 分析解决方案。这里的目标是开发一个建模学科，在每个世代的AI用例上灌输ROI关注，而不会迷失在无休止的分析中。 such as preloading embeddings. This is not a one -off exercise. The process of cost 优化需要时间，并且需要多种工具，但是做得好，它可以将查询的成本从一美元降低到不到一美分（图表3）。 4.驯服工具和技术的扩散 —投资应与ROI挂钩。并非所有的GeneAI交互都需要得到相同的对待，因此它们的成本不应该都一样。例如，响应客户实时问题的GeneAI工具对于客户体验至关重要，并且需要低延迟率，这更昂贵。 许多团队仍在推动自己的用例，并经常建立自己的环境，导致公司不得不支持多种基础架构、LLM、工具和方法 事实上，在麦肯锡最近的一项调查中，受访者称“太多的平台”是大规模实施Gene AI的最大技术障碍。8基础设施和工具越多， 但是代码文档工具不必如此响应，因此可以更便宜地运行。云在推动ROI方面起着至关重要的规则，因为其主要价值来源在于支持业务增长，尤其是支持扩展 higher the complexity and cost of operations, which in turnmakes scale rollouts unevable. This state 按周计算的每个查询的成本$ 麦肯锡公司 事务的发展类似于早期的云和软件即服务(SaaS)，当时