评估企业生成 AI 的机遇和挑战

Reece Hayden,高级分析师 INTRODUCTION TABLEOFCONTENTS ChatGPT在2022年的发布经常被比作人工智能（AI）的“iPhoe或智能手机时刻”。现在，消费者和企业比以往任何时候都更容易使用这项技术。在快速发展的机器学习（ML）生态系统的包围下，基础模型彻底改变了在企业应用中部署生成AI的速度和成本。这提供了重要的机会，包括成本削减，流程自动化，甚至通过开发新/增强服务来创造收入。ABI Research预计，到2030年，遗传人工智能将在企业垂直领域增加超过4000亿美元的价值。然而，机会可能比比皆是，但在过去的两年中，企业部署的速度并没有像许多人预期的那样快。需求和供应方面的挑战都是罪魁祸首。本白皮书探讨并解决了这些市场摩擦。 评估技术成熟度用于企业部署5 如何打开，小模型堆叠到企业优先事项？12 的状态和期望生成性AI法规18 企业视角 最麻烦的用例是面向客户的,大多数可扩展的、可用于生产的用例仍然面向内部。 识别企业生成AI机会 尽管企业采用仍处于早期阶段，但巨大的机会比比皆是。生成型人工智能提供了降低成本、创造新的收入流和自动化现有流程的可能性。图1概述了这些机会。 采用挑战 一系列企业正在内部和外部的各种不同用例中部署生成式AI。然而，大多数市场都在努力从概念验证（PoC）转向大规模生产。这种市场摩擦的基础是生成AI给企业带来的风险。虽然高管们愿意开发PoC来展示该技术的潜力，但由于该技术的相对不成熟和相关风险，他们仍然犹豫不决。这样做的结果是“孤立”的点部署或长寿命PoC，而没有明确的企业规模时间表。以下部分重点介绍了与大规模生成AI部署相关的一系列风险和挑战。 业务风险与挑战 •天赋:企业对新的生成AI模型的可用性感到措手不及。很少有人计划适当地提高技能或雇用以适应部署和使用。这意味着企业正面临着巨大的技能差距，这阻碍了他们以经济有效的方式部署、管理和扩展生成模型的能力。这不仅仅是培训基础模型（FM），因为这通常由第三方完成，而且集成、优化、微调、监控和管理的技能非常重要，并且可能会带来巨大的部署障碍。 •费用:大规模培训、微调、运行和管理生成式AI模型的成本很高。在依赖云计算环境和每天跨许多图形处理单元(GPU)运行工作负载时尤其如此。尽管生成式AI具有明确的投资回报率(ROI)，但固定和可变成本将很高，这给企业的发展带来了巨大障碍。 •大规模的AI管理：行业评论员预计，随着企业生成AI采用的规模扩大，小型语言模型(SLM)将跨业务部门部署，以支持特定的应用程序。这将意味着企业正在部署数十甚至数百种不同的AI模型。每个模型都需要训练、部署、监控、优化、微调、应用程序调试、数据管理以及一系列其他ML流程。如果没有自动化，这将是劳动密集型的，并带来严重的管理难题。 •结构:最大化通过采用生成式AI创造的价值需要在企业内的每个可行流程中进行集成。这涉及重要的运营变更管理（OCM），以解决流程，系统和运营结构。由于大多数人对生成AI的“早期”可用性感到措手不及，他们仍在进行重组以适应这项技术。预计现有流程、招聘政策、内部治理、技能提升和更多领域的转变。 •控制和所有权:内部企业监管和治理要求更好地控制知识产权(IP)和客户数据。这阻碍了生成AI的部署，因为第三方模型通常不清楚用户提示或数据是如何存储和利用的。这一挑战延伸到数据主权和将客户数据保持在区域或国家边界内的要求。第二个挑战取决于谁拥有AI输出数据。第三个挑战来自使用受版权保护的数据培训大型语言模型（LLM）的风险，以及在整个市场上不断出现的法律问题。 •功耗：即使与“传统AI ”相比，生成AI模型也需要更多的计算能力来进行训练和推理，因为它们的规模越来越大。随着企业扩展生成AI推理，企业数据中心的能源需求将带来挑战，尤其是在可持续性方面。 •缺乏用于生成式AI部署的全球统一政策/最佳实践：对生成AI的商业准备的监管回应已经支离破碎。美国等一些地区正在依靠自我监管，而欧盟(EU)等其他地区正在实施更严格的监管，以大规模减轻与人工智能相关的潜在负面外部性。这将给企业部署带来监管风险，尤其是跨国公司。 •地缘政治紧张局势：AI硬件（和软件）在持续的地缘政治争端中发挥着越来越重要的作用。例如，美国已禁止这给希望跨地区开发和部署人工智能的企业带来了不稳定。 技术挑战 •透明度和解释性：这将用户暴露于重大风险,意味着在企业环境中,开发人员无法对模型权重进行故障排除、更改或更改以确保准确的输出。•可信度:幻觉是部署中的主要风险。许多备受瞩目的案例表明，产生错误答案可能会导致潜在的商业和声誉问题。这些可能是由于偏见、不正确/不充分的训练数据、模型做出的不正确假设，甚至是没有适当AI护栏的最终用户操纵。当ChatGPT编造报价和不存在的法院案件包含在ChatGPT生成的法律摘要中时，发生了幻觉的真实例子。•可靠性:关键任务用例依赖于低延迟和高可用性。但是，随着模型的扩展，资源将需要执行更多的计算操作，这可能会造成瓶颈，带来可用性方面的挑战。例如，面向公众的聊天机器人可能无法扩展到一次处理数百或数千个客户端的查询。可用性挑战是计算资源稀缺的基础，特别是考虑到围绕GPU的供应链挑战。•数据:作为生成AI部署的基础元素，数据提出了许多相关挑战。首先是可用于训练和微调的精选数据集的可用性。第二个问题涉及数据主权，安全和知识产权（IP），这是主要的挑战，尤其是在使用ChatGPT等第三方AI应用程序时。这导致了许多备受瞩目的企业禁止第三方系统。第三是围绕将第三方数据用于基础模型(FM)的歧义。第四部分围绕客户数据和使用这些数据的可理解的反对意见。模型训练。•现成型号：即使是行业领先的生成AI模型，在大多数情况下也能提供低于70%的准确率。这意味着，尽管预训练模型确实加快了时间价值（TTV），但部署生成AI仍然是时间，资源和人才密集型的，因为ML操作（MLOps）需要实现“可接受”的准确性。这进一步造成了行业内人才的瓶颈，正在减缓部署。准确性只是一个。用于对生成AI模型进行基准测试的指标；除此之外，企业通常会衡量模型如何处理复杂的推理和问题（例如GLUE，SuperGLUE）以及训练数据集的准确性。 企业部署技术成熟度评估 尽管LLM带来了重要的功能，但它们还没有准备好在企业应用程序中立即部署。原因很多，特别是在幻觉，准确性，性能，上下文化和计算资源使用方面。所有这些因素都导致企业生成AI的性能下降。图2提供了企业采用“预训练” LLM并将其部署在ML管道中的结构的细分。 在这个过程中，企业面临着许多重大挑战。 •训练数据:数据通常在业务单元之间孤立，这使得集中式模型微调具有挑战性且耗时。企业将需要经历数据重组的过程，以构建有效的数据结构，这将是人工智能训练和部署。这进一步复杂化了使用私人客户数据进行模型训练的风险和挑战。客户的主要担忧之一是公司可能会通过利用他们的数据进行模型训练而将他们的IP泄露给竞争对手。 •优化:预训练的基础模型很大且很通用；企业应用程序很窄，因此可以使用一小部分参数有效运行。进行优化以确保有效部署LLM，以最大限度地提高准确性，同时降低资源利用率。这个过程并不新鲜;然而，用于生成AI的LLM更加复杂和复杂，使得传统技术如量化更加复杂。具有挑战性。 •微调:这是使预先训练的LLM适应特定任务或知识的过程。此过程要求开发人员通过在特定数据集上重新训练基础模型来更新参数。具体地,使用输入和输出对来重新训练LLM以再现发送的期望行为。目标是提高特定主题或行为类型的输出的准确性。例如,对于医疗聊天机器人,微调可以针对特定术语和主题优化一般预训练的LLM的输出。微调是耗时的，因为它需要数据准备和监督学习，通过这些数据准备和监督学习，开发人员拒绝或接受输出来调整模型。 响应。这也是昂贵的，因为这依赖于GPU来加速计算。 •模型开发人员和系统工程师之间的差距：人工智能就业的另一个瓶颈是不同流程之间的差距。通常，人工智能开发人员在构建和测试模型时没有关注现实世界的部署环境，这会在这些模型实际投入生产时产生扩展。这将延长企业中生成AI模型的实际TTV。 企业部署战略 考虑到企业和技术面临的挑战，企业生成AI部署肯定需要时间。然而，随着企业评估其采用生成式AI的战略方法，几种不同的选择肯定是开放的。表1探讨了四种部署策略；然而，随着我们前进和供应方建立更多“企业就绪”服务，ABI Research预计会出现更多机会。 （来源：ABI Research） 像ChatGPT这样的API服务在早期的点部署中占据了主导地位。这些工具正在跨业务组横向使用，用于简单的流程，如市场研究或搜索。 然而，企业越来越多地超越API，使用内部专业知识或第三方合作伙伴来构建应用程序，因为他们希望开发有效的长期生成AI策略。鉴于人才短缺和TTV考虑，第三方托管服务将成为下一波企业采用的特征。从中长期来看，随着更多企业利用第三方平台支持AI开发和应用程序部署，这种发展将在内部慢慢转变。 企业生成AI的预期 尽管机会比比皆是，但企业生成AI在商业上仍处于萌芽状态。目前，市场因一些内部员工的增加而陷入PoC。尽管create - ABI Research认为，内部用例只是一个开始；大部分价值将通过基于新产品/服务和流程自动化的面向客户的用例来创造。访问这些“高风险”用例需要企业战略改革和重大的供应方创新，以确保这些关键任务用例的高度可靠的结果。图3提供了企业生成AI用例时间表的概述。 当然，企业生成AI部署并不是“一刀切”的方法。许多企业已经拥有支持部署的内部功能和策略，以及可以支持大规模推理的内部可扩展资源。这意味着某些企业将更快地扩展生成式AI服务。图4提供了不同规模企业的细分以及他们将如何处理这一机会。 在了解企业何时以及如何实际部署生成式AI时，还有其他考虑因素： •行业类型：考虑到技能集、数据可用性、企业结构、流程和心态，在数字原生垂直领域中集成生成AI功能将变得更加简单。然而，在制造业和供应链等传统垂直行业中构建生成AI将更具挑战性。像Klara这样的公司已经发现了早期的成功-没有孤立的数据集和数字运营。相比之下，考虑到他们正在使用的遗留系统和数据集，电信公司一直在努力进行有效部署。 •“人物角色”类型:随着生成式AI在行业和用例中扩展，可用于支持部署的AI专家将供不应求。这将导致具有不同专业知识的不同“角色”开始构建和部署AI模型。例如，跨国公司（MNCs）可能拥有强大的AI专家，可以实现大规模部署，而制造业的初创公司极不可能拥有相同的技能。不同垂直领域的不同规模的企业不会都拥有平等的人才分配，这将影响他们如何以及何时能够抓住人工智能机会。 当今企业生成AI的状态 显然，企业生成AI市场仍处于早期阶段。图表1和表2探讨了ABI Research预测每个企业垂直由于部署生成AI而增加的价值。到预测期结束时，ABI Research预计零售/电子商务和营销将是生成式AI部署的最大赢家。图表1表明，生成式AI部署所创造的价值相对有限。 （来源：ABI Research） （来源：ABI Research） 直到2027年的缓慢增长是几个因素的结果： •针对低值用例的部署：考虑到企业人工智能用例所涉及的风险，到目前为止，生产就绪的扩展应用程序一直被限制在低价值用例，并受到高度的人为监督。这阻碍了潜在的价值创造。 •在大规模部署之前，技术仍然需要时间来成熟：即使使用微调，LLM也无法提供足够的准确性来部署在高风险用例中。 •企业仍在为生成式AI采用制定战略和技术基础：ChatGPT的出现震惊了整个行业，企业还没有准备好人才或战略流程来大规模有效地实施生成式AI。许多公司仍在构建内部结构和功能，以实现有效的生成式AI用例采用。 But generative AI usage cases are being deplosed today. Figure 5