2024年中国GenAI技术栈市场报告

RAG、多代理系统、模型微调、模块化、去中心化、MaaS 报告说明———— 沙利文联合头豹研究院谨此发布中国生成式式AI系列报告之《2024年中国GenAI技术栈市场报告》。本报告旨在梳理GenAI技术栈的市场发展现状、技术栈核心组件、用户核心需求以及相关技术洞察，明晰市场需求，并结合市场发展前景判断GenAI技术栈领域内各类竞争者所处地位。 本市场报告提供的GenAI技术栈发展趋势分析反映出生成式AI行业整体的动向。报告最终对市场排名、领袖梯队的判断仅适用于本年度中国GenAI技术栈领域发展周期。 本报告所有图、表、文字中的数据均源自弗若斯特沙利文咨询（中国）及头豹研究院调查，数据均采用四舍五入，小数计一位。 报告提供的任何内容（包括但不限于数据、文字、图表、图像等）均系弗若斯特沙利文及头豹研究院独有的高度机密性文件（在报告中另行标明出处者除外）。未经弗若斯特沙利文及头豹研究院事先书面许可，任何人不得以任何方式擅自复制、再造、传播、出版、引用、改编、汇编本报告内容，若有违反上述约定的行为发生，弗若斯特沙利文及头豹研究院保留采取法律措施、追究相关人员责任的权利。弗若斯特沙利文及头豹研究院开展的所有商业活动均使用“弗若斯特沙利文”、“沙利文”、“头豹研究院”或“头豹”的商号、商标，弗若斯特沙利文及头豹研究院无任何前述名称之外的其他分支机构，也未授权或聘用其他任何第三方代表弗若斯特沙利文或头豹研究院开展商业活动。 研究框架（1/2） ◆GenAI技术栈概述 •GenAI技术栈的结构与研究范围----------•GenAI技术栈的演变发展----------•GenAI技术栈重要性分析---------- ◆GenAI技术栈核心组件分析 •GenAI应用构建架构•RAG-构建更懂业务的生成式AI应用•MAS-提供更高效的复杂任务解决方案•提示工程-指引更精准的模型输出•防护栏-构建更安全的应用•API服务-助推更流畅的应用集成•MLOps-实现更快速可靠的应用发布 ◆用户构建GenAI应用考量因素分析 •高质模型的构建•安全合规的优化•推理成本的降低•数据价值的释放•产品应用化的实现 ◆GenAI技术栈发展趋势 •模块化与标准化•平台化与简易化•去中心化•MaaS模式重构生成式AI商业化生态•GenAI下的信息商品变革 研究框架（2/2） ◆中国GenAI技术栈厂商竞争力分析 ----------35----------36----------37----------39----------40----------48----------50----------51----------52 •厂商竞争优势构筑•评价指标•2024年中国GenAI技术栈市场综合竞争表现•中国GenAI技术栈行业领导者 ◆名词解释 ◆参考文献 ◆方法论 ◆法律声明 章节一GenAI技术栈概述 ❑1.1GenAI技术栈的结构与研究范围❑1.2GenAI技术栈的演变发展❑1.3 GenAI技术栈重要性分析 •GenAI技术栈连接了硬件设施层与终端用户交互，集成了包括基础模型、模型开发、数据处理、模型部署监控以及应用交互等在内的技术和工具，提供从模型初始化到部署全过程的一站式解决方案。协助开发者高效地构建、训练、微调、部署和维护生成式AI模型。 •在早期的决策式AI时代，AI技术栈的定义较为模糊，业内尚未出现确立的通用技术栈。直至2012年AlexNet的突破，AI技术栈开始逐步建立，并在2018年开始的大模型阶段，生成式AI技术栈由原本的碎片化工具格局向更具凝聚力和专业化的生态系统演变。 •作为旨在简化生成式AI应用程序开发和管理的解决方案和组件合集，生成式AI技术栈的设计目的主要包括为开发者提供更高效的编程语言、开发框架与工具链以提升开发效率，给予生成式AI任务系统级的完善支持以及探索和满足大规模与跨平台部署等新需求挑战。 1.1GenAI技术栈结构与研究范围 关键发现 GenAI技术栈连接了硬件设施层与终端用户交互，集成了包括基础模型、模型开发、数据处理、模型部署监控以及应用交互等在内的技术和工具，提供从模型初始化到部署全过程的一站式解决方案。协助开发者高效地构建、训练、微调、部署和维护生成式AI模型。 ❑GenAI技术栈定义：指针对开发和部署生成式AI应用的综合环境和平台，集成了包括基础模型、数据处理、模型训练调优、模型部署监控等在内的技术和工具，提供从模型初始化到部署全过程的一站式解决方案。使得开发者可以高效地构建、训练、微调、部署和维护生成式AI模型。 生成式AI技术栈是连接硬件设施与GenAI应用的中间层，为开发者提供基础模型服务，以及赋能模型调优、监控与维护和编排部署的一系列工具链，满足开发者针对特定应用领域实现高效与灵活的设计和性能优化需求。 1.2 GenAI技术栈演进:从基础到智能体 关键发现 在早期的决策式AI时代，AI技术栈的定义较为模糊，业内尚未出现确立的通用技术栈。直至2012年AlexNet的突破，AI技术栈开始逐步建立，并在2018年开始的大模型阶段，生成式AI技术栈由原本的碎片化工具格局向更具凝聚力和专业化的生态系统演变。 大模型阶段： ❑随着人工智能重点逐步转向软件工程师和开发人员可以快速且大规模地构建应用程序，AI技术栈也由传统机器学习的碎片化格局向更完善且专业化的技术栈生态系统演变。 来源 ：沙利 文•决策式AI阶段（2012年以前），技术栈定义模糊：人工智能处于向统计机器学习发展的阶段，该阶段算法和模型开始向多样化发展，以HMM、LeNet-5等模型正式被提出。该阶段开发人员或团队已经有首选的工具以完成特定的任务，但尚未有统一的技术栈。•深度学习阶段（2012-2017年)，GenAI技术栈开始正式建立：随着2012年的AlexNet的突破带来图像分类的重大进展，也引起了开发人员对于标准化工具和框架的缺失以及针对不同硬件平台需要进行大量调优等局限的重视。•大模型阶段（2018年–至今)，GenAI技术栈生态系统逐步完善：随着第一代GPT在2018年发布，大模型时代正式来临，人工智能领域的转变使得重点集中于赋能开发人员快速且大规模地构建应用程序，现今的GenAI技术栈生态系统逐步完善且更关注于实现、优化、评估和监控应用程序及系统，且生成式AI技术栈正在扩展以支持智能体系统。 1.3GenAI技术栈重要性分析 关键发现 作为旨在简化生成式AI应用程序开发和管理的解决方案和组件合集，生成式AI技术栈的设计目的主要包括为开发者提供更高效的编程语言、开发框架与工具链以提升开发效率，给予生成式AI任务系统级的完善支持以及探索和满足大规模与跨平台部署等新需求挑战。 生成式AI任务的系统级支持 探索解决新需求挑战 更大规模坏境的部署需求，在面对多组织、多工程师共享集群资源的环境下，提供公平、稳定和高效的多租环境也尤为重要。 提供更强大和可扩展的计算能力。让用户的AI程序可扩展并部署于可以并行计算的节点或者集群，应对大数据和大模型的挑战。 面对割裂的边缘侧硬件与软件栈，如何让模型训练一次，跨平台部署到不同软硬件平台，也是推理场景需要解决的重要问题。 满足安全与隐私的需求，相较传统程序，模型解释性的缺失更容易产生安全性问题，且在企业级环境以及云环境下，隐私和安全要求更高。 ❑生成式AI技术栈的设计在协助开发者提升生成式AI应用开发效率、给予生成式AI任务系统级的完善支持以及探索解决新需求挑战层面起到至关重要的作用。 •为开发者提供高效编程语言、开发框架和工具链：在生成式AI应用快速且大规模开发构建的需求下，生成式AI技术栈在设计之初即需考虑到为开发者提供可观测性、可调试性以及允许自定义扩展等支持。此外，目前AI工程化场景已然不是灵感一现和单一优化即可迅速获取优势的状态，一套完善的全流程的生命周期管理可以大幅提升AI算法层面的生产力。 •生成式AI任务的系统级支持：在多模型环境下，模型训练与推理任务层面产生了新的系统抽象与资源。首先针对大数据和大模型的挑战，技术栈需要支持更大的模型以及更多模态的输入，提供更强大和可扩展的计算能力。其次，面对云与集群场景，将AI任务扩展与部署进而支撑分布式计算、弹性计算，让用户按需使用资源也是生成式AI技术栈需要考虑和支持的。•探索解决新需求挑战：在AI算法发展带来的诸多特性支持需求下，生成式AI技术栈为实现一系列新需求不断演化和重设计。首先，针对多组织、多用户共享集群资源以及迫切使用GPU资源的日益增长的需求，提供公平、平稳以及高效的环境是技术栈的首要考量因素。其次，面对割裂的边缘侧硬件与软件栈，如何使模型通过一次训练即可实现跨平台部署到不同软硬件平台也是有待解决的问题。最后，模型本身的重要信息为权重更容易产生安全问题，对于企业级或公有云环境，技术栈需提供更高的安全和隐私保护举措。 章节二GenAI技术栈核心组件分析 ❑GenAI应用构建架构❑RAG-构建更懂业务的生成式AI应用❑MAS-提供更高效的复杂任务解决方案❑提示工程-指引更精准的模型输出❑防护栏-构建更安全的应用❑API服务-助推更流畅的应用集成❑MLOps-实现更快速可靠的应用发布 •构建完整的端到端GenAI应用涉及到复杂丰富的模块组件与流程，从用户交互至可落地应用的结果输出，涉及了AI模型的准备、调优、服务、以及治理等相关关键模块。在支持GenAI应用构建过程中，用户应依据项目、业务线以及组织成熟度等因素在这些模块组件中进行选择组合，并非每个应用均涉及到所有组件模块。 2.1GenAI应用构建架构 关键发现 构建完整的端到端GenAI应用涉及到复杂丰富的模块组件与流程，从用户交互至可落地应用的结果输出，涉及了AI模型的准备、调优、服务、以及治理等相关关键模块。在支持GenAI应用构建过程中，用户应依据项目、业务线以及组织成熟度等因素在这些模块组件中进行选择组合，并非每个应用均涉及到所有组件模块。 2.2 RAG–构建更懂业务的生成式AI应用 关键发现 在各行业领域专向模型涌现的环境下，大语言模型在特定领域与企业知识缺失的局限性暴露，因此基于外部数据库，可及时调用最新数据和专有领域知识进行补充的RAG显得至关重要。此外，基于外部权威数据信息的整合及数据源的控制，RAG可提升模型回答准确性及可解释性，数据与模型本身的分离也给予了更好的数据隐私管理。 ❑LLM是出色的推理引擎，但随着各行业模型的涌现，LLM针对特定领域和企业的知识仍较局限，因此RAG成为了为企业赋予特定内存的重要组件。 •RAG工作原理及重要性：RAG的核心是通过从外部知识库或文档集合中检索关键信息，并将其作为上下文输入给大语言模型，从而提高生成答案的质量。RAG可将大模型的知识和推理能力进行分离，从而在处理最新的或专有领域的问题时可及时调用外部知识进行补充，同时利用推理能力生成正确答案。RAG的必要性一方面体现在其用于解决大语言模型的局限性（如数据更新不及时、易产生幻觉以及缺乏专业领域知识洞察等）；另一方面，作为大模型的重要补充，RAG通过外部最新数据的整合，提升了模型回答生成的准确性。 •RAG的核心优势：RAG的核心优势主要包括准确性提升、透明度与可解释性的增强、数据隐私的保护以及成本效益的提升。 ✓准确性的提升：RAG通过外部权威数据信息的整合，可生成基于事实和权威数据源的更为精准和丰富的回答。 ✓透明度与可解释性的增强：RAG可保持对数据及信息源的控制，通过引用来源增强答案的可解释性和透明度，提升用户对于模型输出的信任。✓数据隐私的保护：一方面RAG在数据库中内置了角色和安全控制以便于更好地控制数据使用；另一方面，RAG不需要将数据直接内嵌到模型中，敏感数据与模型的分离有助于降低敏感信息外泄风险。✓成本效益的提升：RAG可处理大规模数据集而无需更新所有参数和创建训练集，使其更具经济效益。 知识准备：收集并转换知识文档为文