2024年大模型落地与前沿趋势研究报告

大模型落地与前沿趋势研究报告 2024.12量⼦位智库QbitAIInsights分析师Xuanhaoxuanhao@qbitai.com 目录01 ⼤模型市场落地概况 02⼤模型落地与前沿发展趋势 03⼤模型玩家格局及竞争趋势 ⼤模型市场落地概况： ⼤模型业务模式概览 ⼤模型市场宏观和落地分布 ⼤模型业务模式概览：主要包括应用开发部署平台、模型API服务及模型服务三部分，目前模型服务和模型API是核⼼业务 描述示例 重点展开 Infra+云 AI产品 应用场景 GPU及配套基础设施 模型服务 模型API 应用搭建 模型层 应用层 •最终产⽣价值的落地场景 •⽂案写作、代码⽣成、信息检索、海报制作、视频制作，智能客服、智能营销 •基于⼤模型构建的AI产品 •包括AI应用的开发、部署、管理，帮助用户构建AI应用，核⼼组件包括提示词⼯程、RAG、插件⽣态、应用编排等 •为用户提供API调用，主要包括托管模型丰富度（自研及第三 ⽅模型）、模型能⼒、价格、API性能、安全合规等⽅等因素 •数据准备：训练数据的采集、选择、标注、清洗等 •模型训练：包括预训练（pre-train）和微调（fine-tune） •模型推理部署：帮结合业务场景需求帮助客户在云端和本地进 ⾏模型推理部署 •模型社区：搭建开源模型服务平台，提供多样化模型库、模型 API服务、训练数据集等 •算⼒服务 •GPU集群搭建 •互联设施 •数据中⼼建设 推理平台 ⼤模型厂商 互联⽹/云厂商 模型服务：数据准备和模型训练是模型服务的关键内容，对交付服务的深度和细致程度有较⾼要求，是国内市场目前最重要的商业模式 构成描述 数据准备 •环节：包括数据采集，数据评估、数据选择、数据标注、数据清洗、数据回流等 •类型：⾏业数据，即整个的垂直⾏业的相关数据，例如医疗、 ⾦融、制造、政务等⾏业；场景数据，即垂直⾏业内某⼀场景的数据，例如客服、培训、产品开发、疾病问诊；企业数据，即和企业业务和自身属性相关的数据，例如产品信息、运营信息等 应用现状 •数据准备是目前模型服务最核⼼的问题，需要客户厘清数据的种类需求、格式需求等，在此过程中模型服务商需要和客户紧密合作，帮助客户梳理、准备数据 •模型微调的数据需求在数百GB级别，以及⾄少上万条的对话数据、交互数据，数据的质量直接决定模型的表现 重要性分析 •微调（Fine-tuning）：在已经预训练好的⼤模型基础上基于特定数据集进⼀步调优，对算⼒（百卡级）和数据（数百GB）的需求小，例如LORA，Adapterlayer、PrefixTuning等技术 模型训练 •预训练（Pre-training）：从头开始进⾏预训练，要求有⼤量的垂直相关数据资源和算⼒，包括⽂字、图像、视频、交互记录及其他特殊格式数据 模型推理部署 •云端部署：模型在云厂部署，使用模型时调用模型API，由云厂商负责所有运维 •本地部署：自主可控，响应快、服务稳定保响应时长和调用频 率、隐私、安全性强 •混合部署：兼顾两种部署模式，具体依照业务场景的需求决定 模型社区 •汇聚各类模型信息、数据集、模型竞赛、技术内容分享的社区平台 •微调是目前最主流的服务⽅式，效果好成本低，相应技术较成熟 •需求⽅画像：以G端客户、中⼤型B端客户为主，国央企、⾦融等⾏业是主要客户 •模型服务是国内⼤模型市场的核⼼部分，贡献了目前⾏业的⼤部分营收 •商业模式较重，需 要模型厂商进⾏交付服务，全流程服务客户，本质上是 ⼀个[⼈*天]投⼊业务模式，但相较于软件、云业务的定制化交付服务要更加轻量化（不同客户的服务内容基本相同） •预训练模型较少见，成本⾼挑战⼤，主要用来解决特殊问题，例如进⾏蛋白质结构预测的AlphaFold •根据客户偏好和需求决定模型部署⽅式，云端部署是主流⽅式 •主要目的是构建围绕⼤模型的开发者⽣态，促进⽣态繁荣，例如阿里的魔塔社区ModelScope 模型API：国内各厂商模型能⼒没有明显差异化，API市场的低价竞争阶段将长期持续，整体用量正在快速增加但难以贡献营收 构成描述 模型库 •包括模型厂商的自研模型和第三⽅开源模型（主要 适用于云厂商，会提供MaaS1服务） 模型能⼒ •推理能⼒：衡量⼤模型智能的核⼼指标，也包括指令遵从、内容合规、用户意图理解等 •上下⽂长度（Contextwindow）：模型支持的上下⽂ 窗⼝⼤小，决定模型可以处理的任务复杂度上限 价格 •多模态能⼒：包括⽂字、图像、视频、音频等模态的理解、⽣成、交互表现 •API价格总体上呈快速下降趋势，和具体和调用量、调用⽅式有关 关键指标 •可选模型的种类和数量，包括语音、图像等其他模态，以及模型供应商数量 •调用量：由真实的市场需求用脚投票产⽣ •静态评测：各类评测榜单，如MMLU、MATH、 GPQA、HumanEval、GSM8K等 •动态评测：用户双盲实测榜单，如LmSys的ChatbotArenaLeaderboard、LiveBench等 •API价格，包括输出价格（InputTokens）和输出 （OutputTokens）价格，以及更便宜的BatchAPI 重要性 关键分析 API性能 •需求⽅画像：⾏业属性非常碎片化，包括来自各个⾏业的个体开发者、中小企业、初创公司等，对客户自身技术能⼒有⼀定要求 •难以贡献营收： •API在海外是⼤模型的核⼼商业模式 •国内市场由于模型能⼒缺乏差异化、能⼒不成熟、⾏业低价竞争趋势等因素作用，市场规模较小，目前难以成为模型厂商的主要收⼊来源 •API服务的各项性能，包括延迟、吞吐量、输出速度等•延迟：FTL（FirstTokenlatency，从发出请求到收到 第⼀个Token的时间，也称TimetofirstToken） •吞吐量：RPM（Requestperminute，每分钟请求次数）、TPM（Tokensperminute，⼀分钟输出Token量） •输出速度：Tokenspersecond（每秒输出Token量） 安全合规 •稳定性：各项指标稳定性、波动⽔平、故障频率 •用户的数据隐私保护、内容安全合规性•关于隐私保护、安全合规的关键举措和安全系统构 建成熟度 •安全、合规事故的频率 信息来源：量⼦位智库，1）ModelasaService7 应用搭建平台：旨在释放⼤模型的应用潜⼒，但目前的产品形态尚未获得市场验证，用户规模依然较小，未来1-2年将更加成熟覆盖更多用户 •需求⽅画像：应用开发部署平台的用户主要是应用开发者群体、ISV技术⼈员，包括专业开发者及技术能⼒较弱的业务⼈员 •底层⼤模型扮演技术基座的角⾊，但从模型到产品仍有较⼤的差距，需要在产品层针对业务、场景需求进⾏开发设计 •产品尚未验证PMF：应用开发部署平台本质上类似低代码开发平台，真实的市场需求尚未验证，技术⼈员偏好使用代码开发应用，⽽非技术⼈员⼊门上⼿依然有⼀定挑战，目前用户依然⾼度集中在产品、开发类⼈员 构成描述 提示词⼯程 •通过优化提示词来引导模型⽣成所需输出，可以调整提示词的措辞、结构和内容来提⾼模型响应的准确性和相关性 •随着模型能⼒的不断增强（上下⽂窗⼝的增加、推理能⼒增强、幻觉程度下降），提示词⼯程可以解决的问题集也在不断扩⼤，有⼤量应用场景可以仅通过提示词⼯程来解决 RAG1 •原理是从⼤型知识库或⽂档集合（向量化后）中检索相关信息，然后使用⼤模型（如GPT-4o）对检索到的信息进⾏加⼯和扩展，以⽣成更丰富、更准确、幻觉更少的回答，兼顾了检索系统的准确性和⽣成模型的灵活性，适用于处理复杂问答和知识密集型任务 插件搭建 •通过多样的插件调度，系统可以在需要时动态调用不同的功能模块，以满⾜复杂的应用需求 •包括插件的注册、依赖关系的管理、执⾏顺序的安排等，确保各插件能够协同⼯作，提⾼系统的整体性能和灵活性 应用编排 •可以自动化地管理和协调多个应用组件和服务，以实现特定业务流程或⼯作流的目标 •通过应用编排，开发者可以定义复杂应用的逻辑和操作步骤，确保各 组件按预期协同⼯作，帮助提升系统的可管理性和扩展性 示例/特点 •Metaprompting、系统提示词，Prompt模板库 •Chain-of-Thought、Tree-of-Thought等提示词研究 •信源可解释，可靠性⾼ •可以实现对敏感数据的隐私权限控制 •数据知识库可即时更新 •代码解释器、可视化类插件、图表插件、搜索引擎、及执⾏类插件（订票、更改日程等） •AssistantAPI、LangChain、LlamaIndex 重要性分析 国内⼤模型市场结构：以B、G端客户为绝对主⼒的市场结构在短期不会改变，但长期随技术进步和⾏业发展，市场化需求的份额将逐渐增加 B 端交付类模型服务项目 ~90% ~10% 政企类客户 90% 20亿1 10% >80% 云上部署 市场规模1 业务类型客户分布驱动因素 模型API 描述 政策导向 •国家、地⽅政府出台推动⼤模型发展落地的相关政策，给予相关经济支持，国字头、中字头机构有政策上的指标和预算 -例如《北京市推动“⼈⼯智能+”⾏动计划（2024-2025年）》将对重⼤标杆应用⼯程和示范性应用，按照项目⼯程投资予以⼀定比例支持；面向商业化应用，北京对多个细分场景下的⼤模型应用落地项目发放模型券 资源置换 市场化需求 •Infra资源置换：在促进⼈⼯智智能产业发展的整体背景下，模型厂商和⼤模型产业链的相关参与⽅进⾏合作，相互采购服务。例如和算⼒建设、运营⽅进⾏合作，相互采买旗下模型和算⼒服务 •股权置换：和潜在⼤型客户进⾏股权置换来获得订单 •客户主要来自⾦融、医疗等⾏业 应用搭建平台 市场化需求 •需求⽅画像较为碎片，包括中腰部的各类型互联⽹客户，也包括⼀些中小型的下游AI应用开发者、独立开发者以及普通的C端用户 特点 •客户自身技术能⼒较弱，需要外部模型厂商进⾏全流程的交付服务 •客单价较⾼，有付费能⼒，且⼀般不考核模型落地的实际ROI •需要在B端、G端的资源⽹络促成互惠合作 •对模型能⼒要求较 ⾼，ROI驱动 •API用户⼀般具有基本的技术开发能⼒，可以自⾏做模型选择和调试 其他 <20% 本地部署 互联⽹客户及中小开发者 ⼤模型部署⽅式：云上部署是目前⼤模型最普遍的部署⽅式，成本和运维复杂性相对较低，尤其受中小型客户欢迎，上云趋势未来仍将持续 项目制交付 云上部署 私有化部署 信息来源：量⼦位智库 描述 应用开发平台 •普通用户注册即用，可快速搭建智能体、 AI应用 模型通用API 模型服务 微调+独家算⼒ 微调+云端私有化 微调+私有化部署 •普通用户注册即用，快速接⼊通用⼤模型能⼒，按照用量收费，⽆固定成本 •为客户提供模型微调训练服务和相关部署 ⽅案，同时保留独家算⼒，支持⾼并发、快响应等需求，不受通用API用量波动造成的影响 •满⾜客户对于数据隐私的需求，在独占算 ⼒的基础上增加数据安全相关的额外协议措施，增加云厂商背书，确保客户数据安全 •部署在客户自⼰的私有云上，拥有最⾼级 私有化应用搭建平台 别的安全性、自主可控性 适用需求 •面向中小开发者，⽅便探索不同类型的应用 •面向中小开发者。可以帮客户快速完成场景验证，跑通业务流，同时客户对模型能⼒没有垂直化需求 •面相通用模型不能满⾜的场景需求，场景对垂直领域知识、模型的输出模式有特别需求，例如⾦融、医疗及等领域，同时客户需要对⼤模型Token用量、并发请求规模有规划和估计 •面向没有能⼒和意愿自建算⼒，但有⾼并发应用场景或对数据的隐私、安全性有较⾼要求的⾏业客户 •客户可完全控制数据的存储和处理过程，确保敏感数据不会离开企业服务器，同时客户可以自主配置软硬件资源，适配业务需求提⾼效率，主要面向例如政企、⾦融、制造业的⼤客户 核⼼价值 •Token和存储空间 •APIToken 用量 •交付服务以及Token用量