2023年中国大模型行研能力市场探析：大模型底层助力，行研智慧前行

1报告提供的任何内容（包括但不限于数据、文字、图表、图像等）均系头豹研究院独有的高度机密性文件（在报告中另行标明出处者除外）。未经头豹研究院事先书面许可，任何人不得以任何方式擅自复制、再造、传播、出版、引用、改编、汇编本报告内容，若有违反上述约定的行为发生，头豹研究院保留采取法律措施、追究相关人员责任的权利。头豹研究院开展的所有商业活动均使用“头豹研究院”或“头豹”的商号、商标，头豹研究院无任何前述名称之外的其他分支机构，也未授权或聘用其他任何第三方代表头豹研究院开展商业活动。头豹研究院2023年中国大模型行研能力市场探析：大模型底层助力，行研智慧前行AI变革行业创新发展2023 China Large Language Industry Research Capability2023中国大言語産業研究能力撰写人：常乔雨 头豹研究院咨询/合作网址：www.leadleo.com电话：15999806788（袁先生）电话：18916233114（李先生）深圳市华润置地大厦E座4105室团队介绍袁栩聪首席分析师oliver.yuan@Leadleo.com头豹是国内领先的行企研究原创内容平台和创新的数字化研究服务提供商。头豹在中国已布局3大研究院，拥有近百名资深分析师，头豹科创网(www.leadleo.com)拥有20万+注册用户，6,000+行业赛道覆盖及相关研究报告产出。头豹打造了一系列产品及解决方案，包括数据库服务、行企研报服务、微估值及微尽调自动化产品、财务顾问服务、PR及IR服务，研究课程，以及分析师培训等。诚挚欢迎各界精英与头豹交流合作，请即通过邮件或来电咨询。报告作者常乔雨行业分析师charles.chang@Leadleo.com 中国：人工智能系列行业研读 | 2023/11www.leadleo.com400-072-55883摘要◼自ChatGPT推出后，中国在预训练大模型领域实现了显著进步，涉及顶尖学术机构和科技企业，沙利文联合头豹研究院对12个大模型进行综合评估，以全面了解中国大模型在行研领域的发展与应用当前，基于自然语言处理技术的预训练大模型已在全球范围内掀起了有史以来最大的人工智能浪潮。自ChatGPT推出以来，仅中国地区就出现了超过80个不同的预训练语言大模型，参与者覆盖中国顶尖的学术研究机构以及互联网科技企业，旨在此番浪潮中拔得先机。过去一年中，中国学术与产业界也取得了实质性的突破，来自商汤的商量、百度的文心一言等前沿大模型不断升级，带动中国大模型产业的发展。基于数字行研解决方案的研究和实践基础，沙利文联合头豹研究院凭借百人分析师团队匿名投票机制，筛选了12个大模型，进行了多维度的综合评估，旨在全面了解并系统梳理中国大模型参与者在行研领域的应用表现。语言大模型是一种基于深度学习的自然语言处理技术，它通过训练大量的文本数据，学习到丰富的语言知识和语义信息。这种模型通常具有数亿甚至数十亿的参数，能够理解和生成人类语言，广泛应用于机器翻译、问答系统、文本摘要等任务。技术发展的轨迹从早期的深度神经网络演进到预训练加微调模式，再发展至当前的预训练加提示训练模式，这标志着其在仿真人类思维方式进行交流方面的进一步突破。大型语言模型能够显著增强研究报告的编写效率，通过采纳精细化的询问策略，分析师在研究过程中能够实现效率的最优化。此外，这一模型还能够提供全面的文本编辑支持，包括校正、查重、以及文风润色等功能，从而确保分析师提交的工作成果达到更高的质量标准。 4www.leadleo.com400-072-5588123◼研究目的了解中国大模型行业的基本发展态势，参与者现状、技术路线以及未来发展趋势，结合大模型基础能力划定测试大模型行研能力的综合测评指标◼研究目标•了解中国大模型的发展现状•分析中国大模型的发展历程•探析中国大模型的产业价值•窥探中国大模型在行研领域的应用•梳理中国大模型测评指标◼本报告的关键问题•中国大模型现今的发展态势如何？•中国大模型未来的发展趋势如何？•中国大模型在行研领域的应用几何？•哪些企业是中国大模型行业的核心参与者？•大模型如何赋能行研领域价值？•哪些指标是测试大模型在行研领域的重要指标？中国：人工智能系列行业研读 | 2023/12 5www.leadleo.com400-072-5588◆监督式深度学习：指通过自动驾驶车辆的传感器在实际道路行驶中收集的各类数据，如车辆位置、速度、周围环境等信息。◆特征工程：是指在计算机模拟环境中重现真实世界驾驶情景的技术，用于测试和验证自动驾驶系统的行为和响应。◆编码器：自动驾驶中的一种功能，利用传感器数据对车辆周围环境中的对象（如车辆、行人）进行检测、分类和定位。◆无标数据：自动驾驶系统中处理数据并确定最佳行驶路径和行为的过程，包括避障、转向和速度控制。◆判别式模型：一种传感器技术，通过发射激光并测量其反射时间来构建周围环境的三维地图，为自动驾驶车辆提供精确的距离和形状信息。◆生成式模型：一种高精度地图，提供详细的道路、交通标志和地面标记信息，用于自动驾驶车辆的精确定位。◆预训练模型：显示道路网络结构的地图，包含路口、道路连接关系等信息，用于自动驾驶车辆的路径规划。◆类比迁移：在自动驾驶中指向特定目标或条件导航的技术，如向特定地点或遵循特定路线行驶。◆逻辑推理：自动驾驶系统中用于分隔和识别道路标线、车道边缘的技术，确保车辆在车道内正确行驶。 6www.leadleo.com400-072-5588Chapter1大模型行业综述❑大模型是一种基于深度学习的自然语言处理技术，它通过分析和学习大规模文本数据集合，掌握了丰富的语言知识和深层语义信息。经过三次NLP的技术范式转变，已能够达到类人智能的内容产出水准❑大型语言模型通过结合海量数据与自监督学习，逐渐从特定任务转向广泛的通用任务，实现了更加流畅的人机交互，推动了人工智能朝着通用性和人机合作的方向发展❑大模型是继工业革命和互联网革命之后的又一重大创新，将在社会劳动力提升、产业发展加速以及科技突破三个关键领域中，显著增强实体产业的发展能力。进一步提升社会产业价值，提高生产效率和能效大模型评测 | 2023/12中国：人工智能系列 7www.leadleo.com400-072-5588中国：人工智能系列行业研读 | 2023/12•大模型是一种基于深度学习的自然语言处理技术，它通过分析和学习大规模文本数据集合，掌握了丰富的语言知识和深层语义信息。经过三次NLP的技术范式转变，已能够达到类人智能的内容产出水准中国大模型行业综述——大模型架构综述大模型的架构定义来源：沙利文、头豹研究院◼语言大模型经过数次NLP技术的范式转移，已能够达到类人智能的内容产出水准语言大模型是一种基于深度学习的自然语言处理技术，它通过训练大量的文本数据，学习到丰富的语言知识和语义信息。这种模型通常具有数亿甚至数十亿的参数，能够理解和生成人类语言，广泛应用于机器翻译、问答系统、文本摘要等任务。技术发展的轨迹从早期的深度神经网络演进到预训练加微调模式，再发展至当前的预训练加提示训练模式，这标志着其在仿真人类思维方式进行交流方面的进一步突破。监督式深度学习预训练+微调预训练+提示Word2Vec，Elmo(RNN,LSTM)Bert(Encoder-Decoder)GPT(Deconder-only)技术范式算法模型主要任务核心维度编码器+解码器(Encoder+Decoder)只用解码器（Decoder-only)NLP大模型架构路线◼代表模型：BERT、ELMo、BioBERT、XLM、T5◼运行方式：判别式(Discriminive)，通过预测遮蔽词的方式形成结果◼优势：能够更好地处理输入和输出之间复杂的映射关系，在机器翻译、文章问答系统表现良好◼代表模型：GPT、LLaMA、OPT、GLM、LaMDA、GLaM◼运行方式：生成式（Generative)，通过预测下一个单词在当前语境下出现概率的方式形成结果◼优势：结构简单，训练和推理的速度更快、具备上下文自监督特性，在纯生成类任务表现良好模型选型+特征工程用深度神经啊网络对一段文本序列的概率进行建模特征提取+下游任务改造用预训练模型去适配下游的特定任务预测下一个词将各式的下游任务适配在不同的预训练模型 8www.leadleo.com400-072-5588中国：人工智能系列行业研读 | 2023/12•大型语言模型通过结合海量数据与自监督学习，逐渐从特定任务转向广泛的通用任务，实现了更加流畅的人机交互，推动了人工智能朝着通用性和人机合作的方向发展中国大模型行业综述——发展历程大模型的发展历程，1956-2023来源：沙利文、头豹研究院◼萌芽期(1956-1992)：规则阶段，少量人工标注领域数据和特征工程规则阶段大致从1956年到1992年，基于规则的机器翻译系统是在内部把各种功能的模块串到一起，由人先从数据中获取知识，归纳出规则，写出来教给机器，然后机器来执行这套规则，从而完成特定任务。◼沉淀期(1993-2012)：统计机器学习阶段，由人述知识转变成机器自动提取知识机器翻译系统可拆成语言模型和翻译模型，这里的语言模型与现在的GPT-3/3.5的技术手段一模一样。该阶段相比上一阶段突变性较高，由人转述知识变成机器自动从数据中学习知识，主流技术包括SVM、HMM、MaxEnt、CRF、LM等，当时人工标注数据量在百万级左右。◼启动期(2013-2017)：深度学习阶段，模型参数显著提高，标注数据量提升至千万深度学习阶段大致从2013-2018年，相对上一阶段突变性较低，从离散匹配发展到embedding连续匹配，模型变得更大。该阶段典型技术栈包括Encoder-Decoder、LSTM、Attention、Embedding等，标注数据量提升到千万级。◼发展期(2018-2022）：预训练阶段，微调和预训练导致数据量大幅增长预训练模型将可利用数据从标注数据拓展到了非标注数据。该阶段系统可分为预训练和微调两个阶段，将预训练数据量扩大3到5倍，典型技术栈包括Encoder-Decoder、Transformer、Attention等。◼蓬勃发展期（2023）：语言大模型阶段，海量无标数据+自监督实现流畅人机交互从2023年起，大型语言模型开始专注于更好地理解人指令和遵从人价值观，通过结合海量数据与自监督学习于一个预训练阶段，并将重点由领域迁移转向价值对齐。这一变化使得模型从特定任务转为广泛的通用任务，并以自然语言与人互动，推动人工智能朝通用性和人机合作发展。发展期2018-2022蓬勃发展期2022年至今沉淀期1993-2012萌芽期1956-1992启动期2013-2017规则阶段统计学阶段深度学习阶段预训练阶段大模型由人从数据中获取信息，归纳出规则由人转述知识变成机器自动从数据提取知识从离散匹配发展至Embedding连续匹配，模型参数量显著提高将可利用数据从标注拓展至非标，数据量扩大3-5倍将海量无标数据+自建度融合成一个预训练阶段，实现流畅人机协同 9www.leadleo.com400-072-5588中国：人工智能系列行业研读 | 2023/12•宏观分析下，依托于算法、算力和算据的三大支柱，中国的大模型企业主要采纳两种主要策略来塑造其行业竞争壁垒：首先是市场导向型策略，其次是技术深化型策略中国大模型行业综述——竞争策略大模型企业的竞争策略来源：沙利文、头豹研究院思路1思路2市场需求为中心，产品为导向大模型技术积累为核心，探明边界赋业务◼从宏观角度看，中国大模型企业在算法、算力和算据三大核心要素的基础上，主要沿两大策略路径构建其行业竞争壁垒：一是市场导向策略，二是技术深耕策略从宏观层面，算法、算力以及算据的沉淀是企业供给端构建大模型竞争壁垒的核心三大要素。高质量的数据、高效率的算法以及高算力的基础设施是大模型效果与性能的核心保障。从微观发展层面，中国的大模型企业在建立行业竞争壁垒的路径可以大体归为两类：1）市场导向型：这类企业以市场需求为核心，