2024年中国AI大模型产业发展报告-开启智能新时代

前言 伴随人工智能技术的加速演进，AI大模型已成为全球科技竞争的新高地、未来产业的新赛道、经济发展的新引擎，发展潜力大、应用前景广。近年来，我国高度重视人工智能的发展，将其上升为国家战略，出台一系列扶持政策和规划，为AI大模型产业发展创造了良好的环境。当前，通用大模型、行业大模型、端侧大模型如雨后春笋般涌现，大模型产业的应用落地将进一步提速。作为新一代人工智能产业的核心驱动力，AI大模型广泛赋能我国经济社会的多个领域，打开迈向通用人工智能的大门，推动新一轮的科技革命与产业变革。在大模型盛行的时代，产业发展到何种阶段，遇到何种挑战，未来将走向何方，这些都是需要面对的问题，亟需社会各界共同努力。 在此背景下，人民网财经研究院、至顶科技联合发布《开启智能新时代：2024年中国AI大模型产业发展报告》，报告对于AI大模型产业发展背景、产业发展现状、典型案例、挑战及未来趋势等方面进行了系统全面的梳理，为政府部门、行业从业者以及社会公众更好了解AI大模型产业提供参考。 专家寄语 2023年人工智能大模型全面爆发，给科技创新、生产生活带来重大变革、机遇和挑战。全球大模型竞争日趋激烈，众多国产大模型脱颖而出。大模型与电力、零售、出版等传统行业的成功融合，展现对传统产业改造提升的潜力。大模型赋能金融、医疗等行业提质增效，对推动新质生产力快速发展起到重要作用。大模型持续健康发展，需要政策法规保驾护航，满足隐私保护、数据安全等多方面要求。期待未来大模型持续深耕技术创新并服务于各行各业，为全社会全方位地注入高质量发展的新动能。 李君传播内容认知全国重点实验室专职副主任 AI大模型的出现，使得利用人工智能技术来生成内容，从“可用”跨越到“好用”。生产内容是所有行业共有的需求，如今大模型已经在电商、影视、传媒等领域被规模应用。大模型的商业化需要供需双方同时发力：供给侧来看，以Transformer为代表的根技术存在显著成本问题，当前大模型还有进一步压缩成本、提高性价比的空间；需求侧来看，企业高效应用AI大模型的必然前提是，投入大量资金、人力、时间以提升企业自身数字化程度。未来，人工智能生成内容从“好用”到“高效”，也许会再经历一次或多次技术范式的颠覆。 王蕴韬中国信息通信研究院人工智能研究中心副总工程师 2024年，多重利好因素将推动大模型快速发展，首先是“人工智能+”行动等来自政府层面的有力支持，其次用户提升生活、工作效率的需求激增，再加上科技公司加大对AI领域投入资金、人力、技术研发，各环节协同支撑大模型发展。当前大模型产业也面临挑战，包括算力分散不足、Transformer结构是否为最优的疑问、领域数据稀缺、缺少现象级应用的问题。就产业趋势而言，投入基础模型训练的公司未来可能会大幅减少，转而更多的公司会去寻找应用场景和爆款应用。vivo结合自研大模型端侧化、矩阵化的技术优势并且会聚焦手机行业的应用经验，利用大模型重构手机各类功能，找到落地场景，普惠更多用户。 周围vivo副总裁、vivoAI全球研究院院长 目录 第一章扬帆起航：中国AI大模型产业发展背景...................................................1 1.1中国AI大模型产业发展政策驱动力............................................................11.2AI大模型产业发展技术驱动力....................................................................41.3中国AI大模型产业发展市场驱动力............................................................9 第二章百舸争流：中国AI大模型产业现状及典型案例.....................................12 2.1AI大模型主要特征......................................................................................122.2AI大模型主要类型......................................................................................132.3中国AI通用大模型典型案例.....................................................................152.4中国AI行业大模型典型案例.....................................................................202.5中国AI端云结合大模型典型案例.............................................................27 第三章大浪淘沙：中国AI大模型产业发展所面临的挑战.................................31 3.1大模型产业遭遇算力瓶颈...........................................................................313.2主流大模型架构仍存在诸多局限...............................................................313.3高质量的训练数据集仍需扩展...................................................................323.4大模型爆款应用尚未出现...........................................................................32 第四章天阔云高：中国AI大模型产业趋势展望.................................................34 4.1AI云侧与端侧大模型满足不同需求，C端用户将成为端侧的主要客群..........344.2AI大模型趋于通用化与专用化，垂直行业将是大模型的主战场..........344.3AI大模型将广泛开源，小型开发者可调用大模型能力提升开发效率..354.4AI高性能芯片不断升级，AI大模型产业生态体系将不断完善.............36 结语............................................................................................................................37 AI大模型将加快新质生产力发展，助力我国经济社会高质量发展..............37 第一章扬帆起航：中国AI大模型产业发展背景 1.1中国AI大模型产业发展政策驱动力 近年来，我国始终高度重视人工智能发展机遇和顶层设计，发布多项人工智能支持政策，国务院于2017年发布《新一代人工智能发展规划》。科技部等六部门也于2022年印发《关于加快场景创新以人工智能高水平应用促进经济高质量发展的指导意见》对规划进行落实。2024年《政府工作报告》中提出开展“人工智能+”行动。伴随人工智能领域中大模型技术的快速发展，我国各地方政府出台相关支持政策，加快大模型产业的持续发展。当前，北京、深圳、杭州、成都、福建、安徽、上海、广东等地均发布了关于AI大模型的相关政策。具体来看，北京着力推动大模型相关技术创新，构建高效协同的大模型技术产业生态；上海强调打造具备国际竞争力的大模型；深圳重点支持打造基于国内外芯片和算法的开源通用大模型，支持重点企业持续研发和迭代商用通用大模型；安徽从资源方面着手吸引大模型企业入驻；成都着力推动大模型相关技术创新，重点研发和迭代CV大模型、NLP大模型、多模态大模型等领域大模型以及医疗、金融、商务、交通等行业大模型；杭州支持头部企业开展多模态通用大模型关键技术攻关、中小企业深耕垂直领域做精专用模型。 1.2AI大模型产业发展技术驱动力 近年来，AI大模型得到快速发展，当前大模型热潮主要由语言大模型相关技术引领。语言大模型通过在海量无标注数据上进行大规模预训练，让模型学习大量知识并进行指令微调，从而获得面向多任务的通用求解能力。2017年，Google提出基于自注意力机制的神经网络结构——Transformer架构，奠定了大模型预训练算法架构的基础。2018年，OpenAI和Google分别发布了GPT-1与BERT大模型，预训练大模型成为自然语言处理领域的主流。2022年，OpenAI推出ChatGPT，其拥有强大的自然语言交互与生成能力。2023年，OpenAI多模态预训练大模型GPT-4发布，其具备多模态理解与多类型内容生成能力。2024年，OpenAI发布视频生成大模型Sora，提出时空碎片和扩散Transformer技术，大模型的多模态生成能力的进一步成熟。本部分将从经典Transformer架构出发，通过全面梳理基于人类反馈强化学习、指令微调、提示学习等相关大模型技术，体现技术对于产业发展的带动作用。 1.2.1Transformer架构 Transformer架构是目前语言大模型采用的主流架构，于2017年由Google提出，其主要思想是通过自注意力机制获取输入序列的全局信息，并将这些信息通过网络层进行传递，Transformer架构的优势在于特征提取能力和并行计算效率。 Transformer架构主要由输入部分、多层编码器、多层解码器以及输出部分组成。其中，输入部分包括源文本嵌入层、位置编码器；编码器部分由N个编码器层堆叠而成；解码器部分由N个解码器层堆叠而成；输出部分包括线性层和Softmax层。 Transformer架构图 自注意力机制作为Transformer模型的核心组件，其允许模型在处理序列数据时，对每个词位置的输入进行加权求和，得到一个全局的上下文表示。在计算自注意力时，模型首先将输入序列进行线性变换，得到Q（查询）、K（键）和V（值）三个向量。然后，通过计算Q和K的点积，并应用Softmax函数，得到每 个位置的权重。最后，将权重与V向量相乘，得到自注意力的输出。为提高模型的表达能力，Transformer模型采用了多头自注意力机制，这意味着模型在同一时间关注来自不同表示子空间的注意力信息。多头自注意力的实现方法是将输入序列分成多个组，每个组使用一个独立的权重矩阵进行线性变换，并计算自注意力。最终，自注意力的输出被拼接起来，并通过一个线性层得到最终的输出表示。在计算自注意力和多头自注意力之后，Transformer模型使用前馈神经网络对输入序列进行变换。前馈神经网络由多个全连接层组成，每个全连接层都使用ReLU激活函数。前馈神经网络的作用是对输入序列进行非线性变换，以捕捉更复杂的特征。 1.2.2AI语言大模型关键技术 AI语言大模型关键技术主要涉及基于人类反馈强化学习、指令微调、模型提示等相关技术。 （1）基于人类反馈强化学习 基于人类反馈强化学习(Reinforcement Learning from Human Feedback,RLHF)，是指将人类标注者引入到大模型的学习过程中，训练与人类偏好对齐的奖励模型，进而有效指导语言大模型的训练，使得模型能够更好地遵循用户意图，生成符合用户偏好的内容。 基于人类反馈强化学习具体包括以下几个步骤： 1）训练监督策略模型：使用监督学习或无监督学习的方法，对一个预训练的语言模型进行训练，通过给予特定奖励或惩罚引导AI模型的行为，使其能够根据给定的输入预测输出或行为。 2