产业深度：全新生产工具：通用AI将引发的变革与产投机遇思考

产业深度 2024.06.24 全新生产工具：通用AI将引发的变革与产投机遇思考 摘要: 【生物基材料三】代糖是生物合成应用的好赛道 2024.06.11 低空经济系列（二）：产业发展的基础、趋势和催化剂 2024.06.10 低空经济系列（一）：混动电推进技术 2024.05.20 一体化技术：实现智能汽车更高能效与产效的重要选择 2024.05.16 财阀经济和竞争格局的稳定性 2024.04.19 往期回顾 人工智能发展已经历从判别式AI向通用AI跃进，半导体技术进步是AI发展暗线。自1955年“人工智能”概念提出以来，人工智能发展历经1.0阶段（判别式AI）和2.0阶段（通用AI）。过去数十年人工智能发展经历了早期萌芽、沉淀积累和2014年之后的快速发展阶段，人工智能1.0阶段可用“三盘棋”来概括：在小规模集成电路发展兴起的1950年代，IBM软件工程师阿瑟·萨缪尔研制开发出了具备学习能力的跳棋程序，且于1961年击败了全美排名第四的跳棋选手；在大规模集成电路发展后的1997年，IBM更深的蓝击败国际象棋棋�卡斯帕罗夫；而在通用图形处理器GPU突飞猛进的背景下，AlphaGO于2015-2017年间分别击败三位人类围棋棋🖂，人工智能在半导体技术进步的推动下不断前进。2018年OpenAI推出第一代GPT以来，OpenAI仅用2个月便实现用户过亿，标志着通用人工智能时代已来临。 通用AI的特点可以归纳为“大语言模型”和“强算法”两点。“大语言模型”指的是模型的参数量大和训练量大，使得通用AI知识丰富、通识能力强且变现出强大的涌现能力。“强算法”指的是通用AI使用了如Transformer、无监督学习、奖励学习、自反馈学习、提示学习等丰富的机器学习算法，使得通用AI能够对自然语义较好地理解且能实现多模态的输入和输出。其中关键性的Transformer作为特征提取器帮助通用AI捕捉关键特征，且自注意力机制使通用AI能对全文进行全面关注，更为重要的“多头自注意力”机制使得通用AI相较使用CNN传统算法的模型能进行更为强大的并行计算，让通用AI具备更长距离语义关系的理解能力和完成多种任务的能力。 通用AI接近完成通识教育的“全才”，具有四大特点。首先“大模型”——让通用AI在大参数与大数据量的哺育下具备强大的通识能力和涌现能力；“自然语言处理”——推动AI走向自然对话形式；“多模态”——使得人机交互的边界和协作效率极大提升；“生成式”——改变内容生产的方式，内容生成有望进入高度自动化和人人都是创作者 的时代。四大特点的共用作用使得通用AI对文字、图片、声音等各种形式信息内容具有理解、沟通和创造能力，且具备学习能力，相较于此前的AI具有显著优势。 通用AI是全新的生产工具并将引领新一轮工业革命，带来硬件和软件应用层面丰富 多样的产业机遇。通用AI将是一个通用性强——理解能力更好、使用门槛低——人 人可用的工具，应用门槛的大幅降低将使得AI更加平民化、变成人人都能使用的工具，让AI在C端的用户基础极大的扩大。同时，使用广度高——不同类型内容的理解与交互、应用场景丰富——创作门槛大幅降低，AI在未来会变成一个我们频繁使用的创作工具、更好用的搜索引擎、以及一个大幅提高工作和生活效率的AI助理。通用AI将属于最大级别、持续时间最久、带动产业最多的“科技创新周期”机遇。 风险提示：通用AI技术进步不及预期、新模型和新技术迭代、市场竞争加剧和政策 监管风险。 产品研究中心 朱峰(分析师) 021-38676284 zhufeng026011@gtjas.com 登记编号S0880522030002 鲍雁辛(分析师) 0755-23976830 baoyanxin@gtjas.com 登记编号S0880513070005 目录 1.人工智能的发展之路3 2.通用AI为“大语言模型+强算法”——解析GPT4 2.1.Transformer：Attentionisallyouneed4 2.2.预训练赋予大模型理解和生成能力，主要分为三步5 2.3.“DiffusionModel+Transformer”使图像生成变成可能7 3.通用AI和此前的AI有什么不同？——理解必然性8 4.通用AI市场空间有多大？——了解确定性10 5.风险提示12 1.人工智能的发展之路 1956年夏天，约翰·麦卡锡等人在美国达特茅斯学院开会研讨“如何用机器模拟人的智能”。会上提出“人工智能（ArtificialIntelligence）”这一概念，标志着人工智能学科的诞生。让机器能像人那样认知、思考和学习，即用计算机模拟人类智能。 图1：人工智能于1950年代诞生 数据来源：赵海《大语言模型及前沿应用：BatGPT》，国泰君安证券研究 人工智能发展经历了早期萌芽、沉淀积累和2014年之后的快速发展阶 段。具体而言，早期萌芽阶段为20世纪50年代-90年代中期，受限于 科技水平，AIGC仅限于小范围试验；沉淀积累阶段为1990s-2010s，由 实验性向实用性转变；快速发展阶段为2010s-至今，模型结构不断创新，AIGC内容多样性与逼真度不断提高。 图2：深蓝与卡斯帕罗夫对战现场图3：AlphaGo与柯洁对战现场 数据来源：雷峰网数据来源：Google 人工智能1.0发展之路可以总结为人机对弈的“三盘棋”。具体而言，第一盘棋是西洋跳棋，搜索空间复杂度为10^28。1956年为人工智能元年； 1952年IBM软件工程师阿瑟·萨缪尔研发出具有学习能力的跳棋程序，并在1961年战胜全美第四选手，这意味着机器已具备“学习能力”，能从大量棋局分析逐渐辨识当前局面为好棋还是坏棋；1994年Chinook战胜了人类总冠军；这个过程也伴随着小规模集成电路出现。第二盘棋是国际象棋，搜索空间复杂度为10^47。1997年IBM更深的蓝击败卡斯帕罗夫，更深的蓝学习了两百多万局对局，能在1秒钟里搜索2亿个棋局，这也标志着“第一个工作受到机器威胁的知识型工人”出现，这也伴随着超大规模集成电路发展。第三盘棋是围棋，搜索空间复杂度为10^360。AlphaGo学习了三千百多万局对局，在2015年以5:0击败樊 麾；2016年以4:1击败李世石；2017年以3:0击败柯洁，独孤求败；这也伴随着通用图形处理器GPU突飞猛进。总的来说，人工智能1.0发展之路也是集成电路工艺发展之路。 GPT的诞生开启人工智能发展2.0时代。AI2.0为通用AI，即生成式AI加大语言模型AI。AI1.0为判别式AI，基于机器学习与深度实习，应用于推荐系统、人脸识别等。而AI2.0为通用AI，即深度学习下的生 成式AI加大语言模型AI，实现了跃进。 图4：OpenAI成为史上用户增速最快的消费级应用图5：通用AI=“大语言模型+强算法” 数据来源：WorldofEngineering数据来源：CSDN，Google，国泰君安证券研究 2.通用AI为“大语言模型+强算法”——解析GPT 通用AI为大语言模型加强算法。其中，大语言模型训练量大、参数量大，因此知识丰富，带来涌现能力；而强算法为“Transformer+无监督学习+奖励学习+自反馈学习+提示学习”，因此可以实现自然语义理解与多 模态输入输出。通用AI的代表即ChatGPT，其中GPT全称为“GenerativePre-trainedTransformer”（生成式预训练变换模型），“G”即“Generative” （生成式），“P”即“Pre-trained”（预训练），“T”即“Transformer”（变换模型），理解顺序应从“T”至“G”。变换模型为预训练奠定训练基础，预训练则赋予生成式理解和生成能力。 图6：理解大模型可从理解G、P、T开始 数据来源：国泰君安证券研究 2.1.Transformer：Attentionisallyouneed Transformer作为特征提取器帮助模型捕捉关键特征。词向量用于反映 该词的意义，位置向量用于反映该词在语句中的位置。自注意力机制 （Attention）则是指模型处理每个词时不仅关注词本身和它附近的词，还会关注输入序列中的所有其他词；通过计算每对词之间的相关性来决定注意力的权重，如果两个词之间的相关性强，它们之间的注意力权重会更高。Transformer模型具有多个自注意力机制，每个机制关注不同的方面并有不同的注意力权重，即多头自注意力层。通过自注意力机制，编码器（Encoder）的职责是通过自注意机制帮助模型理解输入文本的含义；解码器（Decoder）的职责是通过自注意机制帮助模型预测将要输出的文本。总的来说，Transformer作为特征提取器帮助模型捕捉关键特征，帮助模型理解不同词之间的顺序关系，以及该词在上下文之间的关系，是对全文的全面关注；而多头自注意力层能够帮助模型关注文本不同特征或方面，且可以进行并行运算。 图7：传统循环神经网络模型（RNN）存在缺陷图8：2017年谷歌发布Transformer模型 数据来源：CSDN，Google，国泰君安证券研究数据来源：CSDN，Google，国泰君安证券研究 2.2.预训练赋予大模型理解和生成能力，主要分为三步 预训练赋予大模型理解和生成能力，主要分为三步。第一步为无监督学习，即预训练。该过程涉及海量文本阅读，需耗费海量算力、时间、金 钱，因此也是花销最大的步骤。随后便可得到基座模型，能通过预测进行文本生成（即时回答），但无法实现多轮对话交互。第二步为监督学习，即微调。该过程涉及大量高质量对话数据，随后可得到微调后基座模型（SFT），在文本生成能力基础上具备多轮对话能力。第三步为“强化学习+训练奖励模型”，该过程引入奖励模型对回答评分，并根据反馈继续强化训练，最终得到ChatGPT模型，满足有用性、真实性且无害性的特点。 大模型所需算力提升迅速。大语言模型（LargeLanguageModel,LLM）即参数量超过10B的大规模预训练语言模型。相比（小）预训练语言模型，大模型扩展了模型大小、预训练数据、总计算量。主要特点包括： 🕔100-1000亿级参数、基于Transformer架构；②更多的算力用于预训练、推理开销更大；③性能更强，出现涌现能力（但是模型规模必须大于某个阈值才会出现）。参考可租赁云计算单价，A100级的一个GPU·天 的算力需支付200-300RMB。而大模型所需算力从过去1000GPU·天，提升到10000GPU·天的量级，花销巨大。 图9：参数量大于100亿的的大模型不断问世图10：大模型所需算力提升迅速 数据来源：赵海《大语言模型及前沿应用：BatGPT》数据来源：赵海《大语言模型及前沿应用：BatGPT》 大数据量和大参数量带来“涌现能力”。涌现能力是指语言模型参数达到一定规模时，某些（语言理解）能力会突然稳定出现。利用InContextLearning，已经发现在各种类型的下游任务中，大语言模型都出现了“涌 现现象”，体现在在模型规模不够大的时候，各种任务都处理不好，但是当跨过某个模型大小临界值的时候，大模型就突然能比较好地处理这些任务。但是对参数量要求较大，需达到68B以上，若能达到100B则效果显著。具体而言，第一类“知识密集型任务”表现出伸缩法则：这类任务对大模型中知识蕴涵的数量要求较高，随着模型规模的不断增长，任务效果也持续增长。第二类“多步骤构成的复杂任务”表现出涌现能力：在模型规模小于某个临界值之前，模型基本不具备任务解决能力，只有当模型规模大到一定程度时，效果才会急剧增长，这就是典型的涌现能力的体现。第三类“任务数量较少”任务效果体现出一个U形曲线：随着模型规模增长，刚开始模型效果会呈下降趋势，但当模型规模足够大时，效果反而会提升。如果对这类任务使用思维链CoT技术，这些任务的表现就会转化成伸缩法则，效果会随着模型规模增长而持续上升。 图11：相较分析式AI（Bert）和非Transformer大模型（