免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。 1 证券研究报告 计算机 大模型深度复盘，科技变革加速 华泰研究 计算机 增持 (维持) 研究员 谢春生 SAC No. S0570519080006 SFC No. BQZ938 xiechunsheng@htsc.com +(86) 21 2987 2036 研究员 郭雅丽 SAC No. S0570515060003 SFC No. BQB164 guoyali@htsc.com +(86) 10 5679 3965 研究员 范昳蕊 SAC No. S0570521060004 fanyirui@htsc.com +(86) 10 6321 1166 联系人 彭钢 SAC No. S0570121070173 penggang@htsc.com +(86) 21 2897 2228 联系人 袁泽世，PhD SAC No. S0570122080053 yuanzeshi@htsc.com +(86) 21 2897 2228 联系人 林海亮 SAC No. S0570122060076 linhailiang@htsc.com +(86) 21 2897 2228 行业走势图 资料来源：Wind，华泰研究 2023年5月22日│中国内地 专题研究 大模型时代已来，AGI新纪元开启 大语言模型（LLM）是在大量数据集上预训练的巨大模型，在处理各种NLP（自然语言处理）任务方面显示出了较大潜力。2017年Transformer编解码器架构问世后，成了今年LLM发展的蓝图，并由此分化出编码器、编解码器和解码器三条进化路径。其中，编解码器和解码器架构目前仍在不断演进中，且解码器架构在数量上占据绝对优势。全球视角看，LLM的典型代表是OpenAI开发的GPT系列模型，国内的百度、智源等也在大模型上进行了深厚的积累。在大模型的赋能下，各种垂类应用和工程实现纷纷落地，包括BloombergGPT、AutoGPT等。LLM或将开启通用人工智能新纪元。 溯源：从经典神经网络到Transformer架构 深度学习可以概括为特征的抽象和结果的预测。深度学习与神经网络密不可分，主要原因是神经网络模型可以使用误差反向传播算法，较好地解决了深度学习中的贡献度分配问题。从历史发展看，神经网络诞生于1943年提出的MP模型，深度学习概念由Hinton于2006年正式提出。经过多年的发展，问世了如卷积神经网络（CNN）、循环神经网络（RNN）、长短时记忆网络（LSTM）等经典的深度学习算法。2017年，Transformer架构的出现成为了后来LLM的基础架构，再次开启了大语言模型快速发展时期。 发展：从GPT-1到GPT-4，开启大模型新纪元 2018年，OpenAI提出生成式预训练模型GPT-1，引入有监督的微调训练。2019年，GPT-2以更大的参数量和多任务训练进行zero-shot学习；2020年，GPT-3用few-shot代替zero-shot，并将训练参数增加到1750亿，再次提高模型表现性能。2022年，InstructGPT引入基于人类反馈的强化学习，实现了更符合人类预期的模型输出。2022年11月，OpenAI正式推出对话交互式模型ChatGPT，5天时间突破了100万用户。2023年3月，GPT-4问世，支持多模态输入，并能高水准完成专业考试，支持API。 延伸：国内大模型快速成长，海外大模型多维拓展 大模型时代到来，模型体系与生态快速扩充，海内外企业坚定发力。受益于大模型的理解能力、推理能力、泛化能力得到充分验证，海内外企业纷纷加速大模型相关的产业布局，全面拥抱大模型时代的技术变革。1）国内：国内大模型发展起步相对较晚，ChatGPT问世以来国内企业加速大模型研发，2023年以百度文心、商汤日日新、讯飞星火等为代表的国产大模型相继发布，并持续推进模型迭代升级；2）海外：海外大模型发展呈现垂直落地、工程实现、模态丰富三大发展趋势，模型体系与配套的工程生态日益丰富。 产业链相关公司梳理 以GPT为代表的大模型产业链可分为算力、模型、应用三个环节。1）算力：包括寒武纪、景嘉微、海光信息等芯片厂商以及浪潮信息、中科曙光、工业富联等服务器厂商；2）模型：包括百度、三六零、科大讯飞、昆仑万维、商汤科技等科技企业；3）应用：2C简单包括金山办公、科大讯飞、同花顺、万兴科技、东方财富、汉仪股份、汉王科技、萤石网络等企业；2B简单包括泛微网络、致远互联、上海钢联、彩讯股份等企业；2C复杂包括中望软件、索辰科技、广联达等企业；2B复杂包括恒生电子、石基信息、科大讯飞、汉王科技、金桥信息等企业。 风险提示：宏观经济波动；大模型技术迭代不及预期；本报告内容基于客观资料整理，不构成投资建议。 (14)6264666May-22Sep-22Jan-23May-23(%)计算机沪深300 免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。 2 计算机 正文目录 大模型时代已来，AGI新纪元开启 ............................................................................................................................... 3 溯源：从经典神经网络到Transformer架构 ............................................................................................................... 4 深度学习是基于神经网络的机器学习 .................................................................................................................... 4 关系梳理：人工智能>机器学习>深度学习 .................................................................................................... 4 深度学习与神经网络发展历史（1943-2017） ............................................................................................... 4 CNN：卷积+汇聚+全连接 ..................................................................................................................................... 5 RNN：具有短期记忆的神经网络 ........................................................................................................................... 7 LSTM：将短期记忆进一步延长 ..................................................................................................................... 8 Transformer：基于自注意力机制的新兴架构 ........................................................................................................ 9 发展：从GPT-1到GPT-4，开启大模型新纪元 ......................................................................................................... 11 GPT-1：确定生成式预训练模型基本路线 ........................................................................................................... 11 GPT-1：基于Transformer的预训练+微调半监督模型 ................................................................................ 11 模型特点：无监督训练+有监督微调 ............................................................................................................ 11 GPT-2：关注模型的零次学习Zero-shot能力 ..................................................................................................... 12 GPT-2：开启“单模型解决多任务”新纪元，大容量技术路线确定 ............................................................ 13 模型特点：多任务学习+大模型容量+无微调建模 ........................................................................................ 13 GPT-3：模型参数达1750亿，few-shot进一步提高性能 ................................................................................... 15 模型特点：大参数量+大训练集+few-shot ................................................................................................... 15 Codex：基于GPT-3的代码生成工具 ......................................................................................................... 18 ChatGPT / InstructGPT：增加人类反馈强化学习（RLHF） .............................................................................. 19 优化目标：从提示学习到指示学习，聚焦需求对齐（alignment） .............................................................. 19 训练过程：“三步走”实现人工反馈强化学习 .............................................................................................. 20 GPT-4：多模态确认，在专业和学术上表现亮眼 ...............................