2023中国宏观经济专题报告大模型原理进展及其影响94页

大模型：原理、进展及其影响主办单位：中国人民大学国家发展与战略研究院、中国人民大学经济学院、中诚信国际信用评级有限公司承办单位：中国人民大学经济研究所 大模型：原理、进展及其影响报告人：文继荣中国人民大学信息学院院长中国人民大学高瓴人工智能学院执行院长国家高层次人才2023年9月 目 录一、大模型的背景和原理二、大模型的飞速发展及趋势三、大模型的深刻影响 •OpenAI 公司开发的大型语言模型–通过从大规模语料库中学习语言规律，从而生成与人类语言相似的输出•表现为一个对话机器人，能够理解自然语言，进行高质量的多轮对话–拟人化程度惊人，被认为是人工智能里程碑式的突破ChatGPT开启了大模型浪潮比尔盖茨：ChatGPT的重要性不亚于互联网的发明2022年11月30日发布，5天获得100万用户，今年1月份月活跃用户数达1亿 ChatGPT的特点•上知天文、下知地理，不仅能写文章、还能写代码知识广博•能有逻辑地组合知识形成答案，具有一定的推理能力有条有理•能准确理解用户意图，三观比较正，并且承认自己不知道善解人意•在多轮对话中不走神，交互聚焦主题交互能力强 理解人类语言是人类探索文明发展的重要目标6哲学计算机 假设：世界知识和人类认知能力蕴含在人类语言中问题：•可以对人类语言建模吗？•语言模型是否能作为世界知识模型？•语言模型是否具有人类认知能力？世界与语言高瓴人工智能学院是中国人民大学下属学院......高瓴人工智能学院是中国人民大学下属学院......人脑（神经网络）语言模型（人工神经网络）生成训练生成语言模型是对人脑的反向工程 语言智能的探索历程8符号规则统计机器学习神经网络预训练语言模型超大规模语言模型给定一组人工设定的规则，计算机通过对数据应用这些规则来模拟自然语言理解在人工标注的数据上进行特征工程，训练机器学习模型参数，并将模型应用于测试数据上用神经网络在大量数据上训练，使得网络自主学会提取特征，并可以灵活搭建模型基于无标注文本预训练语言模型，通过“预训练-微调模式”工作，有监督学习通过扩展语言模型规模，可以通过提示学习、情境学习等无需微调方式求解任务有监督学习任务泛化性弱 仍需要监督学习任务泛化性改善 无/弱监督学习一定的通用能力初始的自动化解决尝试 语言模型的演进图9统计语言模型神经语言模型预训练语言模型大语言模型任务求解能力1990s201320182022word2vec、RNN-LM可以生成流畅文本自动学习特征特征缺乏知识、泛化性差n-gram 模型具备一定生成能力辅助解决部分任务数据稀疏影响严重ELMO、BERT、GPT-1/2任务泛化能力提升统一的任务求解范式仍然需要监督数据微调GPT-3/4、ChatGPT、Claude良好的任务泛化能力通用的任务求解途径学习成本高、灵活性差userid:414195,docid:142799,date:2023-10-16,sgpjbg.com 困难•组合爆炸，无法考虑较宽的上下文•泛化性差，字词之间没有关联•数据、算力不够统计语言模型（Statistical Language Model） 突破•引入注意力机制解决长程上下文依赖问题•多层神经网络抽象解决泛化问题•海量数据训练、巨大算力支持生成式语言模型（Generative Language Model）l下一个词预测：文字接龙lThe chef cooked the meal.lThe chef cooked the meal.GPT 掩码语言模型（Masked Language Model）l文本Mask：完形填空lThe chef cooked the meal.lThe chef cooked the meal.BERT Word2VecChatGPT的发展路径2017年2013年2022年2021年2018年2020年2019年TransformerGPTGPT-2GPT-3BERTCodexWebGPTChatGPT预训练语言模型元年首个千亿级模型引入代码能力和思维链能力引入搜索能力引入对话能力InstructGPT能理解人类指令 ChatGPT的法宝之一：大！（自主学习）lChatGPT：大力出奇迹的典范，大数据、大模型、大算力lGPT-3：1750亿参数量，训练一次消耗1200万美元各种预训练模型的参数量对比（单位：十亿）参数量越多，人区分新闻是否由AI生成的准确率越低 涌现能力：书读百遍，其义自见Wei et al., Emergent Abilities of Large Language Models. In Transactions on Machine Learning Research, 2022ChatGPT的法宝之一：大！（自主学习） l思维链 CoT（Chain of Thought）：由Google于2022年提出Ø大模型可能难以直接解决一个困难的大问题。Ø可以在提问时加入引导，将大问题拆分为多个简单的小问题，从而得到解答ChatGPT的法宝之二：思维链（逻辑训练）Wei et al., Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903. 2022 l思维链 CoT（Chain of Thought）：由Google于2022年提出Ø或者只给一个提示，就可以对大模型进行引导，提示其逐步地解决问题ØLet’s think step by step. Codex引入代码能力和思维链能力ChatGPT的法宝之二：思维链（逻辑训练）Wei et al., Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903. 2022 ChatGPT的法宝之三：人在回路强化学习（价值观对齐）lRLHF（Reinforcement Learning with Human Feedback）：Ø收集人类真实指令，并且聘用了专门的合同工写回答用于初始训练素材来自：https://2cute2tech.substack.com/p/how-does-chatgpt-work-so-well lRLHF（Reinforcement Learning with Human Feedback）：Ø使用上述模型得到多个预测结果，请人按照回答质量排序，训练出一个打分模型ChatGPT的法宝之三：人在回路强化学习（价值观对齐）素材来自：https://2cute2tech.substack.com/p/how-does-chatgpt-work-so-well lRLHF（Reinforcement Learning with Human Feedback）：Ø进一步加速训练过程：使用上述训练模型生成结果，上述打分模型自动评估训练效果。l传统强化学习：Agent根据反馈(rewards)选择策略lRLHF：Ø预测模型扮演Agent，进行策略选择Ø评分模型提供rewardsChatGPT的法宝之三：人在回路强化学习（价值观对齐）素材来自：https://2cute2tech.substack.com/p/how-does-chatgpt-work-so-well ChatGPT的法宝之四：数据闭环+系统工程OpenA1 在2015年作为一个非盈利实验室运营，但为了吸引外部资金，已在2019年转向了有限利润 (Capped-profit）模式2020202120222023商业化研究GPT-3CodexWebGPTInstructGPTChatGPTOpenAI开放API微软买断LicenseGPT-3支撑300+应用上线Azure云服务持续训练：持续收集和构建高质量数据集训练模型快速迭代：先用起来，数据回流，改进模型端到端的系统工程：数据收集、标注、训练、推理使用垂域数据或人类标注反馈数据持续训练，增强模型能力。•API收集数据：GPT-3通过API向个人和企业提供服务，基于Playground和商用场景收集用户真实使用数据 (2.5年数据)。•寻找合作伙伴获取训练数据：面向对话场景，和Twitter 合作每天有大量人与人交互的数据产生，从而可以更好模拟人类说话的方式。面向开发者场景，和微软合作基于Github 5400万开源项目，获取包括159GB Python 代码作为训练数据。•自建高质量finetune 数据：面向问答场景，严格筛选40位高质量数据标员标注共约5万条prompt数据。收集用户反馈，快速分析迭代：ChatGPT 开放近一周，最初一些问题（例如常识问题，安全问题）均快速闭环。问：10公厅铁和10公后棉在哪个更重？ 12月2号的回答：是铁更重12月8号的回答：是一样重， 但是棉花有可能吸收空气中的水分从而更重一些，不过重量的差异其实很小数据收集和标注工作是复杂的系统工程：1)严格选择数据标注员，确保其多样性。2）对标注员进行培训，确保和项目目标对齐，3）开发web 标注页面，确保从多维度反馈信息（不仅是"好与不好”）ChatGPT优秀体验的原因：1）依托强大的基础模型能力，是长期技术积累的结果；2）重视数据：持续收集和构建高质量数据集（含人工标注）对模型持续训练和优化；3） 快速迭代：快速速触达用户和商业场景，收集真实业务数据和用户反馈，分析理解问题，积累经验，迭代产品；4） 系统工程：不仅是训练模型，是端到端复杂的系统工程；5)细节决定成败：以上工作不仅很系统，而且很细致到位OpenAI CEO Sam Altman 说在OpenAl取得关注的背后，微软（尤其是Azure）做了大量出色的工作。codex支撑70+应用 •无法实时纳入新知识•特别专业的知识还不足•推理计算能力仍不足，可能会一本正经地胡说八道•只支持文本生成•算力消耗巨大•......但是这些问题大都是工程问题，不存在不可逾越的理论障碍ChatGPT的不足 目 录一、大模型的背景和原理二、大模型的飞速发展及趋势三、大模型的深刻影响 大模型仍在飞速发展演进增强实时性和真实性支持多模态扩展知识和技能连接物理世界改进复杂推理自主智能体支持个性化提高训练和推理效率 •Toolformer: Language Models Can Teach Themselves to Use Tools. Meta AI Research. Feb 2023•在生成文本的过程中，遇到特定的任务，Toolformer会直接调用所需工具的API•比如说，在执行这个任务：1400名参与者，有400人通过了测试，占多大比例？Toolformer直接“掏出”计算器，现场计算得出结果：29%。扩展知识和技能 连接物理世界•ChatGPT for Robotics: Design Principles and Model Abilities, Microsoft Research. Feb 2023•用ChatGPT的语言交互能力操纵机器人 2023年3月15日：GPT-4发布！令人震撼的新能力•图片识别理解•更强的推理和更高的准确性•文字输入限制提升至 2.5 万字•...... 多模态支持 – 看图推理问：(看图）手套掉下去会怎样？答：它会掉到木板上，并且球会被弹飞。 逻辑性和正确性 – 参加考试 逻辑性和正确性 – 做物理题GPT-4解巴黎综合理工学院的一道物理题，题目是法语，解答用英语。 2023年3月16日： GPT-4全面接入Officel3月16日，微软正式宣布推出Microsoft 365 Copilot，将GPT-4全面接入Office。lCEO纳德拉在发布会上称：今天，进入人机交互的新时代，重新发明生产力。 GPT-4接入Excel•Copilot可以从Excel数据中直接生成战略分析32 2023年3月23日：ChatGPT插件发布•ChatGPT的应用商店来了！ØOpenAI开始建