ChatGPT的前世今生和未来展望

ChatGPT的前世今生和未来展望丁博生@Alibaba & NTUbosheng001@e.ntu.edu.sg欢迎转载，转载请注明出处 背景介绍●阿里巴巴达摩院 x NTU联培博士生 - 自然语言处理(NLP)方向 (2023年毕业)●前PwC Consulting (普华永道咨询) 咨询师●NLP顶会ACL、EMNLP审稿人●创过业●技术角度 + 商业角度 体验ChatGPT 让ChatGPT读百度第四季度财报 让ChatGPT读百度第四季度财报 让ChatGPT读百度第四季度财报 ChatGPT是怎么来的？ 基本框架GPU是显卡的核心芯片GPU / TPU / CPU都是芯片的一种 ChatGPT的前世今生 引自：代码家AIGC – 图片与文字分享教小朋友学东西 引自：代码家AIGC – 图片与文字分享教小朋友学东西 引自：代码家AIGC – 图片与文字分享 引自：代码家AIGC – 图片与文字分享 OpenAI vs 其他大厂 - 时间线不完全统计，仅供参考 ChatGPT真的理解了人类的语言了吗？ 基于概率分布但是人也是真的理解对方的意思吗？情景一：女生：我不舒服男生：多喝热水情景二：女生：XXXXXXXXX男生：嗯嗯 好的（可能也是一种概率分布） 这一波ChatGPT和前面两次AI破圈有什么不一样？ ChatGPT带来的范式改变●AlphaGo：门槛太高●自动驾驶：风险太高●ChatGPT: 门槛足够低，风险足够小 ○ChatGPT最大的创新就是把一个最前沿的科技让最多的人能够用起来○把MaaS (Model as a Service) 跑通了 -》很多应用都可以外接ChatGPT ChatGPT vs 自动驾驶对比对象ChatGPT自动驾驶定位辅助接管场景智力劳动体力劳动门槛超大GPU集群、语料数据、人才交通数据、人才、边缘计算、多模态共同点通用大模型元年跟自动驾驶元年一样，永远是下一年 ChatGPT和之前的ChatBot有什么区别？ One Model for All海量数据 一个模型暴力美学 搞定一切由多个模型、聊天模版、预设规则拼接而成VS 关于ChatGPT的商业思考 人是ChatGPT的APIChatGPT调动了全世界的人做了两件事：1.积累了大量语料（多语言、跨领域、多任务）2.帮忙找bug（优化的方向） 人会不会被ChatGPT替代？ 人不会被ChatGPT替代ChatGPT说：这锅我不背！ 人不会被ChatGPT替代我们的世界是多模态的。色身香味触法，眼耳鼻舌身意。 人会被熟练掌握ChatGPT这些AI工具的人替代《和机器赛跑》：人+机器>>人生产力工具，赶紧用起来！？？ ChatGPT存在什么问题？ 事实性错误引自：机器之心 - 别只骂谷歌Bard了，ChatGPT加持的微软New Bing也错误频出然而根据维基百科和 IMDB 提供的信息 Eriko Kishida 的生卒年分别为 1929 和 2011。同时，她也不是剧作家（playwright）和散文家（essayist），而是诗人、翻译家和童话作家。同时不幸被转业的还有 Gackt 同学。据维基百科提供的信息，Gackt 玩过音乐、唱过歌、作过曲也演过戏，就是没作过诗。 事实性错误粗分为两类：生成内容与引用内容冲突。生成的内容没有事实依据。 ChatGPT可能会给生活造成的负面影响●假新闻泛滥●水军泛滥●学生拿ChatGPT写作业 ChatGPT本质是什么？ 怎么教机器做事？Command-line User Interface(CUI)GraphicalUser Interface(GUI)LanguageUser Interface(LUI) ChatGPT本质是什么？CUIGUILUI? 未来展望 OpenAI：一战成名OpenAI的先发优势和马太效应极强ChatGPT从11月底发布，成为了最快积累1亿月活的应用后续的聊天机器人，如果效果没有明显比ChatGPT好，大家就不买账例子：Bard的Demo数据：试用阶段积累了上亿的语料，全世界的人帮忙debug人才：大量顶级AI人才聚集到OpenAI，寡头效应日渐显现可以去看一下他们的投资条款，非常有意思 微软：长期主义的胜利萨蒂亚·纳德拉的战略眼光非常强养了Bing十几年又挺了OpenAI几年云和系统、Office业务赚钱反哺AI搜索不是核心业务，试错成本小Windows全家桶都会集成ChatGPT 谷歌：鹿死谁手 犹未可知谷歌会Catch Up的谷歌在AI方面的积累非常深厚，算力、数据、人才都是现成的NLP很多突破性工作都是谷歌做出来的，然后OpenAI发扬光大谷歌的搜索引擎比Bing好很多谷歌的广告营收可能会被影响AI的军备竞赛升级，大厂内卷 Meta：向左走，向右走？元宇宙？AI？VR/AR？到底在bet一个什么方向？搞不搞大模型？犹豫就会败北Yann LecunChief AI Scientist at Meta 中国大厂的方向●中国大厂是不是应该去追求做一个通用领域的ChatGPT？●一种新的思路：中国大厂可以专注去做自己所属领域的ChatGPT（阿里积累的电商对话数据、腾讯积累的游戏领域数据，这些是自己的优势，应该发挥出来） ●Domain Specific ChatGPT 目前基于ChatGPT的初创公司的方向●专注在应用层，成为OpenAI生态的一部分●ChatGPT的定位：1. 辅助 2. 很有用 但是容易犯错●率先突围的应用方向：○为Individual Contributor服务○为SME（中小企业）服务●为什么不是target大公司和政府？(IBM的教训）○提出的需求门槛太高导致不成熟的技术无法支持 举个栗子 中国版的ChatGPT？ 复刻ChatGPT/GPT3的难度1.算力：对于如此大规模的模型，一次训练就将需要在约 1000 个 80G A100 GPU 上花费至少 2 个月的时间（数据来自于 OPT 的原始文献）2.数据质量：筛选低质量数据、去重、多样性3.人才：不同训练策略带来的影响、怎么通过人类反馈去做对齐，各种工程问题训练大模型是很吃经验的就像看了图纸，宜家的家具还是会装错 卡脖子的因素1.算力（由于美国的限制，英伟达的A100对中国禁运）2.数据（怎么收集优质数据、舆论环境的特殊性）3.人才（全世界能够lead ChatGPT这个级别的项目的顶级AI人才可能不超过50个人，其中绝大部分人集中在美国）一个更严峻的问题：即便一年内凑齐所有条件，可能也只是能够召唤出初代神龙GPT3，而这一年我们应该会看到GPT4。 一个更本质的问题与其去做中国版的ChatGPT，不如回答下面这个问题：给你两万张显卡，你想要训个什么东西？2018年OpenAI面对这个问题的回答是，不训BERT，训GPT The iPhone Moment “This is the iPhone moment of artificial intelligence”“在过去的40年里，在我从事这个行业的整个40年里，我们什么也没做，只是让计算机对人们来说越来越难编程，这就是为什么技术鸿沟如此之大，而且技术鸿沟越来越大。直到有一天，突然每个人都可以进行计算机编程。实际上，每个人都能进行计算机编程。我们已经将计算普及了。无论你是农民、医生、护士、一线工人、助理、旅行社，还是小企业、餐馆老板，这都不重要。现在每个人都是程序员，不是吗？” - 英伟达创始人黄仁勋谈ChatGPT ChatGPT vs iPhone对比对象ChatGPTiPhone核心创新自然语言交互(LUI)可能是普通人使用AI技术的最佳方式触屏交互 > 键盘交互把电脑放进手机范式改变在ChatGPT之前面向消费者的AI应用几乎不存在在iPhone之前移动应用几乎不存在行业影响很可能会创造一个每个人都能参与的巨大市场创造了移动互联网这个巨大的市场受高超学长启发跟李乐为学长讨论形成的观点 团队介绍 - Based in 新加坡丁博生罗天泽莫湛锋还有很多新加入的小伙伴 谢谢大家 特别鸣谢代码家杨植麟博士高超学长李乐为学长高阳学长时峰学长陈玉玲同学曹运同学蒋钰记者 参考文献代码家 - 《AIGC – 图片与文字分享》（强烈推荐每个人都去听一下）李宏毅 - 《ChatGPT (可能)是怎麼煉成的 - GPT 社會化的過程》杨靖锋 -《为什么所有GPT-3复现都失败了？使用ChatGPT你应该知道这些》符尧 - 《追溯ChatGPT各项能力的起源》李星漩、丁博生、赵若辰、谢耀赓、邴立东 -《别只骂谷歌Bard了，ChatGPT加持的微软New Bing也错误频出》王建硕 - 《ChatGPT 带来的 LUI 比 AIGC 大得多》高超 - 《ChaoTalks: ChatGPT》Training language models to follow instructions with human feedback, OpenAI, 2022LaMDA: Language Models for Dialog Applications, Google, 2022Language Models are Few-Shot Learners, OpenAI, 2020 Appendix 几个确定的发展方向●大模型的知识更新（5G冲浪 - WebGPT, LaMDA）●大模型的逻辑推理和事实验证能力大幅提升●Domain Specific Conversational Search Engine●多模态大模型（能写、能说、能画、能唱）●上网 》上云 》上AI TransformersTransformers 的架构主要由编码器和解码器两部分组成。 Transformers以下是 Transformers 模型的主要优点的简要总结：●能够更好地处理长序列●并行计算，速度快●较好的可解释性，可以了解模型对于输入序列的哪些部分更关注，更好地理解模型的预测结果。●预训练模型效果强 什么是预训练Stanford University is located in __________, California.类比：我们以前学英语的时候，做的那些题，其实都是预训练引自: http://web.stanford.edu/class/cs224n/slides/cs224n-2023-lecture9-pretraining.pdf 预训练模型的三条路线上下文（双向）类比：做完形填空好处：自然语言理解能力强坏处：文本生成能力差代表模型：BERT、RoBERTa类比：先做完形填空，再背课文好处：平衡型选手坏处：速度慢，效率低代表模型：BART、T5Language Modelling (单向）类比：背课文好处：生成能力强、速度快坏处：同等大小理解能力比另外两个差代表模型：GPT系列、大模型 从GPT3到ChatGPT 什么是指令微调（Instruction Tuning) 参考文献李宏毅 - 《ChatGPT (可能)是怎麼煉成的 - GPT 社會化的過程》符尧 - 《追溯ChatGPT各项能力的起源》Stanford University Natural Language Processing with Deep Learning CS224N/Ling284 Lecture 9: PretrainingAugmented Language Models: a Survey, Meta 2023Training language models to follow instructions with human feedback, OpenAI, 2022Scaling Instruction-Finetuned Language Models, Google, 2022Finetuned Language Models Are Zero-Shot Learners, Google, 2021Evaluating Large Language