生成式 AI 和 ChatGPT 101

德意志银行(Deutsche Bank)研究生成AI和ChatGPT 101# PositiveImpact2023年5月艾德里安•考克斯专题研究(+44)-20-7541-7775adrian.cox@db.com吉姆•里德(Jim Reid)(+44)-20-754-72943jim.reid@db.com加林娜Pozdnyakova(+44)-20-754-74994galina.pozdnyakova@db.com是什么生成人工智能吗?它是如何工作吗?你怎么用聊天机器人吗?生成什么人工智能对未来意味着什么?重要的研究披露和分析师认证位于附录1中。MCI （P） 097/10/2022.直到2021年3月19日不完整的披露可能已显示信息，详情请参阅附录1。7 t2se3r0ot6kwopa图像DALL-E 6个月的炒作,聊天和恐惧下周将是自推出以来的六个月聊天机器人基于ChatGPTOpenAI的gpt - 3.5大语言模型。1950:阿兰·图灵提出一个学习的机器1966年第一个聊天机器人伊丽莎发达有一连串的发布，炒作以及此后的活动。甚至在过去的一周里，OpenAI，谷歌和Meta宣布了新产品，OpenAI的首席执行官在国会作证,和七国集团呼吁1980年代的早期发展神经网络2011年,苹果发布的第一个iPhone和人工智能助手Siri人工智能的“护栏”，以及许多其他发展。你是否同意那些说底层技术有“人造将军的火花”情报”或你认为它只是一个“随机鹦鹉”,它对于了解它的工作原理及其含义至关重要。2012 AlexNet飞跃在图像识别2017年的“注意”是你所需要的这是我们面向通才的 101 系列中的最新产品，旨在清晰地概述生成式 AI，并解决它的问题是，它是如何工作的，如何使用它，以及它对工作意味着什么，经济和社会。它也是正在进行的的一部分从本周开始的系列将更深入地研究该主题。纸宣布《变形金刚》2018年谷歌介绍伯特大语言模型2019年OpenAI创建GPT-2与12亿年LLM参数与此同时,有一件事情似乎是确定的。Amara定律,“我们倾向于高估一项技术在短期内，低估了长期影响，”可能是为（或实际上是由）ChatGPT编写的。2022年11月30日:OpenAI发射ChatGPT聊天机器人11德意志银行研究 |阿德里安·考克斯 （+44） 20 7541 7775 |2023 年 5 月 生成的人工智能是什么特别之处?几乎任何可以访问互联网的人现在都可以操作基于大型语言模型（LLM）的聊天机器人。与很少或没有成本和培训1。一般(多功能)技术2。易用性3所示。快速应用个月搜索编码告诉我如何访问和使用ChatGPT 6行押韵诗电话电视WWW翻译情绪分析智能手机超级访问ChatGPT,注意这一点押韵,访问网站的'。chatbox,输入你的追求,点击发送,把它的测试。阅读他们的回答显示,保持聊天,观看知识流。Spotify总结Pinterest推特人类- - - - - -这样的问答图像一代脸谱网InstagramChatGPT实体识别两个月0100 200 300资料来源：德意志银行，公司报告，媒体头条;使用 ChatGPT 编写的 ChatGPT 内容22德意志银行研究 |阿德里安·考克斯 （+44） 20 7541 7775 |2023 年 5 月 什么是大型语言模型（LLM），它适合人工智能的什么位置？GPT-4 是 ChatGPT 的基础技术，也是目前最引人注目的 LLM，这是一种在海量数据，能够理解和生成类似人类的文本人工智能能够智能行为的机器/软件：三个层次1。狭义人工智能:执行有限的任务2。人工总体智能(AGI)3所示。超智机器学习神经网络没有明确的学习和行为的数据指令模型受人类的大脑深度学习使用多个隐藏层人工神经网络以提高性能基金会模型理解并生成文本和/或图像、代码等;需要大量的训练数据LLM关注语言的任务来源:德意志银行(Deutsche Bank)。33德意志银行研究 |阿德里安·考克斯 （+44） 20 7541 7775 |2023 年 5 月 LLM的底层深度学习技术是什么？一个图像分类的例子输入特征提取分类输出传统的机学习:猫专家输入结构化数据不是猫输入特征提取分类输出隐藏层→ 深深度学习与神经网络:可以学习更多复杂的结构和关系(如像素)不需要人类帮助识别相关特性猫不是猫输入输出“神经元/节点”“重量”来源:德意志银行(Deutsche Bank)。44德意志银行研究 |阿德里安·考克斯 （+44） 20 7541 7775 |2023 年 5 月 什么是关键的神经网络，它们由什么组成？神经网络在过去十年中变得越来越复杂，特别是随着2012年的卷积神经网络和2017年的变压器关键的神经网络模型:(大约排名从简单到复杂)常见的组件:••••输入层–需要的数据,如文本、图像,然后将其输入下一层1.前馈：单向，无循环/反馈隐藏层–在输入和输出层之间,负责数据计算和转换2. 复发性（包括长短期记忆，LSTM）：适用于文本等顺序数据;有反馈连接，使他们能够“记住”以前的输入输出层–最后的结果,依赖于形式最初的任务–如分类、未来预测等3所示。卷积:层“盘旋”的输入,使它们特别擅长处理图像神经元–节点层内权重,激活函数和偏差应用于输入4. 生成对抗网络：由两个网络组成竞争并能生成新的数据••参数(重量和偏见)在训练5.自动编码器：无监督，用于数据压缩决定是否一个神经元激活函数应该被激活,增加非线性吗6. 变压器：最适合自然语言处理 （NLP）：• 处理输入令牌之间的所有配对关系• 用“自我关注”来权衡相关性，对于例如，句子中的不同单词并捕获长依赖的数据范围•令牌–单位的文本,如一个词或subword一个语言模型的输入• 为OpenAI的GPT，Google的BERT等模型奠定基础和棕榈元的骆驼和DeepMind钦奇利亚来源:德意志银行(Deutsche Bank)。55德意志银行研究 |阿德里安·考克斯 （+44） 20 7541 7775 |2023 年 5 月 生成AI的转折点是什么?海量的计算能力、数据和变压器模型的发明是氧气、燃料和热量。使生成AI着火变压器结构变压器模型：SOTA的罗塞塔石碑（状态艺术)大型语言模型从“关注我你所需要的“Vaswani et al, 2017来源:德意志银行(Deutsche Bank)。66德意志银行研究 |阿德里安·考克斯 （+44） 20 7541 7775 |2023 年 5 月 计算能力的进步有多大才能让我们走到这一步？与过去的模型相比，最近的模型使用的处理能力或“计算”能力要高出几个数量级，并且更多参数和更复杂的模型架构计算用来训练的人工智能系统总petaFLOP (10¹⁵ 浮点操作),对数尺度GPT-4100,000,000,000密涅瓦(540 b)棕榈(540 b)10,000,000,000λAlphaCodeGPT-3 175 b(达芬奇)1,000,000,000钦奇利亚T5-11BT5-3B100,000,00010,000,000Seq2Seq LSTMGPT-21,000,000休伯特100,000BERT-LargeAlexaTM 20 bRNNsearch-50 *10,0001,000100101GPT变压器其他人愿景演讲语言多通道001月10Feb-113月12日Apr-13 5月14日6月15日Jul-16Sep-1710月1811月19 12月20日1月22日2月23日资料来源：塞维利亚等人（2023 年），《我们的数据世界》，德意志银行。注意：计算是根据AI文献中发表的结果估计的，存在一些不确定性。这该研究的作者希望估计值在2倍以内是正确的。77德意志银行研究 |阿德里安·考克斯 （+44） 20 7541 7775 |2023 年 5 月 有多少参数llm现在吗?LLM中的参数数量是衡量规模的关键指标，在过去五年中激增。即使估计是真的，GPT。4 不会是第一个 1tn 参数模型。据报道，中国多式联运五道2.0参数为1.75tn选定的多模式和语言AI系统，参数超过50B的参数B吴刀2.02000多通道语言18001600140012001000800M6-T[GPT-4 ?)*棕榈Megatron-Turing600密涅瓦400GPT-3(达芬奇)果馅饼λ200火烈鸟骆驼NLLB0钦奇利亚Mar-20Sep-20Apr-2110月215月22日12月22日资料来源：塞维利亚等人（2023 年），《我们的数据世界》，德意志银行。*注意 GPT-4 参数计数尚未公布;业界估计，它大约有1万亿个参数。参数为根据AI文献中发表的结果进行估计，并带有一些不确定性。该研究的作者预计估计值在10倍内是正确的。88德意志银行研究 |阿德里安·考克斯 （+44） 20 7541 7775 |2023 年 5 月 多个参数为何重要?LLM显示出紧急能力，当模型达到时，能力突然（通常是出乎意料地）出现一定规模少数镜头提示设置中的紧急能力示例功能参数资料来源：德意志银行，“大型语言模型的涌现能力”，Wei 等人（2022 年）;IPA是国际音标，NLU是自然语言理解99德意志银行研究 |阿德里安·考克斯 （+44） 20 7541 7775 |2023 年 5 月 准备和使用一个LLM的步骤是什么?LLM经过预先训练，然后通常在用户提示他们执行任务之前对数据进行微调以获得技能集大量的非结构化数据1)Pretraining(通常是self-supervised)LLM生成的输出(文本,图片等)5)推理2)(一般)微调,特定的标签以任务为中心的数据(如医疗、法律)4)提示(上下文输入)3)Chatbot覆盖有时进一步训练与人类反馈来改善它的表现如何6)输出纳入账户为背景随后的提示聊天模式来源:德意志银行(Deutsche Bank)。1010德意志银行研究 |阿德里安·考克斯 （+44） 20 7541 7775 |2023 年 5 月 llm符合其他技术在哪里?“技术堆栈”建立在硬件和云计算之上。LLM通常可以支持多个应用程序通过 API（应用程序编程接口）与它们进行交互。应用程序还可以通过“插头”获得额外的技能-ins”文本图像编码多通道OpenAI /M 'soft谷歌其他人OA DALL-E 2稳定的扩散Midjourney等Github副驾驶员OA法典OA ChatGPT等ChatGPT必应碧玉YouChat等跑道第2代等应用程序API接口吟游诗人元的骆驼(打开伯特棕榈λ许多其他封闭和开放源模型,一些托管在网站像拥抱脸基金会模型/ LLMGPT-3GPT-4等心灵的深处钦奇利亚源)谷歌云平台(GCP)亚马逊的云计算Azure阿里巴巴云,甲骨文云,IBM Cloud等AWS英伟达,AMD等gpu(图形处理器)硬件来源:德意志银行(Deutsche Bank)。1111德意志银行研究 |阿德里安·考克斯 （+44） 20 7541 7775 |2023 年 5 月 你怎么使用聊天机器人吗?ChatGPT 及其竞争对手的外观和感觉都像搜索引擎，但与它们互动更有效，例如与人交谈，提供大量背景，并期望答案可能比事实更有创意基本方法缩短例子提示各种用例业务1.问你正在进行一场谈话和一个人2.给出背景：越多越好，包括目标，语气等;您可以粘贴相关文本和数据（可以粘贴的数量处理取决于模型)3所示。改述、纠正和澄清如果你没有得到答案你想要的——你不需要重申整个上下文•••••识别一个金融公司10种方法可以使用人工智能...您是客户服务代表。写一篇道歉信...把这个数据(如贴表)和识别主题...使用此职位描述和简历撰写求职信...告诉我哪些天使投资人投资了[姓名]，提供他们的电子邮件地址和电子邮件草稿，要求...为企业写一个商业计划和口号...有用的点包括•教育••在500字总结战争与和平的孩子...教我基本的微积分与类