新兴技术策展系列5-生成型人工智能（英）

技术与创新实验室韩国办事处EMERGING技术定制系列问题 5 ：生成人工智能授权公开披露授权公开披露授权公开披露授权公开披露 ACKNOWLEDGEMENTS世界银行韩国办事处杰森 · 迈克尔 · 奥尔福德 (特别代表)WBG ， 信息技术解决方案 ， 技术与创新实验室 （ ITSTI ）Yusuf Karacaoglu （ 董事兼高级顾问 ） ， Stela Mocan （ 经理 ） ， Jinhee Park （ IT 官员 ） ， Yongdae Kim （ IT 官员 ） ， Yusaku Kawashima （ 高级 IT 官员 ）© 2023 世界银行 1818 H Street NW Washington DC 20433电话 ： 202 - 473 - 1000 互联网 ： www. worldbank. org这项工作是世界银行工作人员在外部贡献下的产物。这项工作中表达的调查结果、解释和结论不一定反映世界银行、其执行董事会或他们所代表的政府的观点。世界银行不保证本作品中包含的数据的准确性。本作品中任何地图上显示的边界 ， 颜色 ， 面额和其他信息并不意味着世界银行对任何领土的法律地位或认可或接受此类边界的任何判断。权限和权限本作品中的材料受版权保护。由于世界银行鼓励传播其知识 ， 因此只要给予该作品的全部归属 ， 就可以出于非商业目的全部或部分复制该作品。有关权利和许可 ， 包括附属权利的任何疑问 ， 应向世界银行出版物 ， 世界银行集团 ， 华盛顿特区西北 1818 号 H 街 ， 美国 ， DC 20433 ； 传真 ： 202 - 522 - 2625 ； 电子邮件 ： pubrights @ worldbank. org 。 技术与创新实验室韩国办事处EMERGING技术定制系列问题 5 ：生成人工智能 ContentsI.生成人工智能的基础 7II.生成 AI 10 的简要历史III.生成 AI 的类型及其工作原理 14模型 ............................................................................................15iV. Generative AI 20 的好处可扩展性............................................................................................21V.工业中的生成 AI 应用 22市场营销 ......................................................................................26VI.国际发展的机遇 27VII.局限性和注意事项 29VIII.韩国的 AI 32....................................................................................................................35 首字母缩略词AIBERT人工智能来自变压器的双向编码器表示RoBERT稳健优化的 BERTCLIP对比语言图像预训练GAN生成对抗网络GPT生成预训练变压器LLM大型语言模型MCST文化、体育和旅游部MSIT科学和 ICT 部MTIE贸易、工业能源部NLP自然语言处理SOC社会间接费用资本GSN生成随机网络CNN卷积神经网络RNN循环神经网络NADE神经自回归密度估计器MADE用于分布估计的屏蔽自动编码器VAE变分自动编码器RMF风险管理框架CVPR计算机视觉与模式识别ADA自适应鉴别器增强DNA脱氧核糖核酸 INTRODUCTION生成人工智能 （ AI ） 发展迅速 ， 近年来引起了广泛关注 ， 取得了许多进步和突破。生成人工智能市场预计将从 2021 年的 15 亿美元增长到 2026 年的 65 亿美元 ， 复合年增长率为 34.9 ％ 。认识到生成 AI 在研究和实际应用中日益重要，包括其用于解决国际发展挑战，本报告提供了生成 AI 的全面概述，介绍了基础知识，解释了其随时间的发展，并研究了其类型和应用。在强调了生成 AI 的优势和能力之后，该报告探讨了如何将其应用于医疗保健，制造，媒体和娱乐等各个行业，然后讨论了用户必须考虑的潜在机会和限制。最后，它描述了韩国政府和私营部门参与者为在韩国和全球市场采用和推进生成人工智能而实施的举措和战略。新兴技术系列的第五期 “生成 AI ” 是世界银行集团信息技术解决方案技术和世界银行韩国国家办事处合作的结果。该系列捕获了新技术和趋势 ， 并分享了知识以帮助解决国际发展挑战。1 MarketsandMarkets 。 “生成的 AI 市场规模 ， 趋势 ， 驱动因素 ， 机会和全球预测 - 2030 。 ” https: / / www. marketsandmarkets. com / Market - Reports / generative - ai - market - 142870584. html? I.遗传人工智能的基础 Gartner ， Inc. 宣布关键字 “生成人工智能 （ AI ） ” 是 20221 年战略技术的顶级战略技术趋势 ， 并预测到 2025 年 ， 生成 AI将产生所有数据的 10%，而目前不到 1% 。生成 AI 是一种颠覆性的机器学习算法，可以从数据中学习内容，并使用它来产生创造性、逼真、全新的输出。它不是一种仅在拥有大量数据的世界中才能工作的技术，这是数据驱动的 AI 擅长的 ； 它可以从少量的信息中创建新事物，并且可以用于各个领域和各种应用。• 艺术与设计 ：创成式 AI 创造独特的、多样化的艺术品 ， 如数字绘画、三维设计和动画。 OpenAI 的 DALLE2 和 Stabilty. AI 的 Stable Diffusion 是这类领域的流行例子。 Lexica. art 是一个网站 ， 收集使用创成式 AI 通过 Stable Diffusion 创建的图像 （ 图 1 ） 。 2• 音乐:人工智能算法可以使用输入数据和用户偏好生成音乐曲目 ， 并可以分析现有音乐数据 ， 理解模式和结构 ， 并生成与用户偏好和特定标准 （ 如流派、风格或情绪 ） 相一致的音乐。• 文本:生成式 AI 可以生成内容 ， 创建文章 ， 故事 ， 诗歌和编程代码 ， 并可用于生成对客户查询的自动响应 ， 以获取客户服务。 OpenAI 的 ChatGPT （ 生成式预训练转换器 ） 是此应用程序的一个流行示例。 3• 演讲稿:生成的 AI 可以获取内容并创建适当的语音音频。用户输入文本 ， 然后 AI 将其实时转换为语音。生成的语音可用于各种目的 ， 包括语音响应系统和虚拟助手。与传统的文本到语音系统不同 ， 它生成的语音更自然 ， 更具表现力。 41Gartner 。 2021 。 “Gartner 确定了 2022 年的顶级战略技术趋势。 ” http: / / www. g artner. com / en / newsroom / press - re - leases / 2021 - 10 - 18 - gartner - identifies - the - top - strategic - technology - trends - for - 2022.2Lexica. art. https: / / lexica. art /.3OpenAI 。 “介绍 ChatGPT ” https: / / openai. com / blog / chatgpt /4WellSaid 实验室。 https: / / wellsaidlabs. com /8 新兴技术固化系列 | 生成式人工智能 资料来源 ： Lexica. ar.I.生成人工的基础Intelligence9图 1.使用通用人工智能创建的图像 II.简介一代 AI 的历史 G积极的人工智能是从 20 世纪 50 年代和 60 年代开始发展起来的 ， 当时计算机图形系统开始使用传统的统计模型来开发 ， 如马尔可夫模型和蒙特获得图灵奖的计算机科学家 Yann LeCun 将 GAN 模型描述为 “过去十年机器学习中最有趣的想法 ” 。在更广泛、更多样的数据集、更好的算法和更强大的计算机硬件的推动下 ， 生成式人工智能的进展持续迅速。生成式人工智能用于许多应用 ， 包括图像和视频合成、语音合成和语言生成。它仍然是一个活跃的研究领域 ， 新模型和应用不断开发。2017 年，提出了 Trasformer 模型 6 - 自然语言处理领域的开创性方法。大型语言模型 （ LLM ），例如 GPT3，RoBERT，Gopher 和 BERT 开始广泛流行和采用。 7 LLM 是一种神经网络模型，由于其大小而被称为 LLM 。语言模型通常由数千亿个参数组成。由于模型的大小，它可以了解输入文本中单词和短语之间的复杂关系。例如，BERT 有大约 3.4 亿个参数。OpeAI 的 GPT - 2 （ 2019 年推出 ） 有 15 亿个参数，GPT - 3 （ 2020 年推出 ） 有 1750 亿。这些模型的大小决定了它们的质量。具有许多参数的模型允许完成以前无法完成的事情。 8 这些大型模型在广泛的自然语言处理任务上实现了最先进的性能 （ 图 2 ） 。自然语言处理任务包括情感分析，问答，文本摘要，文本分类，文本生成等。自 LLM 最初开发以来，技术公司就开发了超级 LLM 。5Ian Goodfellow, Jean Pouget - Abadie, Mehdi Mirza, Bing Xu, David Warde - Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. 2014. "Generative Adversarial Networks". https: / / arxiv. org / abs / 1406.2661.6Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Vault ukasz Kaiser, and Illia Polosukhin. 2017. “注意是所有你需要的。 ”神经信息处理系统的研究进展30.7Jacob Devlin, Ming - Wei Chang, Kenton Lee, and Kristina Toutanova. 2018. “BERT: 语言理解深度双向变形金刚的预训练. ” arXiv: 1810.04805.8Jordi TORRES. AI 。 2022 。 “变形金刚 ： 越大越好 ” ， https: / / towardsdatascience. com / transformans - the - bigher - the - better - 19f39f222ee3 。二、生成简史AI11 图 2.图像和语言中的人工智能系统功能2021 年，OpeAI 推出了 DALL - E，这是一种生成 AI 模型，可以从文本创建图像。与其他 LLM 一样，它基于变压器模型，并在大量图像和文本描述数据集上进行训练，以便它可以学习以能够生成高度详细，富有想象力的图像的方式将两种模式关联在现实世界中不存在。2022 年，引入了 Midjorey9 和稳定扩散，10 个类似于 DALL - E 的 AI 程序，这些程序可以从文本描述中生成图像。中程是一个独立的研究实验室，可以使用 Discord 机器人访问其服务。它产生的图像类似于艺术品而不是照片。它可以免费使用 25 次。资料来源 ： Dowe Kiela，Max