大模型与AIGC蓝皮书

1© 2023 China Insights Consultancy. All rights reserved. This document contains highly confidential information and is solely forthe use of our client. No part of it may be circulated, quoted, copied or otherwise reproduced without the written consent of China Insights Consultancy.CIC灼识咨询大模型与AIGC蓝皮书 3I.大模型如今已展现出卓越的能力，随着其不断演进和完善，必将引领AI的未来道路，开创智能时代的新纪元II.受益于大模型技术的日益成熟，AIGC有望掀起新一轮产业革命，开启人类发展的智能新时代III.GPGPU高度并行的计算资源为大型模型的训练和推理提供了不可或缺的支持，推动了大模型与AI领域的不断进步和创新IV.彩蛋：生成式AI如何提升工作效率目录 4行业数据及AI基础设施建设中国AI应用情况AI应用的挑战数据量数据质量IT系统成熟度中国AI支出占AI市场比例，2022AI占IT支出比例AI支出CAGR，22-27E20222027E金融12.1%11.8%19.8%28.1%•不同机构之间的数据孤岛•数据系统安全及隐私零售5.7%3.7%5.7%26.6%•传统零售商获取结构化/高度可用的数据•供应链机器学习算法优化制造业8.6%1.8%4.4%43.6%•专注单点技术突破，但无法跨场景规模化应用•数据整合程度低，管理欠佳•AI解决方案供应商分散能源2.6%5.1%9.8%41.4%•AI应用/转型进度较慢医疗5.6%5.5%8.2%27.6%•数据分散在各医院/管理机构•数据系统安全及隐私汽车12.3%19.5%25.5%21.0%•自动驾驶数据融合难度高政府27.1%21.6%28.3%18.7%•不同机构之间的数据孤岛•数据系统安全及隐私强/主要的弱/次要的全球AI市场预计将于2030年达到1万亿美元，并且全球超过15%的GDP将由AI驱动；AI在各垂直领域的应用渗透率也将继续提升。AI应用现状AI在垂直领域中的应用资料来源：灼识咨询 5•AI可分为ANI(ArtificialNarrowIntelligence)、AGI(ArtificialGeneralIntelligence)和ASI(ArtificialSuperIntelligence）。ANI是专注于执行某一领域任务的经过训练的人工智能，是目前大多数的AI形式；AGI是通用人工智能，是指一种具有与人类相当的认知能力的智能系统，能够理解、学习、计划和解决问题；ASI是超级人工智能，指在几乎所有领域都超过最优秀的人类所具备的智能、知识、创造力、智慧和社交能力的智能系统。目前，ANI已经广泛应用，AGI处于研发阶段，而大模型是实现AGI的重要路径。定义AI的三种类型比较擅长领域具备能力发展成熟度某一特定领域具备执行能力已应用广泛大部分领域拥有能够与人类相媲美的智慧处于研发阶段所有领域全知全能尚处早期专用人工智能 (ANI)超级人工智能 (ASI)大模型是实现AGI的重要路径，其具有诸多特点⚫涌现性大模型参数超过百亿级时，模型性能会呈现出指数级增长，同时能够对未经专门训练的问题举一反三。⚫工程化大模型对数据、算法、算力要求极高，需要工程化的经营思路。需要严格把控数据清洗，把控用于关键性训练的数据，和构建大规模高质量训练的算力。⚫高投入大模型具有重投入、长周期的特点，如每次测试需要海量的算力资源，训练一次成本高达千万美元。⚫通用性大模型可以快速并大规模地与云计算、互联网等其他技术结合，广泛地应用在经济的各个领域。大模型是基于海量多源数据打造的模型，其是实现通用人工智能（AGI）的重要路径。大模型可以整合多种不同类型的数据和信息，实现多模态处理和分析，从而更全面地理解和解决复杂问题，其具备通用性、涌现性等诸多特点。通用人工智能 (AGI)四大特点资料来源：灼识咨询大模型的定义 6大模型产业涵盖了行业应用、产品服务、模型工具和基础设施四个关键层面，广泛应用于各行业与垂直场景，前景广阔。大模型产业图谱资料来源：中国信通院，灼识咨询行业应用产品服务模型与工具基础设施金融教育艺术设计游戏医药文化娱乐其他文本图像音频视频虚拟空间代码算法模型工具平台模型托管/交易数据云平台芯片大模型相关产业图谱 7基础大模型1精调大模型2能力涌现的大模型3模型变化............模型示意图，以GPT-3模型为例共128层每层千个节点每层千个节点每层千个节点指令精调示意图能力涌现示意图学习输出模板建立评分机制根据结果重复优化过程人工对大量问题的回答形成模板供模型学习人工对模型的数个输出进行排序，建立奖励模型并为后续结果进行打分模型根据打分结果调整后续输出，并不断重复上述过程以优化模型•随着模型参数的指数级增长，大模型能力呈现明显的爆发增长，呈现能力涌现的情况。•指令精调在于确保模型输出结果的准确性及安全性，在该阶段需要使用较多的人工标注介入。在此基础上，引入奖励模型，让模型脱落人工指引，实现自优化。•GPT-3采用了96层的多头Transformer，参数量达到1,750亿，并使用45TB数据进行训练。模型特征•具备大量知识储备，能理解并生成语言，质量差强人意。•能按照人类偏好及普世价值取向，并保证一定安全性的前提下生成高度可用的内容。•具备逻辑推理能力及上下文理解能力，更接近人类水平。语境理解多任务自然语言理解真实问答场景映射修辞手法单词解谜国际音标转写取余数运算准确性准确性准确性准确性准确性准确性准确性准确性模型规模大模型的演变经历3个阶段：基础大模型具备大量知识储备，能理解并生成内容，质量差强人意；精调大模型能按照人类偏好及普世价值取向、并保证一定安全性的前提下，生成高度可用的内容；而出现能力涌现的大模型所生成的内容接近人类水平。大模型演变概览资料来源：“Are Emergent Abilities of Large Language Models a Mirage? ”，灼识咨询低/弱高/强大模型的演变 8C端B端企业自用主要特点应用案例主要变现模式大模型的终端用户分类大模型的终端用户•主要用于个人娱乐、学习和创作•标准化程度高，普适性强•强调用户友好性与互动性•C端用户订阅•针对企业和机构，提供针对性解决方案的大模型•通常基于基础大模型，根据不同企业、行业的需求进行一定程度的定制，模型较为异质化、用途多样•强调模型在不同领域的专业能力，以及客户的数据隐私和安全•B端企业用户订阅或购买非定制化行业模型•主要用于内部业务优化•个性化定制，解决企业独特的问题和需求•数据保密性至关重要，强调内部控制和数据安全•无直接变现，主要作用在于降低企业自身运营成本并提升效率大模型的终端用户包括C端、B端和企业自用三类。C端用户一般使用标准化的模型产品，B端用户更倾向于选择能满足行业或企业特定需求的个性化解决方案，而企业自用的模型则旨在降低运营成本、提高运营效率、优化产品的用户体验。资料来源：灼识咨询 9大模型在多领域表现卓越，在自然语言理解、学习能力、视觉听觉识别等领域可以媲美甚至超越人类。提高大模型的创造能力、减少对数据的依赖性、加强隐私保护等将会是大模型迭代的重点。资料来源：“Computers ace IQ tests but still make dumb mistakes. Can different tests help?”，灼识咨询-1-0.8-0.6-0.4-0.200.219982003200820132018MNIST (handwriting recognition)Switchboard (speech recognition)ImageNet (image recognition)SQuAD 1.1 (reading comprehension)SQuAD 2.0 (reading comprehension)2GLUE (language understanding)人类表现大模型在不同场景中与人类表现对比MNIST（手写识别）ImageNet（图像识别）SQuAD 2.0（综合阅读）Switchboard（语音识别）SQuAD 1.1（综合阅读）GLUE（语言理解）大模型尚不具备大模型具备但仍需改进大模型具备且可与人类媲美创造性思维自然语言理解视觉识别伦理是非判断直觉抽象思维学习能力艺术表现情感判断听觉识别•视觉/听觉识别：基本达到甚至一定程度上超越人类，准确率较高•学习能力：具备自动学习能力，在特定任务和数据集上可以超越人类•自然语言理解：熟练掌握多种人类语言，基本达到甚至一定程度上超越人类，存在一定语言不够自然（机械化）的问题•创造性思维：能够生成创造性内容，但通常是在已知样本的基础上进行创作或是需要人类指导/二次修改•抽象思维：相对有限，依赖于数据与模型参数•艺术表现：可以生成艺术作品，但通常缺乏情感和创新•情感判断：能够进行情感分析，但不具备真实情感体验•伦理是非判断：不具备，可能引发错误或数据隐私等安全问题•直觉：不具备大模型的表现 10BLOOM随着大模型的不断演进，它们的参数规模也呈现出指数级增长的趋势；与此同时，它们的复杂性和功能愈发提升，使得大模型能够在各领域担任更加多样和复杂的任务。资料来源：HAI，灼识咨询参数数量时间Wu Dao 2.0 GPT-3 175B (davinci) Turing NLG T5-11BMegatron-LM (Original, 8.3B) T5-3BMeenaGrover-MegaGPT-2Megatron-Turing NLG 530B HyperClovaPanGu-uJurassic-1-JumboGopherPaLM(540B)Minerva (540B)GLM-130BChinchillaGPT-NeoX-20BJurassic-XDALL·E 2 Stable Diffusion (LDM-KL-8-G) OPT-175BDALL-ECodexERNIE 3.0 GPT-J-6BCogViewGPT-NeoWu Dao -Wen Yuan ERNIE-GEN (large)3.2e+83.2e+93.2e+103.2e+123.2e+1120192020202120222023GPT-4 (1.8T)Sparrow (70B)Claude (52B)Ernie Bot (260B)ChatGLM-6B通义千问(7B)日日新(180B)•在大模型出现之前，机器学习算法的参数量以平均每5-6年翻一个数量级的速度快速增长，而大模型的出现使模型参数量的增长速度大幅提升。•举例而言，大模型及多模态模型的鼻祖之一GPT-2发布于2019年，参数量为15亿；GPT-3发布于2020年，参数量即达到了1,750亿，相比GPT-2增长了100多倍。粗略计算，在大模型兴起的前几年，大模型的参数量每年即可增长1-2个数量级。•在目前已公开参数量的大模型中，参数量最多的达到了1.75万亿。分析大模型的发展及参数量大模型的发展现状 11应用场景主要用途相关大模型描述文本•营销（内容）•销售（邮件）•通用写作•记笔记GPTGopherOPTBloomCohereAnthropicAI2Yandex•模型比较擅长通用的短/中篇幅写作，通常用于初稿及更新稿撰写•模型能够理解上下文，生成更自然的文本，准确性逐渐接近人类水平，广泛应用于智能客服、文本摘要、内容生成等领域编程•代码生成•代码文档化•文本到SQL•网页应用构建GPTTabnineStability.ai•代码生成可能在短期内对开发人员的生产力带来重大影响•能降低非开发人员编程的门槛图像•图像生成•消费者/社交应用•媒体/广告•设计Dall-E 2Stable Dif