现象级AI产品ChatGPT分析及建议中国联通研究院 -2-12ChatGPT概念及成功要素lChatGPT产品说明：非常贴近人类的对话习惯和价值观的对话机器人模型lChatGPT成功要素：长期技术积累 + 海量数据 + 巨量算力 + 先进模型架构ChatGPT = 文本生成（一种AIGC[1]场景）+ 大模型技术l大模型技术是实现AIGC的必要技术基础，AIGC是大模型落地的典型应用场景lChatGPT背后的AI技术正在加速数字时代内容生产力的深刻变革AIGC市场分析lAIGC开拓了基于数字技术的内容生态新赛道，将重塑数字内容内容产业链lAIGC赛道广阔，但运营商需冷静判断分析，找到实现商业正循环的落地场景大模型市场分析lChatGPT为代表的大规模预训练模型有望成为AI时代的“新车轮”，是“智能+”的基础生产工具l大模型及其ChatGPT产品将对国家的技术主权、文化主权、数据主权产生巨大和复杂的影响3大模型带来的系统性挑战l技术发展催生海量算力需求，AI产品服务和商业生态将会重塑l科技博弈带来的挑战：系统性研究滞后、芯片短缺、可用数据不足应对大模型挑战的建议l产业政策支持，推动国家重大工程载体建设，完善产业生态，推动跨界融合，释放群体智力l推动行业数字基础设施协同，为算力网络提供重要检验标准，为智原生网络提供先导性场景摘要[1] AIGC：AI Generated Content，人工智能生成内容 -3-2ChatGPT相关产业价值分析1ChatGPT介绍及技术分析3系统性挑战及应对建议目录 -4-什么是ChatGPT2022年11月30日，OpenAI公司发布语言模型ChatGPT，模型采用对话形式与人进行交互，且非常贴近人类对话习惯和价值观。ChatGPT应用功能包含日常对话、专业问题回答、信息检索、内容续写、文学创作、生成代码、调试代码等能力，展现了在文本领域迄今为止最为强大的AIGC能力。ChatGPT发布后5天用户已超百万，目前月活跃用户估计已达1亿，成为历史上增长最快的消费应用。逻辑计算文艺创作信息检索代码编写多轮对话 -5-ChatGPT资本背景2015年成立OpenAI主要目标：制造“通用”机器人和使用自然语言的聊天机器人创始人马斯克太空探索技术公司（SpaceX）CEO兼CTO特斯拉（TESLA）公司CEO阿尔特曼美国创业孵化器Y Combinator总裁彼得·蒂尔PayPal联合创始人主要投资方2019年7月22日，微软投资OpenAI 10亿美元，2020获得GPT-3（ChatGPT前身）独家授权，近期已追加百亿美元投资Ø特斯拉车载终端主机问答系统ØTwitter社交网络虚拟NPCØPayPal在线客服ØBing新一代搜索引擎ØOffice高级文本内容生成ØAzure通用性云服务Ø小冰（已从微软独立）数字人语言、文本交互内核潜在应用场景 -6-ChatGPT引发业界高度关注埃隆·马斯克：ChatGPT惊人的好，我们离危险且强大的人工智能不远了。Yann LeCun（2018图灵奖得主）：就底层技术而言，ChatGPT并不是多么了不得的创新。袁进辉（OneFlow深度学习框架创始人）：ChatGPT的技术进步，可比作首次“登月”，这样的进步令行业感到震惊。信通院 & AIIA：语义理解较准，尚难以摆脱知识整合和逻辑困境。（ChatGPT模型评测）向OpenAI（ChatGPT母公司）追加数十亿美元投资，将ChatGPT集成到新版Bing搜索引擎和 Edge 浏览器中，同时在Azure云服务整合ChatGPT技术，让Azure能够带来更丰富的人工智能互动内容。将ChatGPT视为“红色警报”，看作对搜索引擎的颠覆式挑战，正加紧研发测试ChatGPT竞品“Bard”，并已开展内测工作。将继续加大对AIGC技术的研发投入，已于3月推出与OpenAI的ChatGPT类似的人工智能聊天机器人“文心一言”。 -7-ChatGPT的技术演进ØGPT：只有简单的单向语言模型任务ØGPT-2：使用更多的数据，更大的模型，新增了更多辅助训练任务ØGPT-3：使用45TB的超大规模数据训练，在有3000亿单词的语料上预训练拥有1750亿参数的模型；具备语言生成、上下文学习、常识知识问答等三方面重要的能力ØInstructGPT：加入基于人工反馈的强化学习，即RLHF（Reinforcement Learning from Human Feedback）ØChatGPT：源自GPT-3.5模型，基于人类反馈的强化学习的指令微调（Instruction tuning）技术，使其更加遵循人类价值观，且可实现包含更多细节的生成，具备建模多轮对话的能力nChatGPT的成功不是一蹴而就，经过了多轮技术迭代演进n海量数据 + 巨量算力 + 先进模型架构 ChatGPT -8-ChatGPT与AIGC和大模型的关系大模型 大模型 文本生成 图像生成 AIGC场景 AI技术 算法 数据 AI模型 大参数算法 海量数据 大模型 ChatGPT Dall·E 2 OpenAI产品 对话机器人图像生成工具 -9-AI技术的演进与发展大模型是实现AIGC的必要技术基础，AIGC是大模型落地的典型应用场景 -10-ChatGPT背后的AI技术正在掀起生产力变革 -11-2ChatGPT相关产业价值分析1ChatGPT介绍及技术分析3系统性挑战及应对建议目录 -12-当前AIGC市场分布nAIGC市场包括生成式AI模型及从底层基础设施到海量用户应用的全产业链。 nAIGC开拓了基于数字技术（包括云、网、算、AI、区块链在内）的内容生态新赛道，必将重塑内容产业链。 -13-当前AIGC应用场景 内容创作市场正处于UGC[2]向AIGC转变阶段，初期AIGC多用于面向娱乐媒体内容的辅助生产，后续随着云、网、算、智等技术融合及生态完善，AIGC将重塑垂直行业的内容生产模式。[2] UGC：User Generated Content，用户生成内容 -14-未来大模型的社会价值ü在药物研发过程中，实现蛋白质结构三维模型的精确预测ü针对用户的英文提问搜索中文信息源，并提供相关辅助攻略，实现跨语言多模态信息检索 大模型可以通过提供大量的数据分析来帮助改善决策，解决实际的生产科研决策需求，辅助发现新的创意和解决问题的办法。ü在工业设计中根据任务要求，智能化调整机器的力度和速度，完成生产线上的精细加工ü实现新闻传媒资讯、产品介绍视频内容的自动化生产 大模型凭借优秀的数据价值挖掘能力和较高的应用智能化水平，可完成大部分工业生产工作，极大提升社会生产力与劳动效率。ü在医疗领域，为失声者合成语言音频，为残疾人合成肢体投影、为心理疾病患者合成医护陪伴ü根据课本制作历史人物形象、将2D课本转换为3D，丰富教育教学模式 大模型基于海量数据，使用统一模型架构解决各类 AI 任务，显著提升 AI 模型的通用性及泛化性，将提高各行业的服务质量，改善生活水平。改善社会福祉改善决策提高生产力 -15- 习近平总书记在主持召开科学家座谈会时提出，希望广大科学家和科技工作者肩负起历史责任，坚持面向世界科技前沿、面向经济主战场、面向国家重大需求、面向人民生命健康，不断向科学技术广度和深度进军。 通用大模型是通用AI的基石，是AI时代的“软芯片”，是未来AI应用的主要生产工具。 掌握大模型原创技术将为我国AI创新发展提供技术底座，抢占科技创新制高点。反之如果大量AI应用基于国外大模型研发，一旦断供，将犹如芯片被“卡脖子”。 语言类大模型作为重要媒介，其广泛传播将对舆论和意识形态产生巨大影响。 语言类大模型是数字时代文化和价值观生长的土壤。若无法自主掌控，将极大影响本国文化和价值关安全，失去文化和价值观话语权。信息安全问题也将更为突出。 以大模型为基础的AI技术将是未来经济增长的关键推动力。未来十年，人工智能将助推全球生产总值增长12%左右。同时，将催生数个千亿美元甚至万亿美元规模的产业。 掌握大模型原创技术可以为经济高质量发展提供强大的科技支撑。 AI技术已在教育、安全、金融、交通、医疗健康、家居等领域实现规模应用，其应用场景也愈来愈丰富，极大方便了人们的生活。 大力发展以大模型为基础的AI技术，就是坚持科技以人为本，能够提升人的生活品质，让人的生活更美好。面向世界科技前沿面向经济主战场面向国家重大需求面向人民生命健康未来大模型及其产品对国家的影响 -16-2ChatGPT相关产业价值分析1ChatGPT介绍及技术分析3系统性挑战及应对建议目录 -17-技术发展催生海量算力需求 以ChatGPT为代表的AI应用驱动算力需求指数级增长，算力成为各国抢占发展主导权的重要手段，是支撑数字经济发展的坚实基础。 目前我国算力基础设施建设仍存在资源总量不足、布局发展不均、先进计算芯片进口受限等问题。 云网融合、算网一体等算网技术为解决算力资源的调度与编排提供了全新的基础设施保障方案。算力需求加速增长趋势图1980199020002010202010710510310110-110-310-510-7BERTGPT-2GPT-3深度学习时代L2：算力需求每3.4个月翻倍L1：算力需求每24个月翻倍（符合摩尔定律）L3：算力需求每2个月翻倍Teraflop/s-days模型浮点计算量传统模型深度学习模型基于全新架构的大模型L1L2L3 -18-面向国家：科技战背景下的挑战及建议 国内目前没有ChatGPT量级大模型问世，主要发展瓶颈在于：l技术积累匮乏。大模型技术架构、大模型训练框架等相关技术长期依赖国外，国内原创技术生态仍需建设。l数据质量不足。各行业企业缺乏对高价值数据的有效感知，高质量数据积累及流通性不足。l创新环境需完善。整体商业、政策环境较为急躁，对长周期的投入与产出容忍度较低。多方原因致使国内大模型研究滞后 大规模预训练模型对算力要求极高，目前该市场国外厂商占有率极高，国内芯片无论是数量、质量、生态建设上都有所欠缺。而美国针对中国高端计算卡（如NVIDIA A100等）禁用，导致了未来国内训练更大规模预训练模型缺乏算力支持。中美摩擦为未来研究埋下隐患建议国家层面的应对举措相关产业政策支持：l提高战略定位，将大模型视作“东数西算”式基础设施建设；l国家任务牵引，以国家重大工程为载体，推进国家大模型构建；l人才环境配套，人才內育外引，建设完善大模型科学装置。大模型产业生态完善：l挖掘需求，应用牵引，推动大模型产业发展联盟成立，旨在挖掘各垂直行业需求场景推动大模型应用落地；l跨界融合，开放共赢，凝聚产学研各界力量合作研发。 -19-l资源匮乏，聚少成多。单厂商单IDC无法实现，组成联合组织跨云（IDC）实现。跨域训练对网络带宽、时延要求极高，是运营商机遇之一；l国产芯片，加速替代。国产AI芯片生态薄弱，未能形成研发-生产正反馈。头部云公司规模庞大，替换国产芯片成本巨大，而运营商云服务增长空间巨大，可结合新场景进行芯片国产化替代。供应链算力网络智原生网络l算力网络重要场景。由于ChatGPT类大模型服务需要不断迭代，其周期性、常态化的增量学习（训练）需大量算力及数据传输，是未来算力网络重要收入增长点；l模型西训，服务东用。在“东数西算”格局下，未来必然形成“西训东用”的大模型服务模式，训练后的模型向东部提供应用服务、实现数据流转，依赖分级算力网络的支持。l网络的内生智能是未来6G网络实现完全自智的基础，内生大模型将有望推动网络自智能力加速走向L5级别。数字产品lChatGPT完成了数字时代“文本”对话类服务的范式升级，未来随着图片、音频、视频等多模态大模型出现，AI创作引擎将成为未来数字内容的主要生产源头。面向行业：AI发展新范式带来挑战和产业机遇 © CH