计算机行业：生成式AI迎来拐点，ChatGPT商用落地

ChatGPT横空出世，多重技术孵化第三代GPT语言模型。ChatGPT是人工智能研究公司OpenAI创建的聊天机器人，于2022年11月发布。程序运行遵循对话形式，能够生成预训练转换器，基于对方反馈回答后续问题、承认错误、挑战不正确的前提和拒绝不适当的请求等。 ChatGPT一经发布便集万千宠爱于一身。1）用户：在发布短短5天后ChatGPT就累积了超过100万用户，在1月份的月活跃用户数已达1亿，成为史上用户数增长最快的消费者应用，对比同样作为现象级产品的TikTok，后者达到同一水平用了9个月时间。2）产业：微软将向OpenAI投资数十亿美元，并将迅速推进ChatGPT商业化，计划将其整合进Bing搜索引擎、Office全家桶、Azure云服务、Teams聊天程序等一系列产品中，目前微软已推出基于ChatGPT的订阅制服务如高级Teams产品（可以帮助生成会议记录或创建会议模板）、Viva Sales（基于生成式AI驱动经验的预览功能，帮助销售人员更好地与客户和消费者沟通）。此外，谷歌、亚马逊、百度、腾讯等多家巨头均已在AIGC领域有所布局。3）资本市场：“美版今日头条”BuzzFeed在宣布和OpenAI合作，未来将使用ChatGPT帮助其创作内容后股价2天累计涨幅超300%，A股市场中ChatGPT相关标的均获得了较高涨幅。 ChatGPT的核心价值在于使AI技术应用场景大幅延展。1）过去几年，AI行业无论是在产业层面还是二级市场表现都差强人意，核心原因就在于商业落地场景的不明确。一方面，对于corner case容忍度较低的行业AI落地普遍偏慢。现阶段的AI技术还是建立在统计学的基础上，这就决定了它的准确度是一定限制。另一方面，AI模型的生产成本较高，导致很多场景无法下探。2）AIGC使得创作门槛大大降低，这意味着AI技术可触达的场景大幅延展。而且，此前AI往往作为安防、智慧城市等领域大项目中的一个技术模块存在，AI技术本身的商业价值划分相对困难，而ChatGPT这种直接为AI技术付费的方式使得AI技术的价值更加显性化。同时，下游应用场景的拓展与大模型的快速发展也将有力地推动行业上游发展，无论是算力还是数据标注的需求都将大幅增加。 投资建议：ChatGPT将使得AI应用场景大幅拓展，我们基于核心应用场景、配套基础设施两个视角，推荐科大讯飞、格灵深瞳；受益标的商汤、云从科技、海天瑞声、拓尔思、寒武纪等。 风险提示：AIGC技术商业化落地不及预期、AIGC的应用成本过高 1.ChatGPT横空出世，多重技术孵化第三代GPT语 言模型 1.1.OpenAI搭建聊天机器人ChatGPT实现多种功能 ChatGPT是由人工智能研究公司OpenAI创建的聊天机器人，于2022年11月首次发布。程序运行遵循对话形式，能够生成预训练转换器，基于对方反馈回答后续问题、承认错误、挑战不正确的前提和拒绝不适当的请求等。聊天机器人可用于回答问题、创建副本、起草论文、调试代码和生成故事等，并可以在几秒钟内制作出500字的指南。 图1：ChatGPT可根据人的需要创建内容或脚本等 ChatGPT是基于OpenAI“GPT-3.5”深度学习语言模型的微调版本。 ChatGPT使用一种称为“来自人类反馈的强化学习”（RLHF）的方法进行训练。这意味着用户与程序进行对话时，同时还扮演了“AI助手”的角色，其作用是基于实际模型编写建议，然后将新的对话与OpenAI的InstructGPT数据集混合。最后，该公司通过获取“AI助手”与聊天机器人的对话，并让“AI助手”对不同的程序反应进行排名，创建奖励模型，利用类似“人类划重点”、“强化学习”等更多的思路提升模型效率。 图2：ChatGPT使用RLHF法训练，创立奖励模型以提升其效率 请务必阅读正文之后的免责条款部分 ChatGPT功能强大，测试结果满足人类大部分日常需求。从12月的测试结果来看，ChatGPT针对各个种类的问题和用户要求都有能力提供高质量的答案。比起名字中的Chat，ChatGPT更是一款优秀的类搜索引擎工具，它显著地降低了人类搜索信息的时间成本，较普通搜索引擎中可能出现的不同的、甚至彼此矛盾的答案，ChatGPT提供的答案可能更为准确，可以满足人类大部分日常需求。其他功能，比如改写文章、大篇幅续写、快速定位代码的bug并进行修复等也是它受青睐的原因。 ChatGPT是生成式人工智能技术（AIGC）浪潮的一部分。在技术创新以及多模态模型的持续突破下，AIGC根据功能和对象的不同，按顺序可包括三种主要实用功能：数字内容孪生、数字内容的智能编辑、数字内容的智能创作。这三种功能相互嵌套与结合，可以让AIGC产品具备超越人类的创作潜力。而ChatGPT正是AIGC的数字内容智能编辑这一大功能领域中的重要组成部分。 图3：AIGC发展经历了早期萌芽、沉淀积累和2014年之后的快速发展阶段 图4：AIGC应用功能众多，涉及领域广泛 图5：AIGC是在分析式AI的基础上实现新样本内容的创造 AIGC相关技术包含了三大前沿能力。数字内容孪生能力构建现实世界-虚拟世界映射，孪生能力包括智能增强与转译技术，其中增强技术弥补内容数字化过程中的信息损失，转译技术在理解基础上对内容进行多种形式呈现。数字编辑能力打通现实世界虚拟世界交互通道，编辑能力包括智能语义理解与属性控制，语义理解帮助实现数字内容各属性的分离解耦，属性控制则在理解基础上对属性进行精确修改、编辑与二次生成，最终反馈于现实世界，形成孪生-反馈闭环。数字创作能力从数据理解走向数据创作，创作能力可分为基于模仿的创作与基于概念的创作，前者基于对某一类作品数据分布进行创作，而后者从海量数据中学习抽象概念，并基于概念创作出现实世界不存在的内容。 图6：AIGC三大前沿技术能力架构如下图所示 1.2.GPT语言模型历经三次大规模迭代 2018年，OpenAI推出第一代GPT。GPT全称“Generative Pre-trained Transformer”（生成型预训练变换模型）。GPT-1具有1.17亿个参数，采取的是生成式预训练Transformer模型，这个范式也影响了此后整个GPT各个系列的研发。GPT-1的方法包含预训练和微调两个阶段： 预训练：遵循语言模型的目标，数据集采用各类型的大型经典书籍文本（超过7000本）。 微调：遵循文本生成任务的目的，针对四种语言场景（问答、文本相似性评估、语义蕴含判定、以及文本分类），使用不同的特定数据集对模型进行进一步的训练。 2019年，OpenAI继续推出GPT-2。GPT-2具有15亿个参数，拥有和GPT-1一样的模型结构，所适用的任务开始锁定在语言模型。在GPT2，OpenAI的数据集发生变化，主要使用自己收集的网页文字信息。得益于更高的数据质量和更大的数据规模，GPT-2生成能力呈现巨大进步。 图7：ChatGPT由GPT-1到InstructGPT模型的不断成熟而逐步形成 2020年，GPT-3的问世在业界掀起巨大波澜。GPT-3训练参数1750亿个，是GPT-2的100倍以上。在它出现之前，世界上最大的语言模型是微软旗下的Turing-NLG，还不到两亿参数。除了完成NLP任务，GPT-3还意外地能完成JavaScript等语言的代码工作，以及进行简单的数学运算。 更大的训练集：经过基础过滤的全网页爬虫数据集（4290亿个词符）、维基百科文章（30亿词符）、两个不同的书籍数据集（一共670亿词符）。 技术路线改进：省去了微调步骤，直接输入自然语言作为指示，训练GPT读过文字和句子后可接续问题的能力，覆盖主题更广。 小样本提示回答能力：用户可以仅提供小样本的例子，或者完全不提供提示而直接询问，ChatGPT就能高质量地完成用户所要求的语言任务。 图8：GPT-3根据小样本提示回答 标注数据集和奖励模型共建InstructGPT。 标注数据：在GPT-3公测期间，OpenAI利用大量的用户使用提供的对话和提示语数据来帮助数据标记团队生成人工标记数据集，即对语料定性。如此，模型在学习数据的同时，进一步学习人类对这些数据的标记（例如某些语句和短语是不好的，应该减少使用）。 奖励模型：针对每一条提示语，模型都能给出无数答案，因此，模型还需要做的是在这些可能的答案中，挑选出最符合人类交流习惯的答案。奖励模型的作用正是自动给模型奖励反馈，起到鼓励最优答案的目的。 在标注数据集和奖励模型一步步的优化下，最终得到的模型被称为InstructGPT。 数据质量助力ChatGPT实现技术跨越。根据OpenAI官网，ChatGPT模型与InstructGPT模型是姐妹模型。根据文献，InstructGPT的参数数目为15亿，所以有理由估测ChatGPT的参数量也近似。ChatGPT构建上引入人工标注数据和强化学习，即被GPT-3省去微调步骤回归，在和人互动产生的反馈中也可以进一步进行强化学习。使用感受上，ChatGPT在模拟人类聊天上表现优异，尤其是理解能力和交互性表现方面，针对用户提问的回答准确性也在提高。 图9：GPT系列模型的数据集训练规模 ChatGPT拥有比GPT-3更强的对话能力和更高的答案质量。针对CPT-3只能预测单词后会出现的内容，进而导致的在对话中呈现出的脱离实际问题，ChatGPT对人类语言和指令的理解能力、对答案的甄别能力提高，不同于CPT-3，ChatGPT有能力根据上下文连贯地回答用户后续问题，在面对不当问题时，会质疑错误或拒绝回答。正如ChatGPT自己给出的回答，“ChatGPT是一个专供交流对话的语言模型，而GPT-3并不是为了对话而设计的，更善于产出长文章，欠缺口语化的表达。”不仅如此，在特定专业领域ChatGPT也得到了深入的发展，面对海量的专业和话题，ChatGPT具备一定程度的逻辑和知识，得到了专业领域的认可。 ChatGPT嵌入了人类反馈强化学习以及人工监督微调，解锁了海量应用场景。当前，ChatGPT所利用的数据集只截止到2021年。在对话中，ChatGPT会主动记忆先前的对话内容信息(上下文理解)，用来辅助假设性的问题的回复，因而ChatGPT也可实现连续对话，提升了交互模式下的用户体验。同时，ChatGPT也会屏蔽敏感信息，对于不能回答的内容也能给予相关建议。 图10：ChatGPT在关键点上获得了一定突破 图11：ChatGPT是基于Transformer架构的语言模型，它在以往大语言模型（如ELMo和GPT-2）的基础上有诸多性能提升 1.3.OpenAI公司稳步前进，迎来发展黄金时期 2015年，OpenAI公司作为非营利组织出身。为了阻止14年被谷歌收购的神经网络初创公司DeepMind开发完成AGI技术并后被谷歌垄断，SamAltman（现CEO）、Elon Musk、Greg Brockman（前Stripe CTO，现董事长&总裁）等人15年12月于旧金山创立非营利组织OpenAI。正如其名，OpenAI明确致力于创建可靠、安全、共享的AGI，并承诺公布研究成果。OpenAI的创立目标是与其它机构合作进行AI的相关研究，并开放研究成果以促进AI技术的发展。 2019年，营利实体OpenAILP成立解决资金问题。在训练巨型神经网络高达数千万美元的费用和科研人员的高额工资压力下，OpenAI实验室不能继续作为非营利组织。在Altman的推动下，OpenAI成立了受限制的营利实体——OpenAI LP。根据OpenAI在2019年3月官网上发布的声明，这样一个营利性和非营利性的混合体被被称为capped-profit（限制利润），即投资者和员工可以获得有上限的回报，具体来说，第一轮的投资者回报上限被设计为不超过100倍，往后轮次将会更低。从此，OpenAI特指OpenAI LP，而非原先的非营利组织，非盈利依然存在，法定名称OpenAI Inc。同时，这份官方声