AI时代新起点，寻新投资方向（三）AI Agent，大模型时代重要落地方向2023年10月12日证券分析师 ：张良卫执业证书编号：S0600516070001联系邮箱：zhanglw@dwzq.com.cn研究助理 ：郭若娜执业证书:S0600122080017 guorn@dwzq.com.cn证券研究报告·行业深度报告·互联网传媒增持（维持） 核心观点◼大模型时代的AI AGENT = LLM+ 规划能力 + 记忆+ 工具。AI领域AGENT概念由来已久，这一轮LLM给AI AGENT提供了突破性技术方案，对AI AGENT性能表现至关重要；同时需借助外部工具在实际应用中保持长期一致性和准确性。目前AI AGENT的探索大致分为自主智能体和智能体模拟。◼方向一：自主智能体，力图实现复杂流程自动化。自主智能体有望带来软件行业交互方式和商业模式变革。基座大模型能力解决下限问题，在实际企业应用场景中自主智能体的架构设计、工程能力、垂类数据质量等也至关重要，垂类/中间件玩家亦有机会。其中，单智能体相对更适用于较简单的任务，在C端应用上有一定潜力，代表性玩家包括中心化应用的ChatGPT、去中心化应用的adept AI、可定制和平台化的Cortex、MindOS等；但其在B端场景上略显乏力，基本无法完成较为复杂的工作，多智能体优势相对更加突出。代表性玩家包括MetaGPT、ChatDev、Showrunner。◼方向二：智能体模拟，力图更加拟人可信。1）陪伴类智能体强调情感情商等人类特征，具有“人格”，且能够记住与用户的历史交流，代表应用如PI、Character ai、replica、glow等。我们认为国内情绪消费市场仍有较大想象空间，陪伴类智能体或受益于情绪消费趋势红利，成为LLM时代重要的AI原生应用。我们预计陪伴类智能体大部分商业价值集中在供给方而非平台，我们更加看好具备丰富IP储备或者能让用户定制智能体的玩家。2）交互智能体：强调与环境交互的能力，智能体之间/与虚拟世界内事物之间可互动，可能涌现出超越设计者规划的场景和能力，大模型不确定性反而成为优势，有望成为AIGC重要部分。特别是对开放世界游戏等行业，可增强玩家沉浸感，解决开放世界内容消耗快的问题；多可信agent技术成熟后可能会孵化出新的游戏品类。代表项目如斯坦福大学开源的Smallville 小镇，应用如网易《逆水寒》、昆仑万维《Club Koala》。◼投资建议：1）推荐在AI AGENT方向有直接布局的昆仑万维、中文在线、盛天网络，建议关注天地在线等。2）游戏板块推荐研运能力出色且产品储备充沛的厂商：恺英网络、吉比特、三七互娱、巨人网络、宝通科技等，港股的创梦天地等，建议关注神州泰岳、世纪华通等。3）IP资源建议关注艺人IP（华策影视等）、影视IP（光线传媒、奥飞娱乐、博纳影业、上海电影、中国电影等）。4）教育推荐南方传媒、凤凰传媒、皖新传媒、新东方，建议关注世纪天鸿、好未来、高途集团、科大讯飞、佳发教育、盛通股份、传智教育、鸿合科技等；电商及企业服务推荐焦点科技、华凯易佰、吉宏股份;创作类自主智能体发展有助于提高内容行业生产效率，推荐动画电影龙头光线传媒。◼风险提示：产业进展不及预期，监管风险，市场竞争加剧风险 目录1. AI AGENT：LLM提供新基座，自动化/拟人化是两大方向2. 自主智能体：自动化，新一轮生产力革命➢2.2 自主智能体：实验性VS实操性，单智能体VS多智能体3. 智能体模拟：拟人化，新的精神消费品➢3.1 陪伴类，提供情绪价值➢1.1 AI AGENT：感知并反应，具备自主性/可迭代/规划性➢1.2 新时代AI AGENT：LLM+规划+记忆+工具➢3.2 重交互，提高用户体验4. 投资建议5. 风险提示➢1.3 两大方向：自动化（自主智能体）、拟人化（智能体模拟）➢2.1 自主智能体：软件新范式，非大模型玩家亦有机会 1、AI AGENT：LLM提供新基座，自动化/拟人化是两大方向1 21.1 AI AGENT：感知并反应，具备自主性/可迭代/规划性资料来源：《人工智能：现代方法（第4版）》，Karpathy，东吴证券研究所文本输入区域◼智能体agent：通过传感器感知环境（收集信息）并通过执行器作用于该环境（采取行动）的事物。Agent概念最早起源于M.Minsky(AI之父之一）于1986年出版的《Society of Mind》（也是神经网络热潮开始的年份），1994年AI学术界内便已开始较多对agent的讨论，本篇报告我们采用22年出版的《人工智能：现代方法》（第四版）中的定义。◼理性智能体概念是研究人工智能方法的核心。区别于普通计算机程序，理性智能体具备自主性、可学习迭代、可制定并实现目标等特点。人工智能专注于研究和构建做正确的事情的智能体——理性智能体（Rational Agent/Intelligent Agent，也是本报告“AI AGENT”定义），即设计理性智能体程序实现智能体函数，完成从感知到动作的映射。对于每个可能的感知序列，给定感知序列提供的证据和智能体所拥有的任何先验知识，理性智能体应该选择一个期望最大化其性能度量的动作。图：智能体通过传感器和执行器与环境交互可进行语音互动具备物理传感器和执行器的计算装置，使程序可以使用来自传感器的感知，运行程序，并将程序生成的动作选择反馈给执行器将当前感知作为传感器输入，将动作返回给执行器，是智能体函数的具体实现。•智能体函数：抽象的数学描述，描述智能体行为，将任意给定的感知序列映射到一个动作；可能依赖整个感知历史智能体 = 架构 + 程序图：智能体结构拆解 资料来源：Lil’Log，科研式学习公众号，机器之心，The Anatomy of Autonomy: Why Agents are the next AI Killer App after ChatGPT，东吴证券研究所31.2 新时代AI AGENT：LLM+规划+记忆+工具，大模型重要落地方向◼大模型时代的AI AGENT = LLM（核心控制器，构建核心能力）+ 规划能力 + 记忆+ 工具。其中基座模型能力至关重要。•我们认为LLM给AI AGENT底层提供了一个突破性技术方案：过去强化学习基于深度学习框架可让agent学到技能，但agent本身并没有真正理解问题和技能，泛化性也较差，只能用于特定领域，主要用在游戏和用来制作低维控制/计划，代表性应用是围棋领域的AlphaGo；LLM带来了深度学习新范式，思维链和强大的自然语言理解能力有望让agent具备强大的学习能力和迁移能力，从而让创建广泛应用且实用的agent成为可能。•由于生成式LLM存在幻觉问题，记忆力短，在实际应用中难以保持长期一致性和准确性，且agent间合作也是重要趋势，除了等待基座模型自身迭代之外，借助外部力量（向量存储、检索、代码等）是重要方法，完整的AGENT框架应该具备这些能力。我们认为补齐了大模型短板的AI AGENT更具备实用性，将是大模型重要落地方向。前特斯拉总监、OpenAI科学家Karpathy公开表示“如今AI智能体才是未来最前沿的方向”“相比大模型训练，OpenAI内部目前更关注Agent领域”。表：LLM Agent重要组件拆解组件AGENT设定规划记忆工具子目标和分解反思和完善感知记忆短期记忆长期记忆内涵确定agent角色大模型解析用户请求，并将其分解为多个任务，并根据其知识规划任务顺序及依赖关系。可自我批评和反思，从错误中吸取教训，完善未来步骤。可映射为基于原始输入，如文本/图片或其他模态做embedding情境学习能力，受到模型有限上下文窗口长度的限制。长时间保留和回忆信息的能力，行为更加一致、合理、有效调用外部 API获取模型 权重中缺失的额外信息，包括当前信息、代码执行能力、对专有信息源访问等能力提示工程/大模型生成能力/数据大模型对自然语言理解生成能力、逻辑分析能力等提示工程大模型短板，需借助外部力量路径手动输入/llm生成/数据集对齐思想链、思维树、外部规划模型反馈、环境反馈、人类反馈prompt通常利用外部向量存储和快速检索实现MRKL架构、TALM、HuggingGPT、API-Bank1954年Minsky首次提出“强化”和“强化学习”概念1957年Bellman提出求解最优控制问题及最优控制问题的MDP的动态规划方法1989年Watkins提出的Q学习拓展强化学习应用和完备强化学习，成为最广泛使用的强化学习方法2013年DeepMind发表利用强化学习玩Atari游戏的论文2016年基于深度强化学习的AlphaGo打败顶尖职业棋手李世石2020年2022年2006年Geoffrey Hinton提出无监督预训练+有监督训练微调的解决方案，深度学习浪潮开启2012年CNN网络AlexNet夺得ImageNet冠军，碾压第二名的分类性能2017年谷歌提出Transfor-mer架构1986年David Rumelhart 、Geoffrey Hinton等人将BP算法应用在多层感知机上2018年谷歌发布BERT，成主流；OPEN AI发布GPT1OPEN AI发布GPT3，开启练大模型时代Chatgpt发布用户需求提示工程LLM结果任务导向训练专有日志外部工具•搜索•缓存器•数据库•代码解释器•调整指令•RLHF•RL•语料库调优LLM AgentstateAgentEnvironmentactionreward强化学习神经网络LLM+强化学习 41.3 两大方向：自动化（自主智能体）、拟人化（智能体模拟）◼结合目前学术界和产业界基于LLM开发的AI AGENT应用情况，我们将目前AI AGENT划分为两大类：•自主智能体，力图实现复杂流程自动化。当给定自主智能体一个目标时，它们能自行创建任务、完成任务、创建新任务、重新确定任务列表的优先级、完成新的首要任务，并不断重复这个过程，直到完成目标。准确度要求高，因而更需要外部工具辅助减少大模型不确定性的负面影响。•智能体模拟，力图更加拟人可信。分为强调情感情商的智能体以及强调交互的智能体，后者往往是在多智能体环境中，可能涌现出超越设计者规划的场景和能力，大模型生成的不确定性反而成为优势，多样性使其有望成为AIGC重要组成部分。•我们认为两大方向并不是完全割裂的，相反，自动化与拟人化将作为ai agent两大核心能力并行发展，随着底层模型成熟以及行业探索更加深入，有望进一步扩大ai agent适用范围，提升其实用性。资料来源：A Survey on Large Language Model based Autonomous Agents，东吴证券研究所整理记忆外部工具当前应用AutoGPT、chatgpt+插件、adept、metagpt等自主智能体短期记忆为主较多Pi、Smallville小镇、Voyager、GITM等智能体模拟短期记忆+长期记忆较少图：基于LLM的AGENT领域产品增长情况图：当前AI AGENT两大方向——自主智能体和智能体模拟对比一般，更多要求拟人程度准确度要求高初始动力用户给定开发者设定的内部目标累计论文数量通用智能体工具智能体模拟智能体具身智能体游戏智能体网页智能体助手智能体 2、自主智能体：自动化，新一轮生产力革命5 62.1 自主智能体：软件新范式，非大模型玩家亦有机会◼自主智能体，力图实现复杂流程自动化。真格基金管理合伙人戴雨森将AI和人类协作的程度类比为自动驾驶的不同阶段，AI Agent约为自动驾驶的L4阶段，Agent完成任务，人进行外部辅助和监督。◼自主智能体有望带来软件行业交互方式和商业模式变革：•交互方式变革：相比过去的APP/软件，从人适应应用变成应用适应人，Agent的决策/规划/执行等环节需要更深的用户需求理解以及更强的工程细节打磨。如目前Agent运行中常常遇见无休止的扩展、误解输出格式等问题，这类问题不单单依靠大模型能力提升，