钱忱-大模型驱动的多智能体协同初探

大模型驱动的多智能体协同初探 钱忱清华大学 演讲嘉宾 钱忱 清华大学博士后 清华大学软件学院博士，现于清华大学自然语言处理实验室（THUNLP）担任博士后，清华大学水木学者，主要研究方向为预训练模型、自主智能体、群体智能；合作导师为孙茂松和刘知远教授，曾在ACL、SIGIR、ICLR、AAAI、CIKM等人工智能、信息管理、软件工程等相关的国际学术会议或期刊上以第一作者身份发表论文数篇。在群体智能方面，主持发布了 大 语 言 模 型 驱 动 的 群 体 协 作 框 架ChatDev、群 体 共 学 习 范 式Co-Learning、群体协同网络MacNet，面向任务完成和社会模拟的多智能体平台AgentVerse等。 1.从大模型走向自主智能体2.大模型多智能体系统3.多智能体协同及演化4.智能体协同的缩放法则5.总结与展望 目录 从大模型走向自主智能体PART 01 大模型驱动的自主智能体 •基础大模型作为智能应用技术的内核，必须以自主智能体作为载体与动态环境进行交互，才能充分胜任动态复杂的智能应用，因此亟需发展大模型驱动的自主智能体技术 人工智能将进入智能体时代 现处于争夺自主智能体技术高地的重要战略窗口期 自主智能体是OpenAI核心战略之一 2023年11月6日，OpenAI在第一届开发者 大 会 上 正 式 提 出 构建 自 主 智 能 体 及 相 关生态的战略目标 目前自主智能体技术呈现百花齐放、多面竞争态势，我国与人工智能领域国际领先研发机构（OpenAI、微软、谷歌、Meta、斯坦福大学等）处于同一起跑线 自主智能体相关研究爆发式增长 自主智能体相关研究在大模型带动下迅速成为人工智能研究必争之地，2023年 自 主 智 能 体 研究论文数量呈井喷趋势 人类智能与人工智能 •人工智能很可能即将走跟人类智能一样的发展路径 XAgent：大模型驱动的自主智能体框架 •XAgent通过双循环机制协调决策制定和任务执行过程：外循环规划、内循环执行 •外循环处理任务的高级管理和分配，内循环专注每个子任务的低级执行和优化 大模型多智能体系统PART 02 多智能体系统的两种基本类型 斯坦福SmallVille小镇：基于层次规划的智能体社会小镇，实现人类社群行为的可信模拟 清华ChatDev数字团队：基于语言交互的智能体数字公司，实现群体协作式软件开发 Chen Qian, et al.ChatDev:Communicative Agents for Software Development. InACL-2024.Park J S, et al. Generative agents: Interactive simulacra of human behavior.InUIST-2023. 多智能体自主交互：任务解决新范式 •群体协作实现多方优势互补、配合无间，提高解决问题的准确率 •语言交互搭建沟通桥梁、缓解信息茧房，通过任务分工和协作执行处理复杂任务 多智能体系统核心研究框架 •联盟结构：独立结构、层次化结构、中心化结构、全连接结构•组织规模：小规模、中规模、大规模 •无目标导向型：群体自由规划及行为执行（e.g.,社会模拟）•目标导向型：制定群体特定目标以协同进行任务完成（e.g.,软件开发） 社会组织 任务目标 •顺序型：各子组织间依次行动•互斥型：各子组织间选择性行动•并发型：各子组织间并行行动 •行为关系：合作关系、竞争关系•组织行为：激励行为、团队凝聚力、劳动力多元化、资源竞争、同龄人压力、群体懈怠、评价焦虑、情绪感染等 行为路由 组织管理 多智能体协同及演化PART 03 ChatDev–交互链进行编排 •通过角色扮演交流实现智能体间的方案提议和决策研讨过程•交流链将复杂任务分解为由原子任务组成的“方案生产线” Chen Qian, et al.ChatDev:Communicative Agents for Software Development. InACL-2024. •通过角色化、记忆流、自反思机制，实现自上下文感知的主交互 ChatDev–交互模式 •通过交互除幻机制（CommunicativeDehallucination）缓解编码幻觉（CodingHallucination） 多智能体协同实现“降本增效” •软件制作平均时间小于7.0分钟且制作成本约$0.3美元 Chen Qian, et al.ChatDev:Communicative Agents for Software Development. InACL-2024. CTC：从单队伍到多队伍的协作编排 •为了超越单一团队执行的偏差，多队伍能够有效地从多方获取见解、促进跨团队间的交互，进而产出更优质的内容 跨任务间的静态流程限制了推理效率 •本质原因：智能体缺乏跨任务的过往经验 Qian C, Dang Y, et al. Experiential co-learning of software-developing agents. InACL-2024. Co-Learning：智能体共同经验习得 •核心思路：跨任务经验迁移 •共同实践：训练任务上进行“彩排”，形成过往执行轨迹•共同记忆：对执行轨迹进行“捷径”抽取和记忆•共同推理：测试任务上利用捷径记忆实现经验化推理 捷径作为经验 Qian C, Dang Y, et al. Experiential co-learning of software-developing agents. InACL-2024. Co-Learning：多智能体经验化共同学习框架 •在经验化的任务执行过程中，智能体随着经验的积累实现推理步骤的显著减少，即以 更少的步骤实现了更高质量的成品，实现群体推理过程的“降本增效” Co-Evolving：经验的迭代优化 •随任务批次的陆续执行，在Co-Learning积累静态经验的基础上，进行相继式和积累式两类经验动态编辑 Qian C, Li J, et al. Iterative Experience Refinement of Software-Developing Agents. In arXiv:2405.04219 AgentVerse：通用多智能体平台 •大模型群体协作的通用流程，包含“智能体招募”、“协同决策”、“动作执行”与“检验评估”四个阶段 WeizeChen, YushengSu, et al.AgentVerse: Facilitating Multi-Agent Collaboration and Exploring Emergent Behaviors. InICLR-2024. 智能体协同的缩放法则PART 04 如何组织构建高可拓展的群体协同？ •核心挑战在于设计一个通用的组织结构，实施合理的路由策略，并建立有效的记忆管理，以实现高效和可扩展的群体协同 Qian C,XieZ,WangY, et al.Scaling Large-Language-Model-based Multi-Agent Collaboration. InarXiv:2406.07155 MacNet：多智能体协作网 •在有向无环图的拓扑之上部署智能体（节点上部署执行者、边上部署发令者），形成多智能体协作网（Multi-AgentCollaborationNetworks，MacNet） MacNet：多智能体协作网 •通过拓扑排序进行多智能体协作网的遍历，“展开”成智能体交互的路由次序 •网络上仅传播交互后的解决方案（而非全程对话），构筑可拓展的记忆管理机制 •解决方案可从逻辑推理，跨到软件代码、连贯故事、法律文书等异构情景 MacNet：多智能体协作网 •支持大规模协同：可支持多种异构拓扑，甚至承载上千个智能体协同工作 •小世界协同现象：越接近小世界网络属性的拓扑，其综合性能更优越 •协同缩放法则：性能大致遵循Sigmoid形趋势，相较神经缩放法则更“早”被观测 总结与展望PART 05 大模型智能体发展趋势 •进阶智能体的愿景是从独立的实体进化为可协作和可演化的系统，通过集体智慧实现可涌现的效率和结果 可行方向 拥抱“数字孪生，万物智联”的未来世界 Internet of Agents 设备互联，生活便捷物体间的沟通桥梁，使每一件设备灵活互联 信息高速，全球连接全球信息高速公路，将每一位网民紧密相连 相关资料 THANKS