当LLMs开发语言：符号通信用于高效多代理推理

简介

• 大型语言模型（LLMs）的推理能力可通过思维链（CoT）和自洽性策略提升，但这些策略产生的自然语言推理链冗长，并非模型最高效的内部表示形式。
• 本研究探讨LLMs能否创造新的符号语言以实现更高效的推理，提出通信语言符号路由（CLSR）框架。
• CLSR框架中，多个LLM代理自主发明、进化和共享紧凑的语言符号框架（LSFs），一个无潜空间的路由器根据查询自适应地选择和组合这些语言，优化准确率-标记的权衡。

问题设定与指标

• 设x为查询，y为真实答案，假设有一个进化的LSF池S={S_k}_(k=1)^K。
• CLSR运行k轮，第k轮中，路由器从[K]={1,...,K}中选择一个索引集I⊆[K]，并调用属于I的对应LSF子集{S_k}。
• 评估指标包括计算成本（令牌计费）和推理准确率。

研究方法

• 目标：在预算内最大化预期正确率，同时考虑预期实现成本。
• 语言符号框架（LSF）：由符号命名、语法和约束三部分组成，由LLM从范例中归纳并由选择过程完善。
• LSF进化：通过迭代式自举程序优化LSF池，包括代理种群、操作LSF卡、数据集划分和代际调度、高杠杆选择与变异、跨代精英传承。
• 端到端推理过程：给定测试查询和进化的LSF池S，通过检索LSF描述符、路由规划、执行协议和聚合得到最终答案。
• 测试时LSF路由：路由器自适应地选择LSFs、组合顺序和停止规则，优化准确率与token之间的权衡。

理论分析

• CLSR将测试时的推理形式化为一个带约束的随机控制问题，推导出最小令牌成本的信息论下界。
• 从社会语言学视角看LSF的演变：LSFs的演变类似于文化语言进化过程，正确性充当沟通成功的角色，符号长度充当生产成本的角色，路由充当在简洁和冗余LSFs之间进行语用代码转换的角色。
• CLSR协议类可被视为一种可编程计算系统，多轮多LSF交互是“先生成程序再执行”范式的自然推广。

实验

• 基准：知识密集型问答（Wang等人，2024；Rein等人，2023；Lu等人，2022）、数学问题求解（Cobbe等人，2021；Hendrycks等人，2021；Veeraboina，2023）和多跳推理（Yang等人，2018）。
• 骨干LLM代理：使用Qwen3-8B/32B、LLaMA3-8B和DeepSeek-R1。
• 指标：推理准确率和推理LLM和LLM-路由器发出的生成令牌数量。
• 进化自举：通过一个进化循环迭代优化LSF种群，每个进化步骤中，在保留的验证集上评估候选LSF，然后选择同时正确且token高效的杠杆推理轨迹，这些选定的轨迹被反馈给LLM，以合成下一代LSF种群。

主要成果

• CLSR在不同骨干网络和基准测试中始终提升了准确率-令牌前沿，与Raw CoT相比，CLSR将面向延迟生成的标记完成减少了约6倍，同时保持了准确率。
• 与直接令牌缩减提示的基线相比，CLSR在帕累托前沿上表现更稳定，保留了可重用的符号协议，并根据查询难度在局部敏感函数（LSFs）之间进行路由。
• 在匹配的设置下，针对提示优化的基线方法，CLSR在不依赖外部执行器的情况下依然具有竞争力，并且它也改进了针对提示优化的基线方法。

消融与分析

• 消融实验排除了设计选择：(i) 进化深度、(ii) 示例数量、(iii) 智能体数量和长度系数、(iv) T多轮次数、(v) 通过交换LSF生成器进行跨模型迁移、(vi) 定性示例。
• 鲁棒性研究包括种子稳定性、种群规模敏感性、大模型推理、长上下文试点评估、类别/全池路由、跨域迁移和缓存感知的令牌计数。
• 定性示例展示了CoT和CLSR的代表性模型输出以及CLSR产生的中间LSF，重点突出了几种反复出现的现象：从叙事式思维链到任务相关的潜在符号形式、跨轮次的错误定位与修正、精炼通常具有选择性而非累加性、当多轮次有助于时。

结论与局限性

• CLSR是一个测试时使用的框架，它允许大型语言模型（LLMs）发明、进化和在紧凑的符号通信协议之间进行路由。
• CLSR表明LLMs可以发展出面向机器的语言，而这些语言并非由人类手动设计。
• 离线语言进化可能计算成本高昂，合成管道需要用推理内容来训练示例。
• 未来的工作应研究符号语言如何在模态、工具和多智能体环境中迁移。