当LLMs开发语言：符号通信用于高效多代理推理

裴正琪 1 2 黄清明 1 2 王淑会 1 1. 简介 摘要 大型语言模型（LLMs）已展现出卓越的推理能力，尤其是在采用思维链（chain-of-thought）和自洽性（self-consistency）策略时，这些策略会明确生成中间推理步骤（Wei等人，2022；Yao等人，2023；Wang等人，2025a；Besta等人，2024）。通过提示LLM分步解释，通常能提升其在复杂任务上的准确性（Zhang等人，2025b；Sprague等人，2025）。然而，这些推理链通常以自然语言形式表达，旨在便于人类理解。语言推理链往往冗长，并非专为紧凑逻辑推理设计（Turpin等人，2023；Tanmay等人，2025），因此可能并非模型最高效的内部表示形式（Yu等人，2024；Chen等人，2025），特别是在预算受限的部署场景下（Nayab等人，2024b；Arora & Zanette，2025）。这引发了一个引人入胜的问题，本研究旨在探讨：LLMs能否创造新的符号语言以实现更高效的推理？ 思维链（CoT）能够提升大型语言模型（LLMs）在复杂推理任务上的表现，但它通常会产生冗长的自然语言推理过程，这些过程与高效的机器推理方式并不匹配。我们提出了通信语言符号路由（CLSR），这是一个在测试时使用的框架，其中多个LLM代理能够自主地发明、进化和共享紧凑的语言符号框架（LSFs），同时一个无潜空间的路由器会根据查询自适应地选择和组合这些语言，以优化准确率-标记的权衡。与优化表面指令的提示优化不同，CLSR将每个LSF视为一个可重用的符号协议，具有紧凑的符号、使用规则和消息传递合约，并通过由正确性和标记成本驱动的进化循环来改进它。在推理时，路由器可以调用单个低成本的LSF调用、组合多个LSFs，或在更难的查询上执行多轮LSF组合协议。在多个具有挑战性的基准测试中，与标准CoT相比，CLSR将面向延迟生成的标记完成减少了约6倍，同时保持了准确率。我们进一步推导了在任意符号下标记成本的信息论下界，并表明，在解释器可实现性前提下，多轮LSF协议条件性地包含了程序执行管道。代码公开可用。 近期研究留下了我们问题的巨大空白。提示优化方法（Yang等人，2023；Fernando等人，2024；Zhou等人，2024；Aytes等人，2025b）主要优化自然语言指令，而非诱导可重用、可跨任务迁移的持久组合符号系统。基于程序的方法（Gao等人，2023；Chen等人，2023；Grand等人，2024）严重依赖人工设计的中间语言或程序，因此未研究LLM是否能够自我发现针对其自身分词和归纳偏置进行优化的离散符号语言。基于强化学习的方法（Tanmay等人，2025；Gehring等人，2025）使用基于验证器的强化学习生成紧凑的符号轨迹，但这些强化学习流程通常导致高昂的训练成本和优化不稳定性，使其成为重量级且模块化程度低，不利于快速多智能体语言进化。压缩方法（Cheng & Van Durme，2024）通过将计算移入密集token中来缩短显式推理的长度，但它们并未产生可通过智能体间采纳和合并来演化的社会共享离散“语言”。神经符号方法（Beiser等人，2025）和逻辑推理（Xu等人，2025a）表明，中间语言可以驱动对 并非说语言模型是完全没有人类先验知识，而是指其推理时使用的操作协议可以由大型语言模型代理自动生成、选择、共享和组合，而不是像固定提示或程序那样手动编写。 表征；然而，它们的管道通常是在固定的形式语言中进行选择，而不是以根植于社会的方式进化出新的语言。 与此同时，新兴通信方法（Lazaridou & Baroni, 2020;Tucker et al., 2022; Pei et al., 2024a; 2025）将离散协议如何在计算压力下产生的过程形式化，并从信息论视角解释了结构化惯例为何出现。基于这一视角，我们探究大语言模型代理能否自主设计和演化语言，并将其置于自然选择之中。我们将此问题形式化为对可重用语言结构框架（LSFs）的进化搜索：同时具备准确性、紧凑性和可重用性的协议会被优先保留，并可供下游路由使用。这种设置产生了由集体使用而非孤立提示微调塑造的大规模符号系统。 这一观点自然地将CLSR与受文化语言进化过程启发的社会语言学视角联系起来（Kouwenhoven等人，2025）。在进化过程中，更有效的语言符号形式（LSFs）被优先保留和重用，而准确性较低或过于冗长的LSFs则被淘汰。由此产生的过程类似于在明确的沟通瓶颈下的文化语言进化：正确性充当沟通成功的角色，符号长度充当生产成本的角色，而路由充当在简洁和冗余LSFs之间进行语用代码转换的角色。经过几代，更有效的LSFs在智能体之间传播，而较无用的则被淘汰，最终形成收敛的鲁棒符号语言。 在此工作中，我们介绍了CLSR（交流语言符号路由），这是一种范例，其中多个LLM代理自主地为其推理开发自己的符号通信系统。每个代理是一个黑盒LLM实例，它提出、评估或完善语言符号框架（LSF），其中LSF是一组定制的符号、句法和使用规则，它作为一个可重用的推理协议。我们强调LSF并非由人类手动预定义为一种固定的形式语言。它们是由LLM从范例中归纳并由选择过程完善的。因此，我们的主张是 我们在一系列具有挑战性的任务上设计实验，包括知识密集型问答（Wang等人，2024；Rein等人，2023；Lu等人，2022）、数学问题求解（Cobbe等人，2021；Hendrycks等人，2021；Veeraboina，2023）和多跳推理（Yang等人，2018），以评估LLM创建的语言的影响。为了通用性，我们使用各种开源LLM进行实验，例如Qwen3-8B/32B（Yang等人，2025）、LLaMA3-8B（AI@Meta，2024）和DeepSeek-R1（DeepSeek-AI，2025），并将每个模型在不同运行中视为一个代理。 并且，路由器会自适应地选择哪些LSFs应该发言、按什么顺序发言以及何时停止，明确优化了准确率与token之间的权衡。这些“专家”是涌现的符号语言，而非独立的神经模块，并且LLM的权重仍然无法访问。 在多个开源骨干网络中，CLSR 提高了准确性与生成token之间的帕累托前沿，其性能优于涵盖token缩减、程序执行和提示优化的基线模型。 消融实验进一步表明：(i) 更深层次的进化世代会系统地将语言推向更好的按token计的准确性；(ii) 扩大规模代理群体可以提高发现健壮、可重用LSFs的机会，前提是选择目标在正确性和压缩性之间取得平衡。这些实证结果引出了一个关于任何语言符号化系统下推理准确性与token效率之间曲线的信息论解释。我们还进行了更大骨干网络的迁移、种群规模消融、缓存感知的token计费以及无类别的领域迁移，以验证方法论的鲁棒性。总之，这项工作提出了一种通过社会涌现的符号通信来提升LLM推理能力的方法。我们的主要贡献包括： 2.1. 问题设定与指标 设x为查询，y为从基准测试中抽取的真实答案。假设我们有一个进化的LSF池S={S_k}_(k=1)^K。在推理过程中，CLSR运行k轮，k=1到T，其中T可以是固定的，也可以由路由器根据测试查询t∈{1,...,T}来确定。在第k轮，路由器从[K]={1,...,K}中选择一个索引集I⊆[K]，并调用属于I的对应LSF子集{S_k}。然后，LLMk为每个选定的LSF生成一个响应。经验上，一个更难的问题往往会生成更大的T或|I|。 r 计算成本（令牌计费）。设 LSF S 在第 t 轮生成的t,k LLM 响应为 t LLM 响应，设第 t 轮 LLM-路由器生成的规划输出为 k r router t t 。我们定义生成成本为 •CLSR：面向新兴语言的路径选择我们支持提出一种新的测试时范式，该范式将LLM创建视为符号语言（LSFs）作为模块化的“专家”和路由、组合，或根据查询进行编排。显式优化准确率-令牌预算权衡。基于大语言模型的合成与进化。• 我们引入了一种进化引导程序，从零开始生成语言规范函数（LSFs）；我们进一步实现了跨代理采纳和跨基准池化，以促进语言规范函数的迁移与融合。符号主义下的准确率-令牌最优性理论。我们将CLSR形式化为一个带约束的随机控制问题，推导出最小令牌成本的信息论下界，并将多轮多LSF协议特征化为程序执行推理的条件泛化。显著的实证帕累托收益。• 在七个多样化的推理基准和多个开源骨干网络上，CLSR始终提升准确率-效率前沿，并优于具有代表性的标记减少基线。 其中 |·| 统计生成的完成令牌数量。因此，所有由大型语言模型（LLM）发出的在线令牌都被包含在内，包括路由器输出、中间局部序列到序列（LSF）响应以及与聚合相关的响应。该指标受到将大型语言模型（LLM）推理分解为提示预填充阶段（首次生成令牌时间，TTFT）和自回归解码阶段（每个输出令牌时间，TPOT）的标准延迟分解的启发。对于推理工作负载中具有长完成的情况，解码项通常是延迟的主要组成部分，因此完成令牌提供了一个有用的面向延迟的代理。同时，LSF 配置确实会引入输入令牌的开销。在部署中，这些卡片可以排列为固定的规范提示前缀并在许多查询中重用，因此相关开销取决于前缀缓存和服务基础设施。为此，我们在附录 A.8 中额外报告了一个缓存感知的令牌-C 等效指标，同时在整篇论文中将其保留为主要生成的令牌指标。 2. 研究方法 B 目标。给定预算，我们的目标是最大化预期正确率，同时考虑预期实现成本： 我们介绍了通过大型语言模型生成的符号语言进行测试时推理压缩的CLSR框架。与搜索指令或改变表面措辞的提示优化不同，CLSR优化了一个可重用的通信协议：(i)中间消息受语法/合约约束并得到验证；(ii)相同的LSF在多个查询中重复使用（而非每个实例的提示微调）；(iii)路由器在成本预算下明确地将多个LSF调用组合成一个多轮协议。在推理过程中，大型语言模型参与一个多轮通信，其中不同的LSF充当专门的“专家”。 当策略指定路由器、停止和聚合规则时，π 的期望值应高于基准分布以及任何由策略引起的随机性。 2.2. 语言符号框架 (LSF) 概念定义。在理想化形式下，一个语言结构框架（LSF）可以被描述为一个由符号通信协议组成的系统。 三个组成部分：(i) 符号命名，即紧凑词汇表；(ii)语法，即组合语法；(iii) 约束，即良好形成性和使用规则。然而，在实践中，完全手动设计这些组成部分会使该方法退化为提示工程。因此，我们将LSF构建委托给LLM本身，并仅使用人工干预来定义高级优化目标：在减少token使用的同时保持推理准确率。 2.3. LSF进化：迭代式自举 我们介绍一种进化引导的自举程序，该程序仅使用训练数据和黑盒大语言模型调用，逐步优化LSF池。 代理种群。在我们的实现中，“代理”是指由骨干网络、随机种子、示例子集和LSF生成上下文指定的独立采样的黑盒LLM实例。代理并非独立的可训练神经模块；它们是用于多样化LSF种群的提议、评论和变异工作者。不同的代理可能会发现不同的表面LSF，但选择目标倾向于那些能够以较低的生成token成本反复达到高正确率的LSF。此定义也阐明了附录A.5.3中代理数量消融实验：增加代理数量会扩展对可能符号约定的搜索范围，而最终的推理模型保持冻结。 操作LSF卡。在实现中，每个LSF表示为S = V, G, 存储为紧凑卡片R, ψ, ρ，其中V是符号库，G是轻量级语法或输出模式，R包含使用规则和有效性约束，将符号或模板映射到其预期推理操作，并且是总结成本、准确率、领域和失效模式的经验性概况。卡片以文本形式表示，因为其骨干是语言模型，但其作用并非一次性指令字符串。LSF在多个查询中重复使用，生成受语法或合约约束的消息，可由路由器选择或组合，并作为持久协议进行评估，其效用通过任务集合进行衡量。这种操作上的区别很重要：提示优化搜索更好的表面指令，而CLSR则搜