大语言模型的测试时扩展：从子问题结构视角的综述

核心观点

• 子问题结构对推理性能至关重要： 论文强调子问题结构的识别和组织对各种问题领域（单模态 vs. 多模态）和大型语言模型（直接生成 vs. 检索增强）都具有重要意义。
• 推理路径分类： 论文根据子任务的拓扑结构将推理路径分为顺序、并行和树形三种类型，并分别探讨了每种类型在不同应用场景下的优势和挑战。

关键技术

• 顺序结构： 包括思维链（CoT）、组合思维链、自我完善、步骤回溯提示等，通过逐步推理引导模型找到最终解决方案。
• 并行结构： 包括自我一致性、通用自我一致性、分支解决合并、多路径协作反射和反思代理等，通过探索多条解决方案路径来提高鲁棒性和准确性。
• 树形结构： 包括思维树（ToT）、A*解码、MCTS等，通过动态选择子任务、回溯和剪枝来提高效率。

挑战与缓解策略

• 顺序结构： 容易出现错误传播，可以通过自我验证、外部反馈、自我完善等策略来缓解。
• 并行结构： 可能出现路径间不连贯或冲突，可以通过共识机制、轻量级模型预筛选等策略来缓解。
• 树形结构： 存在空间成本高、节点评估可靠性低、重复模拟计算成本高等问题，可以通过剪枝、限制树的生长、结合自我评估和外部信号、轻量级模型近似等策略来缓解。

未来方向

• 元推理： 利用元学习选择推理策略，根据输入多样性选择合适的分解粒度和推理结构。
• 高效多路径推理： 在提高鲁棒性和准确性的同时，优化计算效率，例如使用轻量级模型预筛选或近似模拟结果。
• 多模态和检索增强系统中的树形推理： 将树形推理扩展到多模态理解和检索增强系统中，以解锁更丰富的子任务结构和更可靠的推理能力。