大语言模型中有效长上下文建模的长短对齐方法

核心观点与关键数据

• 大型语言模型（LLMs）在自然语言生成等任务中展现出强大的能力，但其有效性受限于Transformer架构的固定上下文窗口，导致长上下文建模面临挑战。
• 长度泛化，即模型从较短的训练序列泛化到较长的测试序列的能力，是长上下文建模中的一个关键问题。
• 本研究提出了一种新的视角，将重点从传统的输入特征（如位置编码）转移到模型的输出分布，并强调了长短期对齐的重要性。
• 长短期对齐是指不同长度序列间输出分布的连续性，研究发现输出分布的差异会导致泛化能力差。
• 为了量化长短期对齐，提出了长-短错位度量（Long-Short Misalignment），该指标与长度泛化性能之间存在强相关性。

研究结论

• 在合成任务中，通过案例研究验证了长短期对齐对长度泛化的影响，并提出了输出重参数化（OutRep）技术，通过显式改进长短期对齐来增强模型的长度泛化能力。
• 在自然语言任务中，同样观察到长短期对齐问题，并使用对称交叉熵（SCE）损失来衡量输出分布的差异。
• 实验结果表明，长短期错位度量与长上下文基准测试上的性能具有强相关性，将其作为正则化项可以提升模型的长度泛化能力。
• 在合成任务和自然语言任务上的实验均验证了该方法的有效性，特别是在需要跨不同位置进行注意力处理的任务中。
• 消融实验表明，选择适中的正则化系数和采样范围对于提升模型性能至关重要。

实验结果

• 在合成任务中，长度预测任务表现出较差的长度泛化能力，而均值预测任务则泛化良好，这表明输出分布的差异是导致泛化能力差异的关键因素。
• 在自然语言任务中，使用长短期错位度量作为正则化项的模型在LongBench-E基准测试和困惑度评估上均优于基线模型。
• 在BABILong问答任务上，该方法在所有评估长度上均优于基线模型，并有效缓解了“中间损失”现象。
• 消融实验表明，正则化系数和采样范围的选择对模型性能有显著影响，建议使用0.1到0.3之间的系数作为默认值。

理论分析

• 理论分析表明，长短期错位度量与泛化误差之间存在正相关关系，最小化该指标可以有效地降低泛化误差。
• 研究扩展了先前关于自回归模型的理论，为长短期对齐提供了理论支持。

总结

本研究强调了在设计和分析长上下文场景的模型时考虑输出空间的重要性，并通过长短期对齐来提升LLMs的长度泛化能力。实验结果和理论分析均支持了该方法的有效性，为未来可扩展和高效的语言建模研究提供了新维度。