PaTH请注意：通过累积住户转换进行位置编码

核心观点与关键数据

PaTH 位置编码方案：本文提出了 PaTH，一种基于累积 Householder 变换的灵活数据相关位置编码方案。与 RoPE 仅依赖于相对位置的静态变换不同，PaTH 的变换矩阵是数据相关的，即依赖于输入，从而提高了表达性。

理论优势：PaTH 可以将 Transformer 的表达能力扩展到 NC1 完全问题，超越了 RoPE 的 TC0 复杂度。这得益于其与具有数据相关转换矩阵的线性 RNN 的相似性，使其能够解决状态跟踪问题。

高效训练与推理：本文开发了类似 FlashAttention 的块状算法，利用 Householder 矩阵乘积的紧凑表示，实现了硬件高效的并行训练。同时，提出了高效的推理方法，通过原地更新历史键来保持效率。

实验结果：

• 合成任务：在 Flip-flop 语言建模和 Word 问题任务中，PaTH 模型表现优于 RoPE 和 FoX 基线模型，证明了其在状态跟踪方面的优势。
• 语言建模：在 760M 参数 Transformer 的中等规模语言建模实验中，PaTH 在 Wikitext 混淆度和多个零样本常识推理任务上均优于 RoPE 和 FoX。
• 长度外推：在 PG-19、CodeParrot 和 NarrativeQA 等长文本语料库上，PaTH-FoX 模型表现出良好的长度外推能力，优于 RoPE 和 FoX。
• 长文本基准测试：在 RULER、BABILONG、PhoneBook 和 LongBench-E 等长文本基准测试中，PaTH-FoX 在检索和状态跟踪任务上均取得了最佳性能。

RoPE 转换为 PaTH：本文探索了将预训练的 RoPE 模型转换为 PaTH 模型的方法，通过持续预训练，PaTH 模型在数学和编码领域表现出显著优势。

研究结论

PaTH 位置编码方案通过引入数据相关的 Householder 变换，有效提高了 Transformer 的表达能力和状态跟踪能力。实验结果表明，PaTH 在合成任务、语言建模和长文本基准测试中均优于 RoPE 和 FoX 等基线模型。此外，PaTH 可以通过持续预训练将预训练的 RoPE 模型转换为更强大的模型，特别是在数学和编码领域。未来研究方向包括提高训练稳定性、扩展到更大的头维度以及直接模拟旋转等。