01 神经机器翻译的频率感知对比学习

背景与问题

• 神经机器翻译（NMT）系统在预测稀有词时存在准确性问题。
• 低频词在 Transformer 解码器中的表示区域狭窄，且平均令牌距离和 1-gram 召回率随频率降低而恶化。

对比学习方法

• 对比学习通过将语义相近的邻居聚类并分离非邻居来学习有效表示。
• 本研究从表示学习角度提出频率感知的神经机器翻译对比学习（FCL）方法。
• FCL 方法包括：
  • 监督阳性带有退出噪声的补充积极因素。
  • 所有其他批量令牌令牌级对比学习（TCL）积极因素。
  • 突出显示不常见令牌的对比度。

实验成果

• 实验主要成果：
  • 提高了词汇多样性。
  • 提升了 1-gram 召回精度和 F1 值。
  • 改善了均匀性/各向同性。
• 2 维可视化展示了 FCL 方法的有效性。