背景与问题
- 神经机器翻译（NMT）系统在预测稀有词时存在准确性问题。
- 低频词在 Transformer 解码器中的表示区域狭窄，且平均令牌距离和 1-gram 召回率随频率降低而恶化。
对比学习方法
- 对比学习通过将语义相近的邻居聚类并分离非邻居来学习有效表示。
- 本研究从表示学习角度提出频率感知的神经机器翻译对比学习（FCL）方法。
- FCL 方法包括：
- 监督阳性带有退出噪声的补充积极因素。
- 所有其他批量令牌令牌级对比学习（TCL）积极因素。
- 突出显示不常见令牌的对比度。
实验成果
- 实验主要成果：
- 提高了词汇多样性。
- 提升了 1-gram 召回精度和 F1 值。
- 改善了均匀性/各向同性。
- 2 维可视化展示了 FCL 方法的有效性。
