登录
注册
个人信息
我的订单
我的报告豆
我的优惠券
我的笔记
我的阅读
我的收藏
我的下载
我的上传
我的订阅
在线客服
退出登录
回到首页
AI
搜索
发现报告
发现数据
发现专题
专题报告
专题百科
研选报告
定制报告
VIP
权益
付费社群
发现一下
行业研究
公司研究
宏观策略
财报
招股书
会议纪要
Token
低空经济
十五五
AIGC
大模型
当前位置:首页
/
行业研究
/
报告详情
01 神经机器翻译的频率感知对比学习
医药生物
2022-11-03
国际人工智能会议AAAI 2022论文北京预讲会
小烨
背景与问题
神经机器翻译(NMT)系统在预测稀有词时存在准确性问题。
低频词在 Transformer 解码器中的表示区域狭窄,且平均令牌距离和 1-gram 召回率随频率降低而恶化。
对比学习方法
对比学习通过将语义相近的邻居聚类并分离非邻居来学习有效表示。
本研究从表示学习角度提出频率感知的神经机器翻译对比学习(FCL)方法。
FCL 方法包括:
监督阳性带有退出噪声的补充积极因素。
所有其他批量令牌令牌级对比学习(TCL)积极因素。
突出显示不常见令牌的对比度。
实验成果
实验主要成果:
提高了词汇多样性。
提升了 1-gram 召回精度和 F1 值。
改善了均匀性/各向同性。
2 维可视化展示了 FCL 方法的有效性。
你可能感兴趣
基于连续语义增强的神经机器翻译技术
null
达摩院
2022-10-12
基于深度学习的机器翻译
文化传媒
清华大学
2021-08-29
HANET:基于层次化混合频率注意力模型的宏观感知时间序列预测
金融
华安证券
2026-07-02
资讯汇总29期:【前瞻产业周报】中科大研究揭示光感知促进大脑发育的神经机制
null
国泰君安证券
2022-08-16
移动货币 , 对现金的感知和金融包容性 : 从乌干达的微观数据中学习
null
国际货币基金组织
2023-11-17
快速但具体的感知学习部分解释了识别具有挑战性的语音的个体差异
文化传媒
Nature
2022-06-15
拉丁语学习者的社会和情感学习实施,简报 2:学生对社会和情感学习课程的反应和感知收益
文化传媒
ACT Research
2021-08-24
第十届挑战赛C2-基于对偶对比学习文本分类及图神经网络的周边游需求图谱构建与分析
null
数睿思
2022-06-23
线性与非线性计量经济学模型与机器学习模型的对比:已实现波动率预测
文化传媒
美联储
2025-08-17
“学海拾珠”系列之一百八十四:深度投资组合管理中的对比学习和奖励平滑
null
华安证券
2024-04-10