机器翻译在跨境电商的应用与研究杨宝嵩阿里巴巴算法专家| 01阿里翻译技术平台概览02翻译在跨境电商中的应用03最新技术探索目录CONTENT| |01阿里翻译技术平台概览 阿里翻译技术平台概览|5 阿里翻译技术平台概览|论文&专利•发表60+CCFA/B类会议/期刊论文•100+项专利•ACL2022OutstandingPaperAward国际评测•WMT21国际顶级机器翻译评测•QualityEstimationTask9个语向第一•MetricsTask5个语向第一•术语翻译任务英中第一•2021年CommonGen文本生成大赛5月登顶LeaderBoard•WMT18国际顶级机器翻译评测•翻译任务5语向第一奖项•工信部新一代人工智能重点任务揭榜计划、第一期人工智能产业创新“多语言智能翻译平台”揭榜优胜单位（仅3家）•“面向全球电子商务的多语言处理技术与平台”获得浙江省科学技术进步二等奖6 |02翻译在跨境电商中的应用 翻译在跨境电商中的应用-商品内容展示|标题单位UI框架英语版俄语版阿语版8 翻译在跨境电商中的应用-商品内容展示|尺码详情描述英语版俄语版阿语版9 翻译在跨境电商中的应用-商品内容展示|评论英语版俄语版阿语版10 翻译在跨境电商中的应用-商品内容展示|问大家英语版俄语版阿语版11 翻译在跨境电商中的应用-更多的跨语言场景|买卖家沟通商品搜索12 翻译在跨境电商中的应用-多模态场景|图片翻译13 翻译在跨境电商中的应用-多模态场景|直播/视频翻译14 |03最新技术探索 最新技术探索|模型改进质量评估领域适应知识融合翻译连续语义增强（ICLR21、ACL22）UniTE（ACL22）领域适配器（NeurIPS20、EMNLP 20、TASLP21）KNN-MT（ACL21、EMNLP21、ACL22）多粒度表示迁移（ACL21）个性化个性化机器翻译（ACL21，ACL22，NAACL22）16 模型改进：连续语义增强(ACL 22 Outstanding Paper)|问题：回译等离散表示数据增强方法，数据多样性差、利用效率低，且易产生语义偏移解决方法：连续语义空间扩充训练样本的数据分布，结合邻域风险最小化策略优化翻译模型17 质量评估：融合不同类型的标注数据的UniTE（ACL22）|问题：三种评估场景(原文, 译文)、(译文, 参考译文)、(原文, 译文, 参考答案)采用的技术、语料均不相同，标注资源不能得到充分利用解决方法：基于区块化Attention掩码的模型结构，利用跨语言预训练和多任务联合训练，实现不同类型标注资源的知识迁移WMT21Metrics比赛第一单一模型（WMT2019所有语向）超越三个评估场景的SOTA模型18 领域适应：轻量训练的Adapter（NeurIPS20，EMNLP20，TASLP 21）|问题：训练好的翻译模型如何快速迁移至新领域？Finetuning有灾难性遗忘问题，需要调整全部参数，部署代价大解法：引入Adapter，固定训练好模型的参数，仅调整Adapter参数以适配新领域Self-AttentionFeed ForwardAdaptive LayerAdaptive LayerEmbedding×MSelf-AttentionCross-AttentionAdaptive LayerDecoder OutputEmbedding×NFeed ForwardXYUp ProjectionReLUDown ProjectionTransformer特点：•不影响译训练好模型的性能•部署代价小，每个领域仅增加Adaper参数中英BLEU领域内领域外均值Baseline35.2848.8742.08Baseline+Finetune36.9849.0543.02Baseline+Adapter45.4743.7244.6019 领域适应：无需训练的KNN-MT(ACL 21, EMNLP 21，AAAI22, ACL 22)|问题：finetuning、Adapter都需要训练，应用代价大，能否在不训练情况下，实现领域适配？解决方法：寻找最相似句子，利用译文动态干预解码过程自动学习k与lambda关系领域适应ITKoranLawBase22.9910.1633.36Base+KNN-MT27.4718.4439.23Adapter36.2825.9849.07Adapter+kNN-MT38.7329.0152.14特点：•无需训练，仅需更新新领域的索引20 领域适应：子词知识迁移(ACL 21)|问题：不同分词粒度的模型如何进行知识迁移？解决方法：引入EmbeddingGenerator•根据字词与父词组合，使用一个Embedding生成器来迁移词表•EmbeddingGenerator的训练：在上游任务中，模型将随机拆分长单词并组合短单词，使用Embedding Generator生成这些未见过token的embedding，过程中受到上游任务目标和蒸馏目标监督。21 个性化翻译：用户行为引导的机器翻译（ACL 21）|问题：•语言具有多样性，好的翻译应该拟合说话人的表达习惯，以及知识水平•单一翻译结果可能只能满足大多数用户，不能满足每个用户的需求解法：个性化翻译•根据tf-idf分数提取用户历史关键词，使用编码器建模用户表征。•提出对比学习策略，拉近相似用户译文，推远不相似用户译文，实现半监督训练，解决数据稀疏，缺少用户标注样本的问题。模型准确性（BLEU）翻译差异性传统翻译27.520.00%个性化翻译32.3531.68%22 个性化翻译：无监督多样性翻译（NAACL 22）|问题：语言具有多样性，然而现有单reference训练使得模型趋向于生成相近的表达，个性化翻译也需要翻译能够产生更多样的表达为前提。解法：多样性翻译，模型训练过程中多个生成结果定义Diversity Rewards以及Quality Rewards，使用最小风险训练进行优化。•特点：简单、易复用、不需要修改模型架构。原文依巴拉告诉今日新闻电视台说, 「这是一个恐怖夜晚」普通模型Ibarra told today 's news television station , "This is a terrorist evening . "Ibarra told today 's news television station , "This is a terrible evening . "Ibarra told today 's news television stationthat " This is a terrorist evening .多样性模型This is a terrible night according to Ibarra told today’s news TV station.Ibarra told today’s news television station, “This is a terrible night.”Speaking to news TV today, Ibarra said , "This is a terrible night.” 23 个性化翻译：用户行为引导的语种识别（ACL 22）问题：语种识别是翻译的第一步，面临用户输入不规范（拼写错误，语序不严格）以及多语言歧义（品牌词、同形异义词）的挑战解法：无监督个性化语种识别•利用用户信息（历史语种分布、国家属性）等信息辅助分类•无监督训练：由于没有标注数据，根据用户A的语种历史分布从通用数据中采样，以构造用户A的特征的训练数据|24 参考文献ACL2022Learning to generalize to More: Continuous Semantic Augmentation for Neural Machine TranslationACL2022UniTE: Unified Translation EvaluationACL2022Unsupervised Preference-Aware Language IdentificationACL2022Efficient Cluster-based k-Nearest-Neighbor Machine TranslationNAACL2022Bridging the Gap between Training and Inference:Multi-Candidate Optimization for Diverse Neural Machine TranslationAAAI2022Non-Parametric Online Learning from Human Feedback for Neural Machine TranslationACL2021Towards User-Driven Neural Machine TranslationACL2021Bridging SubwordGaps in Pretrain-Finetune Paradigm for Natural Language GenerationACL2021Adaptive Nearest Neighbor Machine TranslationICLR2021On learning universal representations across languagesEMNLP2021Non-Parametric Unsupervised Domain Adaptation for Neural Machine TranslationNeurIPS2020Incorporating BERT into Parallel Sequence Decoding with AdaptersIEEE-TASLP2021Adaptive Adapter: an Efficient Way to Incorporate BERT into Neural Machine Translation更多交流：yangbaosong.ybs[AT]alibaba-inc.com|25 非常感谢您的观看|26