多模态同传翻译落地及优化-0.2

华为同传架构及优化策略

同传翻译技术简介及挑战

• 语音翻译/同传场景：存在端到端和级联两种技术路线，工业界以级联技术方案为主。
• ASR技术：采用流式解码场景，理想状态下无跳变。
• MT技术：采用解码策略，针对不同场景提供领域翻译。
• 技术挑战：
  • ASR的准确性
  • MT的领域风格
  • 系统的级联错误放大问题
  • 系统的上下文一致性问题

华为同传架构及优化策略

华为同传架构

ASR策略

• 技术点：
  • 预训练大模型和领域小模型
  • 流式CTC解码和离线AED解码
  • Ensemble-based ASR De-noise
  • Context-aware Re-ranking for ASR
  • ASR Domain Controlled Training & Decoding
  • Large-Scale Pre-training & Domain Fine-tuning for MT
• 未来方向：
  • 大数据+大模型
  • 多语言+多任务
  • 无监督/自监督的预训练模型

MT策略

• 技术点：
  • 针对不同场景提供领域翻译（如科技、医疗等）
  • Continue Training under R-Drop
  • Data Diversification、Forward Translation、BackTranslation
  • Data Selection
  • Fine-tuning、Ensemble
  • 针对语音翻译场景，生成与源长度相似的翻译
  • Low-resource Enhanced
  • Length Token Strategy
  • Length Encoding Strategy
  • Length-control decoding for NAT
  • Length-aware beam and Rerank
• 成果：
  • IWSLT2022语音翻译EN-JA方向第一
  • WMT 2022 Biomedical Shared Task多项第一
  • IWSLT 2022等长翻译赛道多个语言方向第一

TE服务

• 技术点：
  • 纠错
  • 标点还原
  • Bolt框架
  • WMT22 Efficiency Task
• 系统架构：
  • Cascaded: ASR+ TE+ MT
  • 干预
  • 推理加速

总结

• 面向用户场景，忠于用户体验
• 华为翻译技术：
  • ASR和MT结合，优化级联系统
  • 多领域适配，提升翻译质量
  • 长度控制策略，改善用户体验