多模态同传翻译落地及优化-0.2

郭嘉鑫华为2012 /机器翻译实验室 DataFunSummit#2023 个人简介 –华为高级工程师，多模态翻译架构负责人，产品落地华为云、HMS Core、华为手机等 –本科毕业于西安交通大学，硕士毕业于香港城市大学–长期从事机器翻译/多模态翻译领域的研究，在ACL、ICASSP、INTERSPEECH、INLPG等发表论文10+篇–参加国际机器翻译比赛IWSLT、WMT、WAT等，获得多项第一 目录CONTENT 华为同传架构及优化策略同传架构ASR策略MT策略 同传翻译技术简介及挑战 级联系统vs端到端系统语音识别技术/机器翻译技术同传翻译技术的挑战 总结 面向用户场景忠于用户体验 01 同传翻译技术简介及挑战 DataFunSummit#2023 语音翻译/同传场景 同传翻译 离线语音翻译 语音翻译/同传技术 •语音翻译领域存在两种主流的技术路线： •一种是端到端(End-to-End)技术方案，即直接从源语音到目标文本生成；•一种是级联(Cascaded)技术方案，即先从源语音识别为源文本，再从源文本翻译生成目标文本。 语音翻译/同传技术 •目前工业界语音翻译系统以级联语音翻译技术方案为主。 ASR技术 ASR技术 流式解码场景 •理想状态下：无跳变 (c) Incremental decoding MT技术 解码策略 语音翻译/同传技术的挑战 技术的挑战※ASR的准确性※MT的领域风格 系统的挑战※级联错误放大问题※上下文一致性问题 02 华为同传架构及优化策略 DataFunSummit#2023 华为同传架构 ASR策略 ※预训练大模型、领域小模型 Domain Model: Pre-trained Model: ØData:LimitedDomainData ØData: MixedZh/EnLarge Parallel Data ØTrain Strategy:•Distributed training•MindSpore/ GPU&D ØTrain Strategy:•Continue Training / Fine tuning •Domain Adapter•Spec Augmentation ØArch：•Hybrid CTC / AED •自监督 ※流式CTC解码、离线AED解码。 IWSLT2022语音翻译EN-JA方向第一 技术点 1.Ensemble-based ASR De-noise2.Context-aware Re-ranking for ASR3.ASR Domain Controlled Training & Decoding4.Large-Scale Pre-training & Domain Fine-tuning for MT ASR策略 未来方向 •大数据+大模型•多语言+多任务•无监督/自监督的预训练模型 ※通用基础模型：大数据+大模型 《Text Style Transfer Back-Translation》ACL 2023 MT策略 ※针对不同的场景提供不同的领域翻译，如科技场景、医疗场景等 技术点 WMT 2022Biomedical Shared Task多项第一 1.Continue Training underR-Drop2.Data Diversification、Forward Translation、BackTranslation3.Data Selection4.Fine-tuning、Ensemble ※针对语音翻译场景，生成与源长度相似的翻译，提高用户体验 IWSLT 2022等长翻译赛道多个语言方向第一 技术点 1.Low-resource Enhanced2.Length Token Strategy3.Length Encoding Strategy4.Length-control decoding for NAT5.Length-aware beam andRerank TE服务 呃我们从一七年的事后呢就开始研究机器翻译嗯很有意思我们从一七年的事后就开始研究机器翻译很有意思我们从一七年的时候就开始研究机器翻译很有意思我们从一七年的时候，就开始研究机器翻译，很有意思。 TE服务 纠错 标点还原 《Zephyr: Zero-Shot Punctuation Restoration》ICASSP 2023 ※Bolt框架 WMT22 Efficiency Task ASR MT ※Pre-train: BT / FT / TST※Domain Tune: R-drop※Isometric MT ※Pre-train: Multi-task training※Domain Tune※Simul CTC / Offline AED System ※Cascaded: ASR+ TE+ MT※干预※推理加速 03总结 总结 •面向用户场景•忠于用户体验 华为翻译 华为翻译 感谢观看