大语言模型翻译质量评测报告（简版）

大语言模型翻译质量评测报告（简版） BISU-AiTQA（v1.0） BISU-AiTQA（v1.0）面向国内外的六个大模型ChatGPT、Claude、Gemini、Grok、DeepSeek和通义千问，从当代文学、党政文献和外事新闻三个领域，在汉译英、日、俄、法、阿五个语种开展翻译质量评测研究。突破国际现有评测以英语为核心的现状，构建了以汉语为核心，覆盖多语种、多领域的大语言模型翻译质量评测体系，具有开创性意义，是促进中外人文交流，提升汉语全球表达力的积极探索。同时，该评测体系亦可广泛应用于翻译教学、语言测试等智能教学场景。 1.研究背景 1.1大语言模型翻译的发展现状 大语言模型的发展速度超乎想象，在翻译领域更是取得了前所未有的进展。从ChatGPT到Claude、Gemini，再到国内的通义千问、DeepSeek等模型，它们在多个语种对的翻译任务 中已达到接近人类译者的水平，极大提升了译文的语言自然度、术语一致性与语篇连贯性等，正在深刻改变翻译行业、教育方式与研究范式。 1.2核心挑战与评测需求 然而，从翻译学和语言学的角度审视，大语言模型在翻译任务中依然存在诸多挑战： 1.复杂句式处理能力不足：在处理嵌套结构或长距离依存关系的句子时，模型往往无法准确解析其语法层级和语义关系； 2.专业领域与文化负载问题：在专业领域，特别是文化负载较重的文本中，模型常缺乏足够的术语知识与文化理解，导致信息传递出现偏差； 3.汉语翻译表现差距：与英文翻译任务相比，模型在处理汉语翻译时的整体表现仍存在明显差距。 这些问题使我们迫切需要构建一个系统化、可解释的评测机制，以全面揭示大模型在多语翻译任务中的真实能力和潜在短板。 1.3机器翻译评测的发展历程 机器翻译质量评估并非新兴课题。自2006年ACL设立WMT以来，BLEU、METEOR、TER等自动指标被广泛应用于机器翻译系统性能评估。然而，这些传统指标主要基于词面重合和形式对齐，难以有效捕捉译文的深层语义特征。 近年来，随着大语言模型的兴起，评测重心逐步从传统统计机器翻译转向类人翻译能力评估，涌现出COMET、BERTScore等基于深层语义的评估指标，能够更有效地模拟人类对语义准确性和自然度的判断，进一步推动了翻译评测领域的发展。 1.4现有评测体系的局限性 现有评测体系仍存在三个核心问题： •汉语地位边缘化：汉语在国际评测中仍处于边缘地位，主流评测多围绕英语展开，缺乏以汉语为源语言的评测资源；•文本类型单一化：文本类型过于集中在通用语料，缺乏垂直领域的专业文本，无法有效评估模型在复杂专业领域中的翻译能力；•评测视角局限性：大多数评测仍依赖单一视角，难以从语言本体出发进行系统性评估。即便引入了MQM等多维框架，也常面临领域适配性弱、语言学解释力不足等问题。 2.研究内容 2.1总体设计框架 为解决上述问题，本项目从“汉语主导、多语种、多领域”出发，构建了一个系统的翻译评测体系： •语料维度：覆盖当代文学、党政文献与外事新闻三大领域，分别代表表达性、规范性与传播性三种语体特征；•语种维度：设置英、日、法、俄、阿五种目标语言，实现“大语种+小语种”的组合结构；•模型维度：涵盖Claude-3-7-sonnet-20250219、Gemini-1.5-pro-latest、GPT-4o、Grok-3、Qwen-Plus、DeepSeek-R1等六个中外主流大语言模型。 所有模型均通过统一Prompt与控制条件生成译文，确保评测的公平性与一致性。 2.2评测指标体系 本项目构建了“双维六项”指标体系： 2.2.1语言特征维度 •词汇多样性：从语言学视角考察译文词汇使用的丰富程度•句法复杂度：评估译文句法结构的复杂程度和表达多样性•篇章衔接度：检验译文在篇章层面的连贯性和衔接性 2.2.2神经网络维度 •整体翻译质量：使用COMET指标，对翻译质量进行综合评估•语义忠实度：考察译文对原文语义的忠实度•语言可接受度：评估译文的自然度和可读性 语言特征维度从语言学视角出发，关注译文的语言使用特性，可有效识别模型在词法、句法和篇章衔接方面的能力；神经网络维度则借助大模型和神经网络的深层语义建模能力，考察模型对语义的理解与重构能力。 3.1整体表现分析 从整体结果来看，所有模型在神经网络维度（COMET翻译质量、语义忠实度、语言可接受度）表现稳健：COMET得分普遍在0.80左右，语义忠实度平均达到0.85，显示当前大语言模型已具备较强的语义建模与信息还原能力。这表明在基本传达原文含义方面，模型已达到或接近人类译者水平。 然而，在语言特征维度（词汇多样性、句法复杂度、篇章衔接）上，模型间差异较大，呈现出显著的“语义强、语言弱”特征。 3.2领域表现差异 3.2.1党政文献领域 该领域语言规范性强、逻辑结构清晰，对术语还原、句式表达、语体风格都要求极高。Claude-3-Sonnet在英语方向得分最高，Grok-3和Qwen-Plus整体表现比较均衡。在这个领域，日语方向表现优异，多个模型均获得较高得分。 3.2.2当代文学领域 该领域强调语言风格、文化表达，对大模型语言生成能力提出更高挑战。Qwen-Plus在日语各维度表现最佳，Claude-3-Sonnet在法语和英语方向的词汇和句法表现较为出色。但是所有的模型在阿语翻译上，都表现一般，尤其是语言特征维度，词汇多样性与参考译文出入较大。 3.2.3外事新闻领域 外事新闻领域文本表达精确，涉及大量外交术语。所有模型在神经网络维度指标都普遍表现较好，尤其是日语翻译结果稳定。Qwen-Plus和DeepSeek-R1在俄语翻译的两个维度都表现较好。 3.3语种表现分析 •英文和日文：各大模型表现稳定，语义理解与语言表达整体水平较高；•法语和俄语：表现处于中等水平，在句法复杂性处理上略有波动；•阿拉伯语：整体得分偏低，亟需加强模型在汉-阿方向上的训练和语种支持。 3.4模型综合表现 •Claude-3-Sonnet在多个语种与领域中均表现稳定，是综合能力最强的模型之一，尤其在党政与外事类文本翻译方面表现突出；•GPT-4o、Gemini-1.5-pro-latest、Grok-3各有所长，在各个领域中都表现较为稳定；•Qwen-Plus作为国产模型，在多个语种中展现出高水平表现，特别是在当代文学（日语）与外事新闻（俄语）中表现较好，体现出较强的语言生成能力和发展潜力；•DeedSeek-R1在部分语言，例如汉译法和汉译俄的过程中会出现简化现象。 4.专业译者视角的深度分析 在自动化评测之后，本项目各语种的专业教师也从译者视角对大模型译文进行了深入评析。经认真审读译文发现，大模型译文确实存在诸多问题，例如： 个别模型将“入境消费”误译为「訪日消費」，属严重事实性错误； 部分模型将“坚持用法治思维和方式开展涉外工作”概括为「外交政策を推進すべき」，此种处理虽适用于口译、新闻摘要等场合，但若用于外交场合的正式记录文本，易造成重要措辞缺失。 在文学领域，涉及佛教词汇等文化负载词翻译时，大语言模型处理相对困难，多采用音译处理方式。以莫言小说中的“阎罗殿”俄语翻译为例：DeepSeek-R1：翻译为Чертог Яньло（阎罗大殿，阎罗选择音译）；Grok-3：翻译为дворец Яньло（阎罗宫殿，阎罗选择音译）；Gemini-1.5-pro-latest：翻译为Чертог Ямы（Яма-раджа是梵语中阎罗王之意，从文化准确度而言较为契合）；Qwen-Plus：也选择了Ямы（Яма-раджа），但宫殿一词选择了简单的зала；Claude-3-Sonnet：选择与Grok-3一致的翻译方案；GPT-4o：直接使用Чертог зала Яньло。对俄语读者而言，阎罗一词的音译如不加注释难以理解。从可读性角度考虑，使用直接意译如“地狱之主的大殿”或许是更合适的选择，这也是参考译文采用的方案。 除了上述问题，大语言模型在翻译实践中还常常出现诸如数字和术语翻译失误、标题翻译不当、词语情感色彩把握不准确等多种类型的错误。这些问题充分表明当前阶段的大语言模型尚难以全面胜任高质量翻译任务，尤其无法替代具有专业判断力的人类译者。 5.结语 本研究的应用价值与意义在于： 在技术层面，本评测填补了“以汉语为核心”的多语种翻译质量评测空白，为汉-外多语种模型的开发、训练与评估提供了基础语料与方法支持，具有重要的技术参考价值。 在教学与科研方面，本项目构建的多语种语料库与指标体系可广泛应用于翻译课程、语言测试等教学场景，为推动翻译教育与语言研究的数字化转型提供了重要的实践平台。 在文化层面，本评测体系以汉语为核心、以中国特色文本为基础，不仅实现了对大语言模型译文的量化分析，更以实证方式检验了模型对中国话语、文化意涵与政策表述的处理能力。它既是对技术发展的评估，也是促进中外人文交流，提升汉语全球表达力的积极探索。 综上所述，本评测项目为我们提供了一个系统观察和分析大语言模型翻译质量的重要窗口，也为智能翻译系统的评估标准建设提供了宝贵的实践路径。技术在不断进步，但语言所承载的文化内涵、认知模式与复杂的表达方式，仍需专业研究者与译者的深度参与和持续探索。