大语言模型翻译质量评测报告（简版）

核心观点与研究背景

大语言模型（LLM）在翻译领域取得显著进展，但仍面临复杂句式处理、专业领域与文化负载问题及汉语翻译能力不足等挑战。现有评测体系存在汉语地位边缘化、文本类型单一化及评测视角局限性等问题。

研究内容与方法

本研究构建了以汉语为核心的多语种、多领域翻译评测体系，涵盖当代文学、党政文献和外事新闻三大领域，以及英、日、法、俄、阿五种目标语言，评测六种中外主流大语言模型。评测指标体系包括语言特征维度（词汇多样性、句法复杂度、篇章衔接度）和神经网络维度（COMET翻译质量、语义忠实度、语言可接受度）。

评测发现与结论

1. 整体表现：模型在神经网络维度表现稳健，COMET得分普遍在0.80左右，语义忠实度平均达到0.85，但语言特征维度差异较大，呈现“语义强、语言弱”特征。
2. 领域表现：
   • 党政文献：Claude-3-Sonnet表现最佳，日语方向优异。
   • 当代文学：Qwen-Plus在日语表现最佳，阿语翻译表现一般。
   • 外事新闻：模型在日语翻译结果稳定，Qwen-Plus和DeepSeek-R1在俄语表现较好。
3. 语种表现：英文和日文表现稳定，法语和俄语中等，阿拉伯语表现较差。
4. 模型综合表现：Claude-3-Sonnet综合能力最强，Qwen-Plus在多个语种中表现突出，DeepSeek-R1在部分语言翻译中存在简化现象。

专业译者视角分析

大模型译文存在事实性错误、措辞缺失、文化负载词处理不当等问题，如“阎罗殿”的俄语翻译，多采用音译且不加注释，难以理解。此外，数字、术语翻译失误及情感色彩把握不准确等问题也表明大模型难以全面胜任高质量翻译任务。

应用价值与意义

本研究填补了以汉语为核心的多语种翻译评测空白，为汉-外多语种模型开发提供技术参考，推动翻译教育与语言研究数字化转型，并促进中外人文交流，提升汉语全球表达力。