中文大模型基准测评2025年9月报告

——2025年中文大模型阶段性进展9月评估 2 0 2 5 . 1 0 . 1 6SuperCLUE团队 精准量化通用人工智能（AGI）进展，定义人类迈向AGI的路线图 AccuratelyQuantifying theProgress of AGI,Defining theRoadmap forHumanity'sJourney towards AGI. 报告摘要 1.海外模型保持头部优势，国内模型继续追赶。 在本次9月通用测评中，海外模型占据了榜单前6，其中GPT-5(high)以69.37分遥遥领先，o4-mini(high)（65.91分）、Claude-Sonnet-4.5-Reasoning（65.62分）、Claude-Opus-4.1-Reasoning（64.87分）、Gemini-2.5-Pro（64.68分）等紧随其后。国内的DeepSeek-V3.2-Exp-Thinking、Doubao-Seed-1.6-thinking-250715分别以62.62分和60.96分并列国内第一。 2.国内开源模型优势显著。 国内的DeepSeek-V3.2-Exp-Thinking（62.62分）、openPangu-Ultra-MoE-718B（58.87分）和Qwen3-235B-A22B-Thinking-2507（57.73分）分别位于开源模型榜单前三，大幅度领先海外开源最好模型gpt-oss-120b（53.05分）。 3.国内模型更具性价比，海外模型推理效率更高。 国内模型的API价格大多数处于0-10元/百万Tokens，平均API价格为3.88元/百万Tokens，而海外模型的API价格比较分散，从2-200元/百万Tokens不等，海外模型平均API价格为20.46元/百万Tokens，是国内模型API价格的5倍以上。 国内推理模型平均每题的推理耗时为101.07秒，而海外推理模型仅有41.60秒，海外推理模型的推理效率远高于国内推理模型。 SuperCLUE九月中文大模型基准测评简介 中文语言理解测评基准CLUE（The Chi nese La ngu a ge Under st a ndi ng Eva l u a t i on）是致力于科学、客观、中立的语言模型评测基准，发起于2019年。Su per CLUE是大模型时代CLUE基准的发展和延续，聚焦于通用大模型的综合性测评。本次2025年9月中文大模型基准测评聚焦通用能力测评，测评集由六大任务构成，总量为1260道简答题，测评集的介绍如下： SuperCLUE-9月通用基准数据集及评价方式 3.代码生成 2.科学推理 1.数学推理 介绍：主要考察模型运用数学概念和逻辑进行多步推理和问题解答的能力。包括但不限于几何学、代数学、概率论与数理统计等竞赛级别数据集。评价方式：基于参考答案的0/1评估，模型答案与参考答案一致得1分，反之得0分，不对回答过程进行评价。本次评估的人类一致性约98%。 介绍：该任务分为两大类型：一是独立功能函数生成，生成覆盖数据结构、算法等领域的独立函数。二是Web应用生成，要求模型构建旅游订票、电商、社交媒体等完整的交互式网站。 评价方式：通过单元测试进行0/1评分（独立功能函数生成)；通过模拟用户交互的功能测试进行0/1评分（Web应用生成)，本次评估的人类一致性约99%。 介绍：主要考察模型在跨学科背景下理解和推导因果关系的能力。包括物理、化学、生物等在内的研究生级别科学数据集。 评价方式：基于参考答案的0/1评估，模型答案与参考答案一致得1分，反之得0分，不对回答过程进行评价。本次评估的人类一致性约98%。 5.精确指令遵循 6.幻觉控制 4.智能体Agent 介绍：主要考察模型的指令遵循能力，包括但不限于定义的输出格式或标准来生成响应，精确地呈现要求的数据和信息。涉及的中文场景包括但不限于结构约束、量化约束、语义约束、复合约束等不少于4个场景。 介绍：主要考察模型在执行中文生成任务时应对忠实性幻觉的能力。包括但不限于文本摘要、阅读理解、多文本问答和对话补全等基础语义理解与生成创作数据集。 介绍：主要考察在中文场景下基于可执行的环境，LLM作为执行代理在对话中调用工具完成任务的能力。包括单轮对话和多轮对话。涉及的中文场景包括但不限于汽车控制、股票交易、智能家居、旅行规划等10余个场景。 评价方式：基于人工校验参考答案的、对每个句子是否存在幻觉进行0/1评估，本次评估的人类一致性约95%。 评价方式：基于规则脚本的0/1评估，本次评估的人类一致性约99%。 评价方式：结合任务完成与否、系统状态比对的0/1评估，本次评估的人类一致性约99%。 SuperCLUE全球大模型中文综合能力排行榜（2025年9月） 本次测评包括六大任务：数学推理、科学推理、代码生成（含web开发）、智能体A g en t（多轮工具调用）、幻觉控制、精确指令遵循。题目量为1260道新题，共测评33个国内外大模型，最终得分取各任务平均分。 Su per CLUE官网地址：Su per CLUE.a i 测评分析 1.国内外头部大模型的差距依旧存在。 在本次9月通用测评中，TOP6均为海外模型，TOP7-11为国内大模型。海外TOP5平均分为66.09分，国内TOP5平均分为61.01分，相差近5分，差距依然存在。 2.国内头部模型之间竞争激烈。 国内的DeepSeek-V3.2-Exp-Thinking、Douba o-Seed-1.6-t hi nk i ng-250715和ERNIE-X1.1分别位于本次测评的国内前三，Qwen3-M a x和openPa ngu-Ultra -MoE-718B紧随其后，整体差距较小。 SuperCLUE九月中文大模型基准测评——开源模型 测评分析 1.国内开源模型全面领先海外开源模型。 2 .机 构 竞 争 格 局 呈 现 多 元 态 势。在开源模型榜单中TOP10国内模型占据9席，仅有一个海外开源模型进入TOP10。其中DeepSeek-V3.2-Exp -Thinking以62.62分夺得开源榜首，openPa ngu-Ultra -MoE-718B位居开源第二，Qwen3系列以及GLM-4.6并列开源第三。 2.国内外模型在不同任务上各有领先。 在数学和科学推理任务上，海外开源模型有一定的优势，但在代码生成、幻觉控制、智能体Agent、精确指令遵循四大任务上，国内开源模型均有领先，且领先幅度较大。 SuperCLUE九月中文大模型基准测评——智能体Agent任务 测评分析 1.在智能体Agent任务上，国内外头部大模型整体表现相当。 在本次智能体Agent任务测评中，国内TOP5的平均分为79.05分，海外TOP5的平均分为78.33分，国内外头部大模型整体表现相当。 2.模型在不同场景中的表现存在一定差异。 本次智能体Agent任务共设计了15大场景，国内外大模型在票证系统、即时消息、购物系统三大场景表现更好，总体平均分达到了75分以上。但在车辆控制、股票交易、数学计算三大场景上的表现还有待提高。总体来看，对于需要模型进行较多反思推理和数学计算的场景，得分普遍较低；而对于日常生活中较为简单的工具调用任务，如购票、发送消息等，模型的表现更佳。 SuperCLUE九月中文大模型基准测评——智能体Agent任务 测评分析 3.随着题目轮数和步数的增加，模型得分整体呈下降趋势。 本次智能体Agent任务的测评题轮数从1到8轮不等，步数从1到24步不等。从评测结果可以看出，随着交互步数和轮数的增加，模型的平均得分整体呈现下降趋势。 SuperCLUE九月中文大模型基准测评——代码生成任务 测评分析 1.国内头部大模型表现优异，但与海外顶尖大模型还有一定差距。 总体来看，国内大模型在代码生成任务上表现优异，Qwen3-M a x、GLM系列、DeepSeek-V3.2-Exp-Thinking均有超过Grok-4、o4-mini(high)等海外模型的表现。但相较于在编程领域TOP3级别的海外顶尖模型，如Cla ude-Sonnet-4.5-Rea soning、G P T - 5 ( h i g h )、C l a u d e - O p u s - 4 . 1 -Rea soning而言，还有一定的差距。 SuperCLUE九月中文大模型基准测评——代码生成任务 测评分析 2.Web Coding是模型之间拉开差距的主要原因。 所有模型在独立函数生成子任务上的差距并不显著，标准差仅有2.51，但在Web Coding子任务上的标准差达到了10.84，是拉开模型在代码生成任务上差距的主要原因。 3.模型在Web Coding子任务上的表现相较于独立函数生成子任务更差。 从单一子任务来看，国内外大模型在独立函数生成任务上的平均得分为83.88分，而在Web Coding任务上的平均得分仅为42.63分，相差超过41分。国内外大模型在Web Coding任务上还有较大的提升空间。（左图为两大子任务加权后的总分，非单一子任务得分。） 4.国内模型在Web Coding和独立函数生成两个子任务上均与海外模型存在一定差距。 国内大模型在独立函数生成和Web Coding子任务上的平均分分别为81.03分和39.46分，海外大模型分别为89.57分和48.97分，差距均在8.5分以上。 SuperCLUE九月中文大模型基准测评——精确指令遵循任务 测评分析 1.海外头部大模型的表现普遍优于国内头部大模型。 在本次精确指令遵循任务中，海外头部大模型GPT-5(high)、Cla ude-Sonnet-4.5-R ea soning、o3(high)等占据榜单前四，国内大模型ERNIE-X1.1以64.91分位居国内第一、全球第五，表现亮眼。总体而言，国内大模型和海外大模型相比，在精确指令遵循上的表现差距较大。 SuperCLUE九月中文大模型基准测评——精确指令遵循任务 2.大模型在该任务上的表现差异显著。 本次测评的33个大模型在该任务上的标准差达到了16.67，在六大任务中最高，表明国内外大模型在精确指令遵循任务上的表现差异显著。 3.随着指令数量的增加，模型得分逐渐降低，但海外模型的表现始终优于国内模型。 无论是国内还是海外模型，其平均分都随着指令数量的增加而显著下降。这揭示了当前大模型在处理简单、单一的指令时表现尚可，但随着任务复杂度的提升（指令叠加），其理解、记忆和执行能力会急剧下降，出现遗忘指令、混淆指令、执行不完整等问题。 在所有指令数量的测试中，海外模型的平均分均高于国内模型，这说明海外模型在处理复杂、多步骤任务时的鲁棒性更强。 SuperCLUE九月中文大模型基准测评——幻觉控制任务 测评分析 1.海外模型占据头部优势。 排名前十的模型中，海外模型占据了6席，且包揽了前三名中的两个席位，显示出在幻觉控制领域的整体领先地位。其中海外模型Cla ude-Opus-4.1-Rea soning以85.24分的微弱优势夺得榜首，紧随其后的是国内模型openPa nGu-Ult r a -M oE-718B（81.29分）。 2.国产模型梯队分明。 国产模型内部也形成了明显的梯队。以openPa nGu-Ultra -M oE-718B、ER NIE-X1.1、Hunyua n-T1-20250822等国内头部模型为代表的第一梯队已经具备与国际顶尖模型一较高下的实力，而其他模型则分布在中后段。 SuperCLUE九月中文大模型基准测评——幻觉控制任务 测评分析 3.随着任务从“信息整合”向“开放生成”过渡，国内外大模型在幻觉控制上的得分都呈现出明显的下降趋势。 文本摘要是幻觉控制最容易的任务，得分最高，因为该任务强依赖于给定