中文大模型基准测评2024年4月报告

中文大模型基准测评2024年4月报告总结

1. 国内大模型关键进展

• 2023-2024大模型关键进展：自ChatGPT发布以来，国内大模型发展经历了准备期、成长期和爆发期，目前处于爆发期，开源闭源大模型层出不穷，形成百模大战的竞争态势。
• 2024年值得关注的中文大模型全景图：国内大模型市场形成多梯队格局，头部企业引领发展，创业公司竞争力增强，开源模型崛起，技术开放与普及。

2. 测评体系

• 中文大模型基准SuperCLUE介绍：SuperCLUE是独立第三方评测机构，采用先进的自动化评测技术，确保评测结果客观公正。其特点包括：独立第三方测评、聚焦通用大模型综合测评、测评方式与真实用户体验目标一致、不限于学术领域的测评。
• 测评体系、方法及示例说明：SuperCLUE采用多维度、多视角的综合性测评方案，由十大基础任务组成，题目为多轮开放式简答题，题目数量共2194题。

3. 大模型综合测评结果

• SuperCLUE模型象限：根据测评结果，模型被划分为不同象限，体现了其综合能力水平。
• 国内外大模型总体表现：GPT-4-Turbo领跑全球，国内大模型发展迅速，但与GPT-4仍存在差距。国内头部企业如百度文心一言4.0、阿里云通义千问2.1和腾讯Hunyuan-pro等引领发展，创业公司如百川智能Baichuan3、智谱AI GLM-4等表现优异。
• 大模型对战胜率、成熟度指数及开源格局：国内大模型在部分任务上胜率超过20%，开源模型竞争力增强，但在长文本、代码、计算、逻辑推理等能力上成熟度较低。
• 评测与人类一致性分析：SuperCLUE测评结果与人类对模型的评估具有高度一致性，自动化评价方式可靠性高。

4. 通用维度测评详细分析及示例介绍

• 十大能力详细测评分数：包括计算、长文本、代码、逻辑推理、安全、工具使用、语义理解、生成与创作、角色扮演、知识百科等。
• 测评结果及示例：国内大模型在长文本、安全能力上表现突出，但在代码、逻辑推理能力上仍有提升空间。示例展示了模型在不同任务上的表现。

5. SuperCLUE2.0专项与行业基准测评

• 各行业、专项、多模态测评基准：SuperCLUE2.0推出多项专项和行业基准，包括Math6数学多步推理、RAG检索增强生成、Code3代码、Agent智能体、Safety安全、200K中文超长文本、Role角色扮演、Video文生视频、Auto汽车基准、ICabin智能座舱基准、Fin金融基准、Industry工业基准等。
• 未来两个月基准发布计划：SuperCLUE将持续完善大模型专项能力及行业能力的测评基准，并征集大模型参与测评。

6. 优秀模型案例介绍

• 优秀模型：通义千问2.1（阿里云）、Baichuan3（百川智能）、Hunyuan-pro（腾讯）、GLM-4（智谱AI）、MiniMax-abab6.1（稀宇科技）等。
• 模型特点：各模型在多项能力上表现优异，具有较强竞争力，适用于不同应用场景。