评测驱动代码大模型 “码力”提升 - 王一男

LLM代码能力评测方法

LLM代码能力评测数据集

• 评测数据集：HumanEval、HumanEval-0-Shot、T-HumanEval（164个Python问题，每个问题包含提示语、解决方案、单元测试等）
• 数据来源：外部数据（最近3个月新增Case）、开源评测数据集（占比不超过20%）、GitHub、StackOverflow等
• 数据制作标准：
  • 人工评测：模拟真实用户Chat场景，指令清晰，避免互斥指令，使用新数据（最近3个月）
  • 自动化评测：代码补全场景使用MBPP数据集（314个用例），测试生成场景使用HumanEval数据集

LLM代码能力评测反馈闭环实践

• 评测方法：
  • 模型评测：5档评分+权重计算总分，参考标准答案，1题3人评测计算Agreement
  • 自动化评测：
    • 代码补全：掩盖X%行代码后逐步补全，计算Pass@1
    • 测试生成：计算单测正确率和覆盖率，要求覆盖率达80%以上
• 评测结果：
  • 混元模型代码能力vsGPT指标从1月89.49%提升至5月97.35%，为所有评测模型中进步最快
  • 评测驱动模型改进：Vue版本较低时增训新版Vue数据，规范训练数据格式

评测体系框架

• 分类：
  • 22种任务分类，12个高优先级场景分类
  • 用户/产品、场景/任务、领域/框架、开发语言四个评测维度
• 数据集制作流程：
  • 11类主要任务场景，5种主流编程语言，3个月内新数据，500题滚动更新
  • 代码生成评测集：150题，覆盖5种语言，每题5+单元测试，人工审核
  • 代码补全评测集：MBPP数据集314个用例，自动化评测，Pass@1

评测工作当前问题与不足

• 用户感受反映：如何从模型评测到产品评测，真实反映用户感受（混元助手&工蜂Copilot）
• 出题速度：如何更快出题，从现网badcase/goodcase数据直接生成
• 未来适应：如何适应未来产品发展（CodeAgent/AutoDev），需支持长上下文、推理、记忆、多轮，参考SWE-benchmark、RepoBench、LiveCodeBench