大模型基准测试体系研究报告2024

中国信息通信研究院人工智能研究所人工智能关键技术和应用评测工业和信息化部重点实验室2024年6月 版权声明 本报告版权属于中国信息通信研究院，并受法律保护。转载、摘编或利用其它方式使用本报告文字或者观点的，应注明“来源：中国信息通信研究院”。违反上述声明者，本院将追究其相关法律责任。 前言 近几年，大模型推动人工智能技术迅猛发展，极大地拓展了机器智能的边界，展现出通用人工智能的“曙光”。如何准确、客观、全面衡量当前大模型能力，成为产学研用各界关注的重要问题。设计合理的任务、数据集和指标，对大模型进行基准测试，是定量评价大模型技术水平的主要方式。大模型基准测试不仅可以评估当前技术水平，指引未来学术研究，牵引产品研发、支撑行业应用，还可以辅助监管治理，也有利于增进社会公众对人工智能的正确认知，是促进人工智能技术产业发展的重要抓手。全球主要学术机构和头部企业都十分重视大模型基准测试，陆续发布了一系列评测数据集、框架和结果榜单，对于推动大模型技术发展产生了积极作用。然而，随着大模型能力不断增强和行业赋能逐渐深入，大模型基准测试体系还需要与时俱进，不断完善。 本研究报告首先回顾了大模型基准测试的发展现状，对已发布的主要大模型评测数据集、体系和方法进行了梳理，分析了当前基准测试存在的问题和挑战，提出了一套系统化构建大模型基准测试的框架——“方升”大模型基准测试体系，介绍了基于“方升”体系初步开展的大模型评测情况，并对未来大模型基准测试的发展趋势进行展望。面向未来，大模型基准测试仍存在诸多开放性的问题，还需要产学研各界紧密合作，共同建设大模型基准测试标准，为大模型行业健康有序发展提供有力支撑（联系人：韩旭，hanxu5@caict.ac.cn）。 目录 （一）大模型基准测试的重要意义........................................................................2（二）蓬勃发展的大模型基准测试........................................................................4（三）大模型评测发展共性与差异........................................................................9 （一）大模型基准测试体系总体介绍.................................................................. 11（二）代表性的大模型基准测试体系..................................................................17（三）问题与挑战..................................................................................................20 三、大模型基准测试体系框架..................................................................................23 （一）“方升”大模型基准测试体系......................................................................23（二）“方升”自适应动态测试方法......................................................................27（三）“方升”大模型测试体系实践.....................................................................30四、总结与展望..........................................................................................................35（一）形成面向产业应用的大模型评测体系......................................................35（二）构建超自动化的大模型基准测试平台......................................................36（三）探索AGI等先进人工智能的评测技术....................................................36 图目录 图1大模型发展历程..............................................................................................1图2大模型基准测试领域占比分布..........................................................................5图3大模型基准测试数据集发布时间......................................................................6图4大模型基准测试数据集发布机构排名..............................................................7图5大模型基准测试数据集发布国家分布..............................................................8图6大模型基准测试数据集开源分布......................................................................9图7大模型基准测试体系构成................................................................................11图8大模型基准测试流程........................................................................................13图9大模型基准测试工具LLMeBench框架图.....................................................17图10大模型评测基准HELM原理图....................................................................18图11 “方升”大模型基准测试体系...........................................................................24图12自适应动态测试方法原理图..........................................................................27图13大模型基准测试标签体系..............................................................................28图14 “方升”大模型首轮试评测模式.......................................................................31图15开源大模型评测榜单结果..............................................................................33 表目录 表1代表性大模型官方发布结果中使用的评测数据集..........................................6附表1语言大模型通用能力的代表性评测数据集................................................38附表2语言大模型行业能力的代表性评测数据集................................................39附表3语言大模型应用能力的代表性评测数据集................................................40附表4语言大模型安全能力的代表性评测数据集................................................41附表5多模态大模型通用能力的代表性评测数据集............................................41 一、大模型基准测试发展概述 近几年，大模型推动人工智能技术迅猛发展，极大地拓展了机器智能的边界，展现出通用人工智能的“曙光”，全球各大科技巨头和创新型企业纷纷围绕大模型加强布局。如图1所示，2018年，谷歌公司提出基于Transformer实现的预训练模型BERT，在机器阅读理解水平测试SQuAD中刷新记录。同年，OpenAI公司发布了第一代生成式预训练模型GPT-1，擅长文本内容生成任务。随后几年，OpenAI相继推出了GPT-2和GPT-3，在技术架构、模型能力等方面进行持续创新。2022年11月，OpenAI发布的ChatGPT在智能问答领域上的表现引起产业界轰动。除了大语言模型，2023年，OpenAI还发布了多模态大模型GPT-4。同期国内大模型的发展也呈现不断加速态势，已经发布了华为“盘古”、百度“文心一言”、阿里“通义千问”、腾讯“混元”和智谱“清言”等200多个通用和行业大模型产品。 随着大模型产品的不断推出，对大模型的能力进行评测逐渐成为产业界关注的重点。1950年代提出的图灵测试（Turing Testing）作为一种经典的人工智能测试方法，一直被认为是衡量机器智能水平的“试金石”。2023年7月《自然（Nature）》发表文章《ChatGPT brokethe Turing test — the race is on for new ways to assess AI》，指出图灵测试已经无法满足大模型的评测要求，应该探索新方法来评估人工智能水平。 大模型基准测试（Benchmark）的目标是通过设计合理的测试任务和数据集来对模型的能力进行全面、量化的评估。大模型基准测试体系涵盖了大模型的测评指标、方法、数据集等多项关键要素，是指导大模型基准测试落地实践的规范。 （一）大模型基准测试的重要意义 当前，基准测试已赋能大模型“建用管”全生命周期的多个阶段，在大模型研发、应用和管理中扮演重要角色，主要表现在： 一是指引学术研究。过去一年，在ChatGPT的引领下，国内外的大模型企业也从最初摸索和尝试，逐渐步入研发和应用深水区。大模 型 研 发 迭 代 周 期 正 在 缩 短 ，OpenAI在 一 年 时 间 内 先 后 发 布ChatGPT、GPT4、GPT-4V等多款大模型，Meta的LLaMA大模型一经发布便迅速带动了Alpaca、Vicuna等几十个开源大模型，形成“羊驼”开源大模型生态圈。在如此高的迭代频率下，大模型基准测试可以验证模型研发效果，快速挖掘大模型当前的不足与痛点问题，推动大模型能力持续提升。并且，大模型评测不应该是开发流程的终点， 而 应 该 作为 起点驱 动 模 型开 发。构 建 以 能力 提升为 目 标 的评 估（Enhancement-Oriented Evaluation）策略对大模型发展十分重要，建立“开发-部署-应用-测试”的闭环流程将缩短产品迭代