评测推动了NLP的进展，但面临诸多问题，对NLP研究构成巨大挑战。大语言模型种类多样，经历了预训练和强化学习等阶段，其评测方法需根据模型类型选择。
大模型评测方法：
- SFT和RL模型评测：评估其完成多种任务、服从人类指令的能力。
- 现有大模型评测类型：
- HELM：斯坦福提出，涵盖场景、任务、指标，评估模型透明度，涉及精度、鲁棒性、公平性等多个维度，得出25个结论，如指令微调优势、模型准确性与时限关系、偏见问题等。
- AGI-EVAL：评估模型在标准化考试中的表现，强调人脑级别认知任务与现实场景相关性，测试GPT-4、ChatGPT等模型，发现模型在复杂推理任务上仍有局限。
- LLM-as-a-judge：使用LLM作为判别器评估模型，通过成对比较、单个答案打分等方式，发现模型存在位置偏见、冗长偏见等，但强模型与人类一致性可达80%以上。
- Chatbot Arena：采用1v1对战和ELO机制评估模型，用户参与评测，结果揭示模型性能差异。
- C-EVAL：首个全面中文评测套件，包含13948个选择题，覆盖52个学科，评估模型知识与推理能力，发现模型规模对性能影响显著。
- Flag-EVAL：多维度评测工具包，包含22个数据集，评估准确性、不确定性、鲁棒性、效率等，提供自动化评测和主观评测。
- PandaLM：专门用于评估大模型性能的裁判大模型，本地部署即可使用，准确度达ChatGPT 94%。
不同类型大模型评测方法比较：
- 客观评测（选择、分类）：快速高效，但无法反映生成能力。
- 主观题人工评测：准确全面，但速度慢。
- 主观题模型评测：本地多轮次快速评测，但准确性和适用范围需改进。
- 主观题GPT-4评测：较准确全面，速度快，但细粒度准确性低。
- 题目开放 vs 题目不公开：前者公开可讨论，但易作弊；后者防作弊，但缺乏公信度。
LLMEVAL现状和未来：
- 评测需公开透明，防止作弊。
- 评测应考虑正确性、流畅性、信息量、逻辑性、无害性等方面。
- 评测方法包括分项评测、众包对比评测、公众对比评测、GPT 4自动分项评测、GPT 4对比评测等。
- 排序方法对比Elo Rating和Points Scoring。
LLMEVAL-1数据集：
- 包含17个类别问题，基于认知心理学5种认知能力。
- 测试12个开源及商业大模型。
- 评测方法：人工分项打分、众包对比测评、公众对比测评、GPT4自动测评。
- 排序方法：EloRating、PointsScoring。
- 结果显示人工打分准确率最高，GPT4接近人类水平，公众测评波动大，EloRating不稳定。
LLMEVAL-2数据集：
- 测试12个学科，包含单项选择题与问答题。
- 测试20个开源及商业大模型。
- 评测方法：人工评测+自动评测。
- 结果显示大模型在不同学科问答能力差异较大，GPT-4优势明显，人工评测和自动评测结果基本一致。
