大语言模型（LLM）在知识服务、医疗诊断、商业分析等领域应用广泛，但其“幻觉”问题——输出看似合理却与事实不符或偏离语境——制约了其可信度。香港大学经管学院人工智能评估实验室（AIEL）对37个中美大语言模型（含20个通用模型、15个推理模型、2个一体化系统）进行幻觉控制能力测评，从事实性和忠实性两方面评估其表现。
测评方法
“幻觉”分为事实性幻觉（输出内容与真实世界信息不符）和忠实性幻觉（输出内容与用户指令或上下文不符）。测评通过设计三类事实性幻觉测试题（信息检索类、虚假事实识别类、矛盾前提识别类）和两类忠实性幻觉测试题（指令一致性评估、上下文一致性评估），考察模型输出内容的客观准确性。
测评结果
- 模型排名：GPT-5（思考模式）以86分（事实性72分，忠实性100分）位居榜首，GPT-5（自动模式）以84分（事实性68分，忠实性100分）居次，Claude 4 Opus系列（总分83分和80分）紧随其后。国产模型豆包1.5 Pro系列（总分72-73分）表现突出，但与国际顶尖模型仍有差距。
- 能力梯队：头部模型（GPT-5、Claude 4 Opus）在忠实性幻觉控制上表现优异，但在事实性维度仍有提升空间；第二梯队模型（如Grok4、豆包1.5 Pro）在两维度上表现均衡；国产模型中，DeepSeek系列表现稍逊。
研究结论
- 核心特征：当前大模型普遍存在“严守指令但易虚构事实”的倾向，需兼顾知识储备的准确性与任务执行的可控性。
- 模型类型：推理模型（如通义千问3、Claude 4 Opus）的幻觉控制能力优于同系列通用模型，推翻了“推理模型更易产生幻觉”的假设。
- 未来方向：模型优化需强化复杂场景下的事实核查与上下文建模能力，推动AI从“能生成”向“可信赖”迈进。
关键数据
- 测评模型：37个中美大语言模型（含20个通用模型、15个推理模型、2个一体化系统）
- 排名前三模型：GPT-5（思考模式）、GPT-5（自动模式）、Claude 4 Opus（思考模式）
- 国产模型领先者：豆包1.5 Pro系列（总分72-73分）
- 主要挑战：事实性幻觉控制能力不足（头部模型事实性得分均低于75分）
