语言模型幻觉现象的统计分析
幻觉现象的定义与问题
语言模型在生成文本时有时会输出看似合理但实际上错误的陈述，这种现象被称为“幻觉”。尽管语言模型在自然语言处理领域取得了显著进展，但幻觉问题仍然存在，并影响其应用效果。例如，在询问知名人士的生日等事实性问题时，语言模型可能会给出错误的日期，即使这些信息在训练数据中不存在。
幻觉的统计成因
预训练阶段的错误
语言模型在预训练阶段学习大型文本语料库中的语言分布。即使训练数据本身没有错误，预训练过程中优化的统计目标也会导致模型产生错误。这是因为语言模型需要拟合复杂的语言分布，而不仅仅是简单地记忆数据。即使是一个总是输出“I don’t know”（IDK）的模型，或者一个仅仅复制无错误语料库的模型，也不会出错。然而，这两种模型在密度估计方面都失败了，而密度估计是统计语言模型定义的基本目标。
监督学习与无监督学习的转化
本文将幻觉问题转化为监督学习中的二元分类问题，即判断一个语言模型输出是否为有效的语言。通过这种转化，我们可以利用计算学习理论的成果来分析幻觉的统计性质。分析表明，即使训练数据没有错误，预训练期间最小化的统计目标也会导致一个会产生错误的语言模型。
错误率的下界
本文证明了基础语言模型的错误率下界，即幻觉错误率至少为训练数据中未出现的事实的比例。这意味着，如果某个事实在预训练数据中恰好出现一次，那么预期基础模型会在至少20%的生日事实上产生幻觉。
提示的影响
本文还将分析扩展到带有提示的语言模型，即每个示例包含一个提示和可信的回复。分析表明，即使在这种情况下，基础模型仍然会生成错误，因为提示的存在并不能完全消除统计不确定性。
幻觉的持续存在
后训练阶段的分析
尽管后训练阶段通常旨在减少幻觉，但本文认为幻觉之所以持续存在，是因为现有的评估方式奖励猜测而非承认不确定性。大多数评估方式使用二元指标（如准确率或及格率），对表达不确定性的答案不给予评分，这导致语言模型在不确定时倾向于猜测。
评估如何强化幻觉
本文分析了几个因素，包括以下内容：
- GIGO（垃圾进垃圾出）：大型训练语料库通常包含大量的事实性错误，这些错误可能被基础模型复制。
- 分布转移：语言模型的错误往往源于与训练分布差异巨大的分布外（OOD）提示。
- 二元评估：语言模型引入了虚假的是非二分法，对表达不确定性的答案不给予评分，这导致语言模型在不确定时倾向于猜测。
解决幻觉问题的建议
修改现有评估方式
本文建议修改现有的评估方式，以停止在不确定时惩罚弃权行为。例如，可以在指令中明确指定置信度阈值，或者将置信度目标整合进现有的主流评估中。
行为校准
本文建议将行为校准作为客观评价指标，以鼓励语言模型在不确定时表达不确定性。
可信度与非理性
本文指出，现有的统计框架忽略了生成无意义字符串的可能性，但认为这并不会改变幻觉的下界。
结论
语言模型中的幻觉现象是一个重要的挑战，但并非无法解决。通过理解幻觉的统计成因并修改现有的评估方式，我们可以引导该领域走向更值得信赖的人工智能系统。
