核心观点
- 幻觉不可被彻底消灭：幻觉源于统计生成机制，而非异常案例，组织目标不应是零幻觉，而是可识别、可约束、可追责、可持续优化。
- 高可信品牌会放大幻觉风险：权威界面用户倾向于过度信任，需更强的显性护栏。
- 抑制幻觉会带来新的权衡：降低幻觉率不等于提升系统有效性，需平衡遗漏率与幻觉率。
- 幻觉治理需制度化：规模化应用需统一标识、留痕、审批、核验与责任制度。
关键数据
- GOV.UK Chat 实验：近70%用户认为回答有用，但仍有幻觉案例，说明高满意度不等于高可信度。
- 联邦机构用例增长：2024年用例约增长9倍，其中61%集中在内部使命支持。
- 英国跨部门研究：准确性（偏见）、隐私、安全和误用是最核心的担忧。
- FDA 观点：幻觉在医疗监管中构成高风险边界，需全生命周期安全控制。
- MHRA 案例：RAG与强护栏能压低重大幻觉，但也可能引入拒答和遗漏成本。
研究结论
- 幻觉类型：事实性、引用性、语境性、逻辑性、行动性、遗漏性。
- 幻觉根因：统计生成机制、知识边界与专业断层、提示不充分、组织对速度与完整感的偏好、检索一生成错配。
- 幻觉测量：发生概率、严重程度、可发现性与下游影响、业务语境。
- 官方框架：承认幻觉不可被彻底消灭，高影响场景必须有人类复核，内容要可标识、可追溯、可反馈。
- 组织行动：画任务风险地图，高风险场景设置“不用或降格使用”规则，让人工复核变得有意义。
- 抑幻觉工程：任务分级、知识锚定、生成约束、验证校正、上线监控、责任制度。
- 原创概念：概率真相陷阱、引用幻影链、低置信高伤害区、遗漏-幻觉跷跷板、责任折返门。
- 幻觉治理成熟度模型（H3M）：试用级、规则级、流程级、工程级、制度能力。
- 行动路线图：识别最危险的任务、补上知识锚定与拒答机制、把人工复核和日志做成制度。
最终结论
真正的分水岭不是会不会用模型，而是能不能驾驭模型。未来真正有竞争力的组织，不是让模型看起来无所不知，而是让模型在不知道时停下来、在高风险时退后一步。
