对AI评估方法的批判性审视报告

核心观点

• 政策制定者经常强调可解释性和可理解性作为负责任和安全的 AI 系统应遵循的原则，但实践中对这些原则的评估方法并不明确。
• 本研报通过文献综述，分析了研究人员如何描述和评估 AI 推荐系统的可解释性和可理解性。
• 研究发现，研究人员对可解释性和可理解性的描述存在差异，且两者之间没有明确区分。
• 研究人员主要采用五种评估方法：案例研究、比较评估、参数调整、调查和运营评估。
• 研究论文更倾向于评估系统正确性而非系统有效性。

关键数据

• 研究分析了 2012 年至 2022 年间发表的 81 篇关于 AI 推荐系统的论文。
• 其中 81 篇论文实际包含了推荐系统可解释性或可理解性的评估。
• 案例研究和比较评估是最常见的评估方法，分别出现在 88% 和 63% 的论文中。
• 参数调整是另一种相对流行的评估方法，出现在 40% 的论文中。
• 调查和运营评估较为少见，分别出现在 19% 和 4% 的论文中。

研究结论

• 由于研究人员对可解释性和可理解性的理解存在差异，因此针对这些原则的评估可能无法有效衡量系统性能。
• 政策制定者在制定可解释 AI 系统的实施或评估政策时，需要考虑不同背景下可解释性的含义以及评估方法的有效性。
• 建议政策制定者投资 AI 安全评估标准，并培养能够评估这些评估有效性的专业人才。