2024年人工智能安全与自动化偏见报告

自动化偏差的三层框架

自动化偏差是指人类用户过度依赖自动化系统的倾向，这可能导致事故、错误和其他不良后果。研报提出了一个三层框架来理解自动化偏差，包括用户、技术设计和组织三个因素。

用户因素： 用户的知识、经验和偏见会影响他们对自动化系统的信任和依赖程度。例如，特斯拉自动驾驶事故表明，即使系统设计良好，用户错误的使用方式也会导致事故。

技术设计因素： 系统的设计，包括人机界面和警报系统，会直接影响用户的行为和决策。例如，波音737 Max的MCAS系统设计缺陷和空客A330-203飞机的事故都表明，设计不当的界面会增加自动化偏差的风险。

组织因素： 组织的政策、程序和培训会影响用户如何使用自动化系统。例如，陆军偏爱使用爱国者系统的“自动”模式，而海军则更倾向于由操作人员做出决策，这导致了不同的结果。

案例研究

研报通过三个案例研究分析了自动化偏差的影响：

• 特斯拉案例研究： 表明用户对技术的误用和误解会导致事故，即使系统设计良好。
• 波音和空客案例研究： 表明系统设计缺陷会增加自动化偏差的风险，无论飞行员受过多少培训。
• 爱国者导弹系统案例研究： 表明组织政策和训练会影响用户如何使用自动化系统，并可能导致事故。

结论

研报建议采取措施来减轻自动化偏差的风险，包括：

• 创建和维护资格标准： 确保用户理解系统的能力和局限性。
• 重视并执行一致的设计和设计理念： 减少混淆和自动化偏差的风险。
• 设计并定期审查组织政策： 使其与技术能力及组织优先事项保持一致。

研报强调，自动化偏差是一个复杂的问题，需要从多个方面来解决。通过关注用户、技术设计和组织因素，可以减轻自动化偏差的风险，确保AI系统的安全、可靠和负责任的使用。