人工智能风险的超越P（厄运）：无概率量化不确定性

核心观点

• 人工智能（AI）风险评估中，不确定性主要来源于认知不足（epistemic uncertainty），而非随机性（aleatoric uncertainty）。
• 传统概率论在处理认知不确定性和冲突证据方面存在局限性，需要引入替代工具，如信念（Belief）和可能性（Plausibility）。

关键数据

• 一项研究发现，对AI引发存在主义灾难的可能性估计差异高达250倍，从“悲观”组的0.001到“乐观”组的0.25。
• 另一项研究显示，对AI在2100年引发灭绝事件的概率估计中，中位数超级预测者的可能性为0.0038。

研究结论

• 评估AI风险时，除了询问“AI灾难发生的可能性有多大”，还应询问“您对AI灾难发生的确定性有多大”以及“您对AI灾难不发生的确定性有多大”。
• 通过引入信念和可能性，可以更清晰地表达和沟通AI风险中的不确定性，并促进更准确的风险评估。
• 现有的数学技术，如Dempster-Shafer理论、Yager规则和Dempster规则，可以用于结合专家评估，以更好地理解风险评估中的分歧。
• 虽然概率论仍然是重要的工具，但应根据具体情况选择合适的工具，以更好地理解和应对AI风险。