AI 安全的关键概念 ： 机器学习中的可靠不确定性量化

AI 安全概述及不确定性量化挑战

引言与背景：

• AI 发展与挑战：过去十年，机器学习研究取得了巨大进展，赋予了AI系统令人惊叹的能力，但同时也暴露出不可靠的问题。以ChatGPT为代表的人工智能系统展示了这种能力与不可靠性的紧张关系。

不确定性量化的概念：

• 核心思想：构建“知道自己不知道什么”的机器学习系统，即能够识别其预测错误可能性的系统。
• 挑战：设计能够识别自身局限性的AI系统比预想的更为复杂。

校准与不确定性量化：

• 校准：理想情况下，AI模型的置信度分数应与实际正确率相匹配。
• 不确定性量化：衡量模型在预测时的不确定性，旨在提高系统在面临未知情况时的安全性和可靠性。

分配转移与挑战：

• 定义：机器学习系统在不同环境下（数据分布变化）的表现差异。
• 挑战：难以准确检测、测量或定义分配转移，尤其是实际部署环境中的未知情况。

准确表征不确定性：

• 概率分数的局限：高概率分数不必然意味着高正确率。
• 缺失“以上都不是”选项：数据集限制了AI模型学习广泛的可能性。

解决方案概览：

• 确定性方法：通过训练调整模型以在某些输入上表现出高不确定性。
• 模型融合：集成多个模型以提高预测准确性和不确定性估计。
• 共形预测：提供数学保证的统计方法，但依赖于模型部署数据与训练数据来自同一生成过程的假设。
• 贝叶斯推理：数学原理框架，用于更新假设的概率，但计算上不可行在现代机器学习模型上精确实现。

实际应用考虑：

• 人机交互：解释不确定性估计，了解系统何时可能不可靠。
• 用户界面设计：影响不确定性估计的实际有用性。

展望：

• 未来研究：关注大型语言模型的不确定性量化，特别是语言生成的挑战。
• 技术发展：从基础研究向实际工程挑战转变，采用不同方法解决不确定性量化问题。

结论：

AI安全领域的不确定性量化是关键研究方向，旨在提升AI系统在复杂和不可预测环境中的可靠性和安全性。尽管存在挑战，现有的方法和技术正在逐步提高我们构建能够识别其“不知道”的AI系统的能力，这对未来的AI应用至关重要。