概率机器学习中的不确定性原理

本文研究了概率预测中的不确定性量化问题，重点关注如何通过校准来提高不确定性估计的可信度。校准是指预测的概率与事件发生的实际频率相一致。本文提出了三种提高校准的方法：

• 后验校准：本文提出了模块化校准（MCC）框架，该框架统一了现有的后验校准技术，如等距回归和校准预测，并提供了对任何回归模型的校准保证。实验表明，MCC 框架能够有效地提高预测的校准度和尖锐度。
• 训练时校准：本文提出了可训练的校准度量，将校准问题转化为分布匹配问题，并使用最大均值差异（MMD）来进行量化。通过将校准度量作为正则化目标，可以在训练过程中同时优化校准度和尖锐度。实验表明，这些方法能够有效地提高预测的校准度和决策质量。
• 在线校准：本文研究了在分布漂移的情况下如何保持预测的校准度。本文将预测任务建模为预报者和自然之间的零和博弈，并基于 Blackwell 可达性理论，提出了一个通用的策略来保证校准度。实验表明，这些方法能够在动态甚至对抗性的环境中保持预测的校准度，并实现渐近无遗憾的校准。

本文的核心观点是，校准是概率预测中至关重要的性质，可以通过多种方法来提高。本文提出的方法为在实践中实现校准提供了灵活且有效的策略，从而可以提高概率预测的可靠性和可信度。