1-4 度小满风控实验平台的架构与实践

风控实验业务背景

风控实验业务主要围绕策略新增/变更、策略上线效果观察、风控策略迭代过程展开，通过线下实验和小流量实验进行测试场景覆盖、策略效果小范围评估，并关注影响可控的实验方式。

风控实验平台架构设计实践

风控系统分为业务层、平台层和数据层，实验平台架构贯穿风控完整决策过程。实验平台系统架构图展示了主策略层、实验层以及线上/小流量决策结果的分流机制，通过定义不同的实验层避免互相影响。实验平台支持历史样本镜像、历史实验、构造实验等多种实验方式，并可通过VINTAGE分析和SWAPIN&SWAPOUT等报表进行效果分析。

风控实验平台架构演进挑战

风控实验平台架构演进面临以下挑战：

1. 小流量实验如何判断实验效果是否达到预期或受样本波动影响，以及如何尽可能少使用流量。
2. 策略迭代中变量/特征的迭代如何处理历史样本数据，避免结果不准确或“穿越”。
3. 小流量实验对风控在线决策性能的影响，如何优化分流机制。
4. 线下实验样本数较大导致实验耗时较长，如何通过离线环境弹性资源进行优化。

如何设计一个风控实验

设计风控实验的步骤包括：

1. 明确实验诉求，如新增变量A替换变量B，预期逾期率降低0.2%。
2. 完成样本准备，包括变量回溯样本准备和线下实验配置。
3. 运行线下实验，产出实验结果并进行分析，确认效果符合预期。
4. 配置小流量实验，设置观测指标和置信度，运行并积累样本，产出实验结果。
5. 分析小流量实验结果，确认样本数量是否具有显著差异，并判断实验是否成功。
6. 如确认实验成功，则将流量转全，编辑规则新增规则变量A<500拒绝，减少规则变量B<500拒绝。