风控实验业务背景
风控实验业务主要围绕策略新增/变更、策略上线效果观察、风控策略迭代过程展开,通过线下实验和小流量实验进行测试场景覆盖、策略效果小范围评估,并关注影响可控的实验方式。
风控实验平台架构设计实践
风控系统分为业务层、平台层和数据层,实验平台架构贯穿风控完整决策过程。实验平台系统架构图展示了主策略层、实验层以及线上/小流量决策结果的分流机制,通过定义不同的实验层避免互相影响。实验平台支持历史样本镜像、历史实验、构造实验等多种实验方式,并可通过VINTAGE分析和SWAPIN&SWAPOUT等报表进行效果分析。
风控实验平台架构演进挑战
风控实验平台架构演进面临以下挑战:
- 小流量实验如何判断实验效果是否达到预期或受样本波动影响,以及如何尽可能少使用流量。
- 策略迭代中变量/特征的迭代如何处理历史样本数据,避免结果不准确或“穿越”。
- 小流量实验对风控在线决策性能的影响,如何优化分流机制。
- 线下实验样本数较大导致实验耗时较长,如何通过离线环境弹性资源进行优化。
如何设计一个风控实验
设计风控实验的步骤包括:
- 明确实验诉求,如新增变量A替换变量B,预期逾期率降低0.2%。
- 完成样本准备,包括变量回溯样本准备和线下实验配置。
- 运行线下实验,产出实验结果并进行分析,确认效果符合预期。
- 配置小流量实验,设置观测指标和置信度,运行并积累样本,产出实验结果。
- 分析小流量实验结果,确认样本数量是否具有显著差异,并判断实验是否成功。
- 如确认实验成功,则将流量转全,编辑规则新增规则变量A<500拒绝,减少规则变量B<500拒绝。