9-2 严选 AB 科学实验平台实践 - 丁伟伟_网易严选

01 项目背景与痛点

• 决策痛点：业务决策缺乏科学实验支持，如搜索、推荐算法参数调整、模块增删、优惠券使用、支付引导等效果难以量化评估。
• 传统实验流程痛点：各业务实验方案开发、随机分流、埋点、线上运行、数据统计、报表呈现均需重复开发，存在随机性不足、相互影响、埋点错误、周期长、统计口径不统一等问题。
• 资源浪费：1个后端开发对应n个多端客户端开发，1个产品对应1个分析师、1个数据开发，资源分散。

02 实验科学性设计

• 科学性关键因素：95%置信区间、显著性检测（α=0.05, β=0.2, z=1.96）。
• 最小样本量预估：通过公式计算实验周期和所需样本数，考虑转化率变化（如1%→2%）、线上流量、实验周期和预估效果。
• 科学分析：对比均值和完整数据曲线，而非局部曲线，确保分析全面性。
• 统计显著性：假设检验中，原假设为“方案无差异”，α控制第一类错误（弃真），β控制第二类错误（取伪）。p-value≤0.05且统计功效≥80%时，认为方案有显著差异。
• 效果显著性：计算95%置信区间衡量差值正态分布范围。
• 流量接管：实现同层互斥、跨层正交，区分时间、首页模块顺序、支付页弹窗、首焦样式、首猜算法、商详头图、大促到手价等流量分层。

03 系统设计

• 实验流程设计：理想流程包括配置实验方案、选择直接指标、调控流量、实验上线、报表产出，但传统流程在埋点自动化、指标统一、报表自动化方面存在缺陷。
• 数据体系建设：解决自动化核心问题，包括埋点自动化（页面、模块自动添加实验信息）、指标统一（口径定义、注册、清洗、计算、存储）、报表自动化（查询、科学分析，支持实时和T+1离线指标）。
• 系统架构设计：采用Flink实时计算+Hive/Spark批处理+OpenTSDB时序数据库+StatisticsEngine统计引擎，整合T+1数据区和实时数据区，覆盖PC/WAP/APP多端，接入Kafka、RDC、TAC等工具。

04 案例分享

• 案例：旧版本首焦调整、首猜TAB展示调整，通过参数透传实现首页模块顺序、有无、布局等调整，无代码开发，两周内完成4个版本实验。
• 当前实验规模：平台上线后，平均实验周期缩短至3-7天，支持大量实验，大幅降低业务开发、数据开发、分析师工作量，单实验周期1-2周。配合客户端动态化方案、商品配置化测图工具、用户触达类配置化实验，实现实验方案免开发或轻开发。