实验科学在云音乐落地实践-沐德

平台基建

网易云音乐天秤实验平台旨在打造一站式AB测试平台，整合实验管控与效果评估，支持产研、运营快速实验与精准决策。平台在分流计算、指标计算、数据评估方面进行创新，采用无状态、全内存计算架构，提升性能；通过高检测灵敏度减少样本需求，优化存储计算；支持多维度检验，确保实验评估的科学性与准确性。现阶段基于Doris构建端到端全链路实验分析产品与套件，实现高性能、亚秒响应延迟的分布式分析型数据库，满足实验全链路诊断稽查、数据处理与分析需求。

指标基建

（内容缺失，未提供相关总结）

实验科学性

关键因素

影响实验科学性的关键因素包括样本均匀分流、指标正确计算、效果科学评估、决策有效执行。其中，样本均匀分流是核心环节，需关注SRM（Sample Ratio Mismatch）问题。

SRM问题

归因

1. 分流算法不随机
   • 优化分流算法的随机性与正交性，控制错误概率
2. 实验流量分配不科学
   • 人群选择、流量分配不合理，扩量不规范
3. 实验前用户状态偏差
   • 二次进入用户状态偏差，方案问题

预防（避免引入）

1. 实验流量等比例分配与扩缩量
   • 案例：APP冷启动、场景冷启动，确保流量到达概率一致
   • 案例：头部用户聚集场景（如打赏、数专购买），优化用户分布均匀性

监控（及时发现、预警）

• 采用Chai-Square test进行样本比例检验

诊断（问题归因、治理）

1. 实验诊断：DS介入或系统自动检测
2. 归因与治理：分析实验运行过程数据与质量数据，推动收敛

科学评估

实验指标评估体系

1. 全局指标（守护指标）
   • 必须守护的业务线指标，如增长类、营收类、播放指标等
2. 业务核心指标（北极星指标）
   • 决策实验的直接效果指标，如一级tab进入率
3. 实验观测指标（辅助指标）
   • 辅助实验判断的观测指标，如新增tab点击率

评估难点与挑战

难点1：统计功效低，测试结果不显著

• 解决方案：
  1. 增加样本量（延长测试时间、增加流量比例、共享对照组）
  2. 减小方差（按触发时机统计、剔除异常值、方差缩减、实验前预AA、选择方差更小的指标）

难点2：多重检验问题，实验决策难度大

• 解决方案：
  1. 修正α（Bonferroni法）
  2. 修正p值（BH法）
• 常见问题：冗余AA组、评估目标不清晰、频繁check数据

其他常见问题及规避方案

1. 实验单元违背SUTVA假设
   • 通过空间、时间隔离规避，辅助监控
2. 新奇效应
   • 采用非实验因果分析方法（匹配法、工具变量法等）或同期群分析检测

实验效率

• 完善平台与数据基建，提升接入效率
• 确定边界避免扯皮，提升协作效率
• 沉淀方法与经验，运营实验文化，提升决策效率