腾讯视频复杂场景实验分析方法和实验质量问题揭秘

实验质量问题揭秘

• 实验分析中遇到的质量问题：主要包括样本量不均衡（SRM）和数据质量问题。
• 实验链路和实验质量的关系：实验评估的基础是两个群体样本的均衡性，SRM（流量比例不均衡）会导致实验结果不可信。
• SRM的重要性及解决方法：
  • SRM定义：实验组和对照组之间的流量比值不均衡。
  • 检测方法：使用卡方检验（P值小于阈值判定为SRM问题）。
  • 产生原因：如放量比例不一致、实验期间终止某个版本、绑定白名单等。
  • 解决方法：实验分流引入、实验干扰引入、绑定白名单等。
• 案例：实验用户数不平（SRM），导致低版本用户无法展现短视频内容，实验结论为负向。
• 数据质量问题定位与解决：
  • 数据质量问题定义：实验计算的实验指标数据是否准确。
  • 发现问题方法：多个指标变化方向无法互相解释、指标基准值异常、监控指标异常等。
  • 定位问题方法：多维下钻、时序排查等。
  • 解决方法：
    • 剔除异常维度后分析。
    • 修复日志或采用替代指标。
    • 采用更合理的指标计算方法。

进阶实验分析揭秘

• 为什么要做进阶实验分析：仅根据简单目标指标变化给出结论风险大，容易错失业务洞察机会，需进行实验归因分析。
• 定制贴合业务场景的实验分析方法：
  • 案例1：首页改版实验
    • 分析方法：
      • 全局目标指标。
      • 验证业务逻辑。
      • 用户路径分析（基于FP-Growth算法挖掘典型路径）。
    • 结论：实验组用户路径变长，找内容并消费的路径变长，成本变高，体验变差。
  • 案例2：营销活动实验
    • 实验策略：分析活动效果。
    • 一期实验结果：次留持平，人均消费时长小幅上升，人均收入小幅下降。
    • 分析方法：
      • 用户分群分析（基于因果推断算法和规则分群）。
      • 分群维度：消费偏好、场景偏好等。
    • 优化建议：针对时长diff贡献大的规则圈定人群、聚类人群和CATE较高的用户群定向推广活动和提醒使用权益。