腾讯视频复杂场景实验分析方法和实验质量问题揭秘

实验质量问题和进阶实验分析方法揭秘 演讲人：潘洁—腾讯—数科团队leader 目录Contents 实验质量问题揭秘 进阶实验分析揭秘 01实验质量问题揭秘 实验分析中会遇到的质量问题 实验链路和实验质量的关系 SRM在实验中的重要性 u实验评估的基础是两个群体样本的均衡性uSRM（sample ratio mismatch）：流量比例不均衡，流量比例是指实验组和对照组之间的流量比值。当出现SRM问题的时候，实验结果不可信u一般采用卡方检验（Chi-Squared Test）对实验组的样本量是否均衡进行监控。当计算的P值小于阈值时，判定样本量不均衡，即出现了SRM问题 实验用户数不平，实验结论正向？ 实验用户数不平（SRM），出现实验质量问题。追查原因，发现低版本用户无法展现短视频内容，只展现广告，未进入实验组用户 ü实验结论：负向 SRM问题的定位和解决 实验分流引入 实验干扰引入 •放量比例不一致•实验期间终止某个版本•绑定白名单 SRM产生原因 SRM追查方法 数据质量问题的定位与解决 u数据质量指实验计算的实验指标数据是否准确u数据质量会直接影响实验结论的准确性 n3解决问题：使用多个事件上报圈定实验用户数，计算实验用户在策略生效场景指标数据（最大程度降低数据上报丢失对实验质量的影响） n1发现问题：多个指标变化方向无法互相解释？ n其他发现问题方法：指标基准值异常、监控指标异常等 n定位问题方法：多维下钻、时序排查等 n解决问题方法： n2定位问题：以上为某场景的播放数据，是按照当前场景事件（如播放开始、播放结束）上报的实验id作为场景指标计算的过滤条件，猜测是否实验id上报有丢失？ n4实现路径 1）如果个别维度出现数据质量问题，可考虑剔除后分析2）如果是日志处理环节引入数据质量问题，可修复日志，或采用替代指标3）采用更合理的指标计算方法避免数据质量问题 02进阶实验分析揭秘 为什么要做进阶实验分析？ u如果简单的只根据实验目标指标（3-5个）变化给出结论，决策风险大，且容易错失发现业务洞察的机会u实验归因分析：打开黑箱的工作 定制贴合业务场景的实验分析方法 案例1：首页改版实验 案例1：首页改版实验 全局目标指标 案例1：首页改版实验 案例1：首页改版实验——验证业务逻辑 案例1：首页改版实验 案例1：首页改版实验——用户路径分析 分析方法 可以帮助分析核心分发场景流量分布变化和用户路径迁移方向 案例1：首页改版实验——用户路径分析 实验组用户路径发生变化：首页播放时长大幅下降，其他页面1、页面2和页面3的播放时长大幅提升 案例1：首页改版实验——用户路径分析 分析方法 用户路径分析（典型路径分析） 解法：基于频繁模式挖掘（FP-Growth）算法挖掘用户典型路径 案例1：首页改版实验——用户路径分析 实验组用户路径发生变化：首页-播放页路径session量大幅减少，而从首页-页面1|页面2|页面3-播放页的路径session量大幅增加，用户找内容并消费的路径变长，成本变高，体验变差。 总结：案例1用到的分析方法 案例2：营销活动实验 实验策略： 一期实验结果： •次留：持平•人均消费时长小幅上升•人均收入小幅下降 3用户分群分析-寻找更合适的策略生效人群 案例2：营销活动实验 案例2：营销活动实验 案例2：营销活动实验 案例2：营销活动实验 3用户分群分析：寻找更合适的策略生效人群 基于因果推断算法分群 基于规则分群 •CausalForestDML是一种基于因果森林和双重/无偏机器学习的算法，用于估计因果效应。其主要思想是将因果森林和DML算法结合起来，以获得更准确、更具泛化性的因果效应估计。 可选分群维度 •Microsoft开发的EconML包中提供了CausalForestDML模型能力 消费偏好 场景偏好 T：是否活动用户X：社会属性、活跃特征、消费特征、内容偏好等Y：播放时长 优化建议：针对时长diff贡献大的规则圈定人群、聚类人群和CATE较高的用户群定向推广活动和提醒使用权益 总结：案例2用到的分析方法 2023DataFunSummit感谢您的观看—THANKS— 演讲人：潘洁—腾讯—数科团队leader