2-2 双边市场的复杂实验设计问题 - 程大曦 快手数据科学

激励策略挑战与解决方案

双边市场实验介绍

• 双边市场：平台包含消费者与生产者，相互促进。
• 双边实验：在消费者和生产者端同时进行分组实验。
• 双边实验优点：
  1. 同时检测策略对消费者和生产者的影响（如DAU和上传作品人数）。
  2. 检测部分溢出和转移效应。
  3. 更好理解作用机制（效果主要来自消费端或生产端）。
• 例子：直播美颜实验，分为主播侧（实验组/对照组）和观众侧（看见/看不见美颜），分析溢出效应。

激励策略的难点与挑战

• 供给侧需求：
  1. 引入优质作者，不确定表现。
  2. 特定类型业务扶持，提供更强分发力度。
  3. 平台期望发展特定方向，强化内容供给。
• 作者侧挤占：实验组作者曝光挤占对照组作者曝光，证据显示作者侧冷启曝光提升幅度显著更大。
• 双边网络传递：对作者的boost通过推荐系统传递，影响用户曝光。
• 对SUTVA的违背：
  • SUTVA假设：个体i的指标只与自身分组有关，与其他节点分组无关。
  • 挤占效应：排序算法加分导致先扶持作者保持优势，难以区分先发优势与挤占效应。

可选解决方案

• 方案1：逐步扩量（10%→20%→50%→80%→99%）：
  • 挤占效应随base组流量减少而减少。
  • 无法区分先发优势、挤占效应和实验随时间变化。
• 方案2：Budget Spliting/划分小世界：
  • 分割子世界避免溢出和挤占效应。
  • 偏差幅度取决于双边网络效应幅度和结构，小流量下弹性差异可能存在。
  • 缩小用户候选池和作者可分发用户量，可能高估效果。
• 其他方法：
  • 侧重实验分析而非设计，如估计网络效应矫正分析，需线性/其他条件假设。

综合方案

• 基于排序融合的方案：
  • 同时用两套排序算法（RC和RT）进行排序，记录作品顺序。
  • 实验组作品按RT排序，对照组按RC排序，冲突随机选择。
  • 小流量实验采用RC结果，反转实验采用RT结果。
• 效果评估：
  • 作者侧：作品数、生产作者数。
  • 曝光/观看：CTR、EVTR，利用曝光次数提升=观看次数提升恒等式推算。
  • 读者侧：单边实验验证。
• 其他问题：
  • 工程成本：保留两套排序的成本，轻量级融合排序的可能性。
  • 数据隔离：部分改进效果可能来自更多数据收集。
  • 流量设计：随机选择20%进行融合混排。
  • 双边实验可行性。

结论

• 激励策略在双边市场实验中面临挤占效应和对SUTVA的违背。
• 逐步扩量和划分小世界方案存在局限。
• 排序融合方案通过结合两套算法避免溢出和挤占，但需考虑工程成本和数据隔离问题。