探究产品策略优化的长期影响

背景介绍

• A/B实验：数据驱动决策的重要手段。
• 短期实验局限性：难以准确反映长期策略影响。
  • 新UI设计：虽然初期提升DAU 1%，但无法确定其长期效果。
• 长期实验挑战：
  • 时间成本高：策略不可快速迭代。
  • 用户体验风险：若策略有负面影响。

现有方法

• 长期Holdout实验：

  • 方法：部分用户不采用策略，长期观察差异。
  • 缺点：耗时长、成本高、策略不可迭代。

• 构建代理指标预测长期效果：

  • 例如：预测用户生命周期价值（LTV）。
  • 问题：仅关注相关性，无法捕捉因果效应。

• Cookie-Cookie-day Design：

  • 关注用户学习产生的携带效应。
  • 方法：单独建模用户学习影响。

用户学习影响

• 用户学习效应：
  • 积极结果强化行为，消极结果减少行为。
  • 搜索广告对用户行为的影响：广告相关性 + 用户态度。
  • 目标：计算“态度”变化。

最新研究

• Cookie-Cookie-day Design缺陷：

  • 实验设计复杂，引入参数模型。
  • 目标：简化实验设计，预测长期影响。

• 方法浅析：

  • 代理指标：捕捉所有影响的中间变量。
  • 时间划分：总时间划分为多个时间窗。
  • 预测策略效应：结合短期实验数据和历史行为数据。

具体案例

• 电商平台案例：
  • 1月1日特价活动对2月1日网站流量时长的影响。
  • 代理指标：中和短期策略对长期指标的影响。

代理指标选择

• 假设1：代理指标能中和掉策略对结果的影响。
• 假设2：控制策略后，结果与代理指标同分布。
• 选择代理指标：考虑更多历史数据，包括短期结果表现。

实证应用

• 实验分析：
  • 分析长达20周的实验数据。
  • 按周粒度分析，比较预测结果与实际结果。

总结

• Surrogates：选择反映用户行为的指标，如请求次数、曝光次数等。
• 评估不同：比较不同时间段的预测结果。