游戏中的实验场景
游戏中的实验场景广泛、多样、复杂,涵盖潜在用户、新手、有效活跃、活跃下降、即将流失、流失等生命周期阶段,以及拉新、APP商店下载、渠道选择、用户定向、广告素材、出价策略、APP图标、详情页素材、AI新手局、注册流程、安装未注册召回、引导长度、引导信息、新手英雄、AI局难度、AI局数、真人匹配局、温暖局、活动任务、商城消费、匹配算法、温暖局时机、活动素材、活动福利、数值任务设定、道具推荐算法、道具打折力度、新玩法、PUSH通知、社交PUSH频率、PUSH时机、PUSH内容、PUSH定向、新玩法效果、社交活动效果、社交推荐算法、UI界面、图标样式、导航位置、顺序、背景图、流失用户召回、用户定向、广告素材、出价策略、活动任务、活动素材、活动福利、数值任务设定等。
实验驱动广告投放
实验驱动回流广告投放
随着游戏运营时间的推移,拉新难度越来越高,盘活流失玩家成为提升游戏活跃的主要来源。量化投放效果,优化投放策略,挑战强势的自有渠道(qq/wx)在海外缺位,高昂的用户触达成本,必须找到真正值得干预的用户。
方案:训练二分类模型,识别自然回流率最高的玩家,向他们投放广告。正样本:回流;负样本:未回流;训练样本:流失玩家;预测样本:流失玩家。
问题:响应模型越来越准确,但干预未带来显著提升。分析:高概率回流的用户不需要投放广告也会回流,因此投放与否对这个群体影响不大。
优化方案:干预中高概率区间的用户(预测概率:0.5~0.9)。效果:回流率提升,显著性检验通过。
Meta-Learner:灵活,learner选择不受限制;模型误差≠评估误差;Split的时候直接考虑treatment与control的差异;解释性较强;处理大数据集、多维度特征时embedding有优势;数据集size有要求,易过拟合。
样本去偏:广告平台策略(黑盒)与广告平台(FB/Google)的竞价策略强相关,由广告平台决定向哪些用户曝光广告。真实投放环境难点:广告平台出于隐私政策,不回传用户粒度的曝光数据,如何知道曝光事件与用户特征的相关性?
方案:分组,组内的用户特征尽量相似;组间的用户特征尽量不同。游戏内特征(Tencent)广告曝光数据(Google/FB)用户id聚类。
分析:控制组干预组广告曝光率曝光账号量未曝光用户量9%9%12~16%30%各cluster用户的广告曝光率R²= 0.98820%10%20%30%40%0%20%40%60%曝光率自然回流率(预测)各Cluster用户的曝光率与自然回流率(预测)强相关。
去偏效果:通过样本去偏,识别出了更多曝光率低、CATE值高的用户,如何提升这个群体的曝光率?
优化出价:从“增益用户”的角度测算流量价值,折算CPA。广告竞价机制:由广告主设置单个转化(回流用户)的价值(CPA),广告平台依据流量的转化率推算流量价格(CPM)。不同广告主之间依据CPM竞价。出价:现状:当前出价策略:业务人员依据经验设置统一CPA($4)固定CPA($4)下,竞价竞争力与转化率(回流率)呈正比。
实验驱动用户运营
实验驱动用户运营优化用户体验,提升活跃和留存
实验设计:周活跃用户控制组10%随机组10%算法组80%流量随机切分投放不投放投放高概率流失用户投放;低概率流失用户不投放;活跃用户礼包无礼包A礼包B效果留存率50%50%礼包A礼包B50%50%分组礼包周留存率平均每个干预预期带来的留存用户量控制组无礼包85.6% -随机组礼包A90.7%0.05 礼包B89.4%0.04 算法组礼包A90.2%0.35 礼包B88.9%0.25
实验驱动用户运营果真如此简单?
Q1账号分流:并行实验、前后实验污染(Carry-over Effect)
- 分流方式1: 用户尾号0123456789对照组实验组实验一对照组实验组实验二
- 分流方式2: rand生成随机数
- 推荐分流方式:哈希(Hash)方程
Q2实验灵敏度低怎么办?
- 提升实验灵敏度:> 增加样本量增加实验流量增加实验时间> 减小指标方差应用方差削减(CUPED)更换指标(如:金额->超过某金额的比例)指标Log变换
Q3影响公平性,无法做AB测试怎么办?
- 无法实验的场景实验组新装备对照组无新装备同场竞技影响公平性!在国家、服务器粒度上分实验组和对照组Synthetic Control:通过拟合消除偏差,进而评估实验效果道具定价差异引起舆情危机⋯⋯
Q4用户之间相互影响
- 不同的产品,会有不同的网络效应
- 用户之间相互影响:网络效应的解决
- 识别网络效应第1步构建网络第2步节点聚类第3步按cluster采样下发实验第4步ATE评估第5步大盘ATE估计第6步
总结
- 实验驱动用户运营Q1账号分流方法Q2实验灵敏度提升Q3不可实验的场景Q4网络效应的解决
- 实验驱动广告投放Q1如何选择用户Q2如何在隐私条款下进行曝光去偏Q3如何优化出价
- 谨慎成本决策降级增长曲线文化