AB实验驱动理性增长
为什么要做AB实验
AB实验能够通过细致的测试带来显著的收益提升。例如，谷歌测试41种蓝色后确定最佳搜索框广告颜色，每年带来2亿美元利润；Bing通过标题优化使收入增长12%。具体收益包括：
- 每10毫秒性能改进可覆盖工程师成本
- 亚马逊100毫秒减速导致销售额下降1%
- Bing性能提升显著提高关键用户指标
硅谷AB实验发展情况：
- 微软：每天10000+个实验，年价值2万亿$
- Facebook：每天10000+个实验，年价值0.5万亿$
- Airbnb：每天1000+个实验，年价值0.06万亿$
国内AB实验发展分三个阶段：
- 探索阶段（游戏、其他企业）
- 建设阶段（BAT、滴滴、字节等大型互联网公司）
- 行业领先阶段（银行、车企等）
AB实验发展历程：
- 2000年Google首次应用，逐渐成为数据驱动增长的重要手段
- 国内外大型企业广泛应用，覆盖网站、移动应用等多种终端
AB实验的核心价值：
- 数据驱动，精细成本收益
- 通过数据驱动决策，实现精细化成本收益管理
- 定性因果验证，确保方向正确
- 定量增长，实现人治到数治的转型
AB实验的核心优势：
- 并行性：同一对象可并行开展多个实验
- 先验性：小流量预先评估效果，节省实验资源
AB实验应用场景：
- 产品迭代：功能升级、视觉交互优化、灰度发布
- 活动运营：页面转化提升、推广效率提速、ROI对比
- 策略算法：搜索优化、商品/内容推荐
- 市场营销：广告投放转化提升、策略选择、收益评估
AB实验对企业的价值：
- 持续实验实现产品与服务自我进化
- 通过大量实验积累微小提升，形成质变
- 推行AB实验机制，形成数据驱动文化
AB实验的关键问题
AB实验关键问题矩阵涉及统计学知识：
- 随机抽样、置信区间、方差估计
- 置信水平、样本容量、显著性水平
- P值、假设检验、功效、一类/二类错误
统计学知识要点：
- 显著性水平（퐀）与P值的关系：
- P值<퐀：拒绝原假设H0，认为策略有效
- P值>퐀：不能拒绝H0，需进一步观察power
- 错误类型：
- 第一类错误：无效果判断为有效（控制テ�）
- 第二类错误：有效判断为无效（控制功效）
- 第三类错误：差异方向错误
AB实验如何落地
基于AB实验的精益决策增长体系：
- 核心框架：实验平台→增长评估→方案策划→数据设计→分析→决策
- 实验平台：
- 购买（腾讯、字节等）
- 自建（需求高、业务复杂）
- 中台化改造（推荐）
- 中台化收益：
- 提升数据应用效率
- 降低实验门槛
- 提升数据一致性
- 全线复用能力
AB实验分析要点：
- 没有平台和流程保障，多数实验结论错误
- 最小样本量与显著性分析案例：
- 签到领现金实验，250万用户，曝光60万
- 点击率排序：A>B>D，A>C
AB实验数据支持：
- 指标体系
- 数据采集
- 计算口径
- 数据监控
AB实验方案阻碍因素：
- LIFT模型：AB实验只能验证现有方案，无法创造新方案
- 专业团队必要性：
- 决策层支持
- 专业团队参与
- 培训与激励
- 实验流程嵌入
AB实验的实践案例
ToB实践：线索智能评级引擎
- 业务背景：低效线索多，高价值线索转化率低，外呼效率低
- AB测试方案：
- 项目收益：
- 曝光量不变，广告收入提升22%
- 点击量和点击率增长225%
- 客户转化提升，CPC降低63%
- 年收入增长7300万
ToC实践：调整推送流量分配
- 业务背景：腾讯新闻希望提升DAU
- 解决方案：
- 项目收益：
- DAU增长0.27%
- PUSH到达UV减少0.03%
- PUSH点击UV减少4.65%
