AB 实验概述
AB 实验是一种数据驱动的决策工具，通过将用户随机分为实验组和对照组，分别施加不同的策略，并比较两组指标差异来验证策略效果。AB 实验的核心价值在于能够定性验证因果关系，并定量评估策略带来的增长价值。
AB 实验的挑战
尽管 AB 实验具有诸多优势，但在实际应用中仍然面临一些挑战，例如：
- 小样本和溢出效应： 履约场景下样本量稀少且地域差异明显，难以保证分组的同质性，且实验单元间存在相互依赖，导致结果偏差。
- 方差和 P 值计算陷阱： 错误的方差计算方式或 P 值计算方法可能导致假阳性或假阴性结果。
- 求和型统计量和 ROI 指标： 部分场景需要使用求和型统计量或 ROI 指标进行评估，需要重新推导和适配正确的方差计算和 P 值计算公式。
- 公平性风险： 部分策略或产品升级涉及实验对象公平性等风险，或产品分流与干预不受实验者控制时，需要引入准实验或者观察性研究工具评估。
AB 实验方法
为了应对不同的挑战，AB 实验方法也多种多样，主要包括：
- 随机对照实验： 通过随机分组将用户分为实验组和对照组，分别施加不同的策略，并比较两组指标差异来验证策略效果。包括普通随机分组和完全随机分组两种方式。
- 随机轮转实验： 通过在实验时间段内多次进行实验组与对照组模式之间来回切换，通过比较某些指标在多时间段内实验状态与对照状态的表现差异来检测实验效应。包括抛硬币随机轮转、完全随机轮转和配对随机轮转等。
- 准实验： 适用于实验设计者可干预分组，但无法随机分配实验单元至实验组和对照组的场景。例如双重差分法。
- 观察性研究： 适用于无法进行控制实验的问题，例如合成控制法、匹配方法和 Causal Impact 等。
高阶实验工具
为了解决单次实验功效不足、假阳性、策略调优等问题，还需要使用一些高阶实验工具，例如：
- 统合分析： 综合考虑多个考察同一策略的独立实验，对这些实验的结果进行统合分析，从而给出对于这些实验整体效果的评估结果。
- 多重比较： 在同时进行多个假设检验时，采用二阶段 Benjamini-Hochberg 方法来修正 P 值，以防止假阳性带来的错误判断。
- 序贯分析： 在实验运行期间不断监控实验结果，一旦统计学上足够显著即可立即停止实验，节省实验成本。
- 异质性因果效应估计： 关注不同子群体对同一策略的不同反应，在实验中进行分析。
- MAB（多臂老虎机）： 动态分配策略，以最大化策略的整体收益。
- Interleaving（交错式）实验设计： 将 A、B 两种策略的推荐结果依次随机交织到同一个推荐列表后再展示给用户，以更快速和精确地评估哪种算法更优。
实验分析引擎
为了帮助用户轻松开展可信的 AB 实验，美团履约技术团队孵化了 AB 实验分析方法库——实验分析引擎 BETA。该引擎涵盖数十种先进的实验技术，支持实验设计、评估、诊断等环节所需的多样化核心功能以及标准化流程，并解决了实验过程中大量统计理论导致的实验分析复杂化问题、过多统计陷阱引起的实验不可信难题，使实验者能够无门槛地以科学、高效的方式开展实验，并轻松获得可信的实验报告。
