阿里妈妈展示广告预估校准演进之路

阿里妈妈展示广告校准技术演进之路阿里妈妈——展示广告算法团队黄思光|2021-04-28 大纲Ø背景介绍Ø校准算法演进Ø工程实践Ø总结与展望 预估技术的挑战真实点击概率（ACTR）预估点击率（PCTR）优化序关系（AUC）（✓）而非大小准确性（MSE）（✗）浅层模型深度模型大规模深度模型算力经济时代广告推荐搜索用户行为概率预估技术（点击率，转化率，短视频3s曝光率等）是搜索、推荐以及广告领域的核心技术能力。点击率预估模型输出的值是真实点击概率吗？用户的真实点击概率可以被准确预测吗？如何衡量模型的准确性？AUC？更庞大，更精细，更准确1 预估校准在广告中的必要性校准技术在出价准确性/稳定性（包括算法出价oCPX/Auto-Bidding），竞价公平性，计划冷启动等方面发挥作用。广告出价（bid）pCTReCPMRankad11.50.8%121ad20.61.8%112ad31.01.0%103ad40.51.4%74举例1：CPC出价下4个广告参竞ad3：PCTR1.0%à1.3%à绝对值高估30%，AUC不变àeCPM10à13，竞得展示机会à广告拿量能力变大，平台期望收入降低!"#$=&'(∗*"+,∗-...举例2：CPC（AD2&AD4）&CPM（AD1&AD3）广告混竞广告出价pCTReCPMRankAD1\1.0%131AD21.01.1%112AD3\1.2%93AD40.51.4%74AD2：PCTR1.1%à1.2%àAD1多扣费，平台收入增加PCTR1.1%à1.0%àAD1少扣费，平台收入折损2多种Bid类型多种物料多种预估模型广告/推荐混排 校准目标与问题拆解校准目标使用户行为的预估值尽可能逼近真实概率值，最小化MSE（排序水平不降，绝对值变好）相关工作•预估模型和校准方法结合•将先验信息，数据采样比例等导致绝对值偏差的因素引入模型中（或结合常用校准方法）•后处理方法（Post-processing）•预估模型和校准算法解耦（轻量级的后处理技术，如Binning，Scaling，Binning-scaling方法）1）计算绝对值准确的后验概率2）构建校准函数对预估值与绝对值进行映射关键问题（针对后处理校准方法）•校准维度选择问题：特征越相似的PV，模型预估效果（PCTR高/低估）越接近，校准系数计算越准确•数据稀疏问题：数据量越稀疏，后验统计误差越大，校准系数的计算准确度越低如何获得准确的后验概率？3 校准评价指标Predictedclickoverclick(PCOC)Calibration-N(Cal-N)GroupedCalibration-N(GC-N)4PCOC=average calibrated probabilityposterior probabilityCal-N=∑Ni=1error2iN, where errori=PCOCi−1PCOCi≥11PCOCi−1PCOCi<1GC-N=∑mj=1wjCal-Nj∑mj=1wjDistribution Approximation: Aggregate samples with similar calibrated probabilitiesDomain-specific: weighted average Cal-N of m campaignsSamplesCalibratedProbPosteriorProbPCOC100000.20.40.5（低估）100000.80.61.3（高估）Total(0.2+0.8)/2(0.4+0.6)/21.0（正常？）PCOC的局限性（举例）： 阿里妈妈校准校准算法演进5 SIR：保序回归平滑校准算法（SmoothedIsotonicRegression）《Calibrating user response predictions in online advertising》ECML-PKDD 2020!"=$%"+'%()!*%<"≤-%)1.分桶（Binning）：不同预估值大小区间为校准的维度2.保序回归（IsotonicRegression）：利用模型排序能力减小稀疏问题影响3.线性插值（LinearInterpolation）保证校准函数的平滑性6 SIR：保序回归平滑校准算法（SmoothedIsotonicRegression）“计划”创建后SIR算法的校准效果新建计划•初始阶段的投放效果强时效性计划•直播小计划（客户）•公平性•活跃度SIR算法在AB两个数据集上的实验对比（N为分桶数，GC-N表现）预估/校准冷启动问题数据已脱敏7 Bayes-SIR：贝叶斯平滑SIR校准算法朴素的贝叶斯平滑思想举例：!"#=!%&!'()!"#=!%&!'++,()++-先验信息8 Bayes-SIR：贝叶斯平滑SIR校准算法应用贝叶斯思想缓解数据稀疏带来的点击率统计不准确问题，结合SIR解决校准冷启动问题。概率图CTR服从参数为!,#的贝塔分布展示/点击服从参数为$%&的二项分布1）先验数据2）贝塔分布参数求解（矩估计/似然）3）观测数据（不置信）4）后验点击率贝叶斯平滑CTR估计9 RTW-BSIR：实时Bayes-SIR校准算法PCOC的波动问题会严重影响算法出价（oCPX，Auto-Bidding）的效率、稳定性以及客户侧表现。数据已脱敏10PCOC=1.0PCOC=1.5PCOC=0.61天之内的PCOC变化曲线（整天平均PCOC=1.0）1）加剧环境波动，影响算法策略的稳定性2）广告主成本（PPC）不可控，影响广告成效和赔付时序上的PCOC波动问题？ RTW-BSIR：实时Bayes-SIR校准算法这是一种典型的数据偏移（DatasetShift）问题，解法的核心思想在于：计算训练数据与应用数据的分布差异来修正校准函数（也可采用反事实推断思想进行无偏处理），实现无偏的校准。11 1）Binning方式单一缺乏灵活性2）排序能力上具备天花板3）无法自定义校准目标SIR系列校准算法小结SIRBinning，Scaling，IR思想结合引入贝叶斯平滑思想解决冷启动问题Bayes-SIRRTW-BSIR解决数据偏移问题带来的时序波动影响1）可解释2）轻量级3）快速可迭代4）收益显著12 MBCT：基于树结构的Boosting校准技术算法思想•树结构特性：白盒，可解释，可转化为“IF...THEN”规则•节点划分方法：自定义校准目标下启发式学习复杂的分箱规则（Binning）•Boosting设计：增强模型的表征能力和对稀疏数据的处理能力MultipleBoostingCalibrationTree节点分裂维度选择方法MBCT：基于树结构的Boosting校准技术13 后链路预估值校准（PCCEM）14后链路指标：曝光/点击之后的加购、收藏、转化、关注等指标。数据稀疏性：后链路指标相比点击更加稀疏，正样本极少（如CVR通常小于0.1%）延迟反馈：后链路指标的反馈延迟通常有数小时甚至数天需求多样性：后链路指标效果优化的重要性越来越强，优化指标的类别越来越多 后链路预估值校准（PCCEM）Post-ClickConversionEstimationModel(PCCEM)15 算法落地与工程实践广告系统模块结构简图AD SELECTIONPREDICTIONCALIBRATIONRANKINGPREDICTIONMODELTRAININGCALIBRATIONFUNCTIONLEARNINGAD SERVING SYSTEMUserUSER DBAD DBMODEL TRAINING (stream/batch)Ad request(with context)Ad result(with tracking)UserCandidate adsContextUserCandidate adsPredicted probabilitiesUserCandidate adsCalibrated probabilitiesPredictionmodelCalibration functionUser response(clicks,conversions)16 算法落地与工程实践SIR&PCCEM算法数据流程示意图17 总结与展望校准方法的应用场景1999PlattScaling2001HistogramBinning2002IsotonicRegression2011SmoothIsotonicRegression2015BayesianBinning2017TemperatureScaling2017BetaCalibration2018AttendedTemperatureScaling/SIR2019DirichletScaling/PCCEM/MBCT2020IndividualCalibration/Field-awareCalibration/Bayes-SIR/RTW-BSIR2021DeepModel&CalibCalibTheoryApplications气象预报医疗诊断计算广告自动驾驶可信机器学习工业应用（注：关键技术发展的不完全统计https://github.com/huangsg1/uncertainty-calibration）附召回定向策略等相关论文（不定期更新）：https://github.com/huangsg1/Internet-advertising-mechanism-and-strategy ThankYou!我们是阿里妈妈--展示广告算法团队，欢迎加入合作（siguang.hsg@alibaba-inc.com）！