广告实验是如何“欺骗”你的 —— 如何发掘真正的实验效力

广告实验是如何“欺骗”你的--如何发掘真正的实验效应 段玮韬领英实验带头人领英 目录C本体 预算分割 01 Introduction 与行业趋势保持联系 赞助帖子广告 LinkedIn 营销解决方案帮助广告商接触到所需的受众 02 实验性挑战和误导性结果 数据在我们的 DNA 中 强大的实验文化 我们尝试 UI 更改 ， 相关性算法 ， 后端更改 ， 甚至错误修复。 计算的指标 先进的实验基础设施 我们拥有最先进的内部平台 ， 以满足不断增长的实验需求 1500+ 日常活动实验 40+ TB 度量和实验分配数据处理 市场实验 我们实验... 需求 - 广告商平台 匹配- 投标、调步和优化 供应 - 可用的广告插槽 LinkedIn Feed LinkedIn 受众网络 在线平台中的实验 在线平台中的实验 当实验上升到 100% 时 ， 我们经常观察到整体收入的提升要小得多。 A / B 结果作弊吗 ？ 市场实验中的蚕食偏差 假设一个使用了 100% 预算的广告活动● 实际收入影响不超过 0%●实验中测量的收入影响为 100 ％●在实践中 ， 偏差可以是230%治疗效果 蚕食偏差的指标 我们要求每个坡道都要经过一个●发射前增加分配的 “迭代实验 ”每个实验都是伯努利的集合●试验 ， 具有用户指定的成功 / 治疗概率 ，如果没有蚕食偏差 ， 估计●每次迭代中的效果应该相似 03 Marketplaces 中的典型实验设计 实验设计原则 治疗效果估计需要准确， 因为它们被纳入财务预测 低最小可检测效应(MDE) 实验者不应该进行数据分析以确定 建模误差比目标 MDE 大几个数量级 预算分割 温和假设下的不偏不倚 一些温和的假设 • 1) 有限干扰两个市场的结果互不干扰 2) 系统稳定• 尽管预算和目标受众减半 ， 但该活动的行为与原始活动相似。 预算分割 在温和的假设下 ，•无偏见; •高功率;•30x实验速度 经验绩效 -- 蚕食偏差 经验绩效 -- 权力 LinkedIn 的预算拆分实验 预算分割是人们普遍信任的估计治疗效果的方法•市场实验我们在其他市场扩展了预算分割实验 ， 例如•招聘市场 市场中的独特挑战要求进行创新实验•设计和分析 - 谢谢 -感谢您的观察 段玮韬领英实验带头人领英