2021年移动广告反欺诈白皮书

2021年移动广告反欺诈白皮书 2021年移动广告请求阶段异常流量占比为27%，反欺诈形式依然严峻主要观点130%9%17%26%34%43%1月2月3月4月5月6月7月8月9月10月11月12月2020202121%18%38%23%41%信息流开屏插屏激励贴片2021年移动广告请求阶段的异常流量占比为27%，较2020年略微减低。2021年的异常流量占比并未延续2020年9月开始的下降趋势，而是从3 月开始上涨，6月达到顶峰，后一直保持在30% 左右，整体反欺诈形式依旧严峻。上半年异常流量上升可能与广告主投放需求增加及公安部“净网2020”威慑力逐渐减弱有关。来源：腾讯安全天御广告反欺诈系统，每年验证超过1万亿广告请求从广告类型来看，插屏和贴片异常流量占比明显比其他广告类型高。插屏异常流量高主要原因是出现大量严重超出用户正常合理频次的流量；而贴片较其他广告类型有更大比例流量来自1）高危设备的流量和2）数据中心且不具备明确用户特征的流量。来源：腾讯安全天御广告反欺诈系统，每年验证超过1万亿广告请求异常流量占比(按月）异常流量占比（按广告类型） 预计广告主因移动广告欺诈损失约220 亿人民币主要观点3各大广告平台反欺诈团队和第三方广告反欺诈系统的使用极大程度上保护了广告主的利益，阻止（过滤）了大量欺诈流量进入计费环节。由于广告上下游交易环节与KPI 错综复杂，一定比例异常流量依旧会进入曝光和点击环节，给广告主带来损失。腾讯防水墙预测2021 年广告主因移动广告欺诈造成的损失约为220 亿元，较去年增加22%。根据eMarketer 的预测，2021中国广告主在移动广告上的花费将达到1093亿美元，较2020 年增长23%。中国移动广告市场依旧是庞大且高速增长的市场，对于黑灰产来说也是有利可图的市场。来源：eMarketer来源：根据移动广告规模，结合腾讯安全天御广告反欺诈的异常流量占比及内部买量等数据进行预测和估算0%175%350%525%700%0.0300.0600.0900.01200.020112012201320142015201620172018201920202021移动广告市场规模（亿美元）移动广告市场规模增⻓率（%）2001802202019202020212中国移动广告市场规模（亿美元）广告主因移动广告欺诈导致的损失（亿元） 目前国内缺乏对作弊媒体整体的打击体系，如果一个媒体在投放平台A 出现作弊行为，被A平台惩罚，媒体可以将流量切给B 平台，或者C 平台，继续作弊，直到找到那个“最宽容”的广告投放平台。即使被所有平台封禁，还可以换个壳继续卖低质量（作弊）广告流量。欺诈流量的识别和防御变得更困难主要观点35作为常规数据载体的IMEI和IDFA 获取越来越困难，基于IMEI 和IDFA 规则的反欺诈覆盖率将随之下降，以IMEI和IDFA为key的属性数据也将失去意义，给欺诈流量的识别带来困难。缺乏整体惩治体系，一些有作弊行为的媒体很难受到惩罚4媒体使用聚合SDK 会将一个用户的广告请求切成多份，并交互到各个广告平台，每个广告平台只能获取到部分不连续的请求行为数据，由于数据不完整，一些明显的行为异常可能都会被掩盖掉，导致异常流量的识别更加困难。 广告黑灰产业链概述 7广告黑灰产业链概述销售获利假量生成资源准备媒体方广告主自媒体作者竞争对手其他搜索引擎电商平台短视频平台社交平台私域XXX营销公司XXX广告公司XXX网络科技公司⋯机器作弊流量/人肉作弊流量脚本手机模拟器群控众包< >/IPVPN广告ID (IDFA, OAID, IMEI等)帐号“刷手”下沉市场“有闲“的人们代理IP动态VPS设备生成器已有设备库利用接码平台批量注册养号平台购买/租用相较于正常用户流量，广告黑灰产能够获利的本质就是绕过各种资源限制，低成本批量制造假量，并形成稳定的销售渠道（客户）。经过多年的发展，广告黑灰产已经形成了一个上下游分工明确、配合密切的产业链。腾讯防水墙根据多年和广告黑灰产对抗的经验，将广告黑灰产产业链分为：资源准备->假量生成->销售获利三个环节，下面是黑灰产产业链结构图的流程示意：图：黑灰产产业链结构图来源：腾讯防水墙 18资源准备IP 地址、广告ID（IDFA,OAID,IMEI等）是一个正常的移动广告请求的的必备要素。如果需要伪造下载等后链路数据，还需要大量的账号资源支持。因此IP地址、广告ID和账号是广告作弊的核心资源。IP 地址IP地址是网络接入的载体，是有限资源，且每个IP都有较容易获取的公共属性数据，不易被伪造，因此黑灰产通过VPN、代理及VPS混拨等方式隐藏真实访问IP，通过不停切换IP出口制造全国用户访问的假象。·VPN代理：用户通过VPN去访问其他网站，可实现跨城市的IP网段切换。这种方法较容易被防御。·代理IP：用户通过代理IP访问其他网站，可以掩盖流量的真实来源。代理IP可切换的资源较VPN更多，但也容易被发现和防御，维护成本高。·VPS混拨：远程在VPS云服务器上架设多根网线，软件实现多线混拨，远程控制VPS服务器拨号。VPS混播IP池资源丰富，可以实现跨城市切换，而且速度快、稳定性好，是目前黑灰产团伙使用的主流IP切换模式。广告ID 目前被广泛使用的是IDFA、OAID和IMEI。黑灰产主要通过设备号生成器或者购买广告ID库来批量获得广告ID。通过设备号生成器生成ID较容易被识别，但从广告ID库获取的ID需要结合后续表现才能被识别。账号账号是广告后链路作弊必不可少的资源。黑灰产团伙主要通过批量注册或从养号平台购买的方式来获取账号。批量注册离不开提供电话号码和手机验证码的平台—接码平台。一台电脑加上一个能够插入大量手机卡的猫池，即可组成一个简易的接码平台。平台使用者只需要调用对应的API接口就可以完成手机号和验证码的自动获取。接码的单价一度维持在0.1元*左右，但是随着国家“断卡”行动的执行，多个卡商和接码平台被查处，目前接码单价已经涨到0.2元*左右。黑灰产也会直接通过购买/租用养号平台的社交账号来制造广告后链路数据，不过成本更高。养号平台的账号通常会直接用于网络诈骗，部分账号也会用在收益高的效果广告作弊中。养号平台的账号大多通过盗号、批量注册、低价收购等方式获得。养号平台同时还提供账号的批量解绑、换绑、找回密码、解冻等服务。2020年被查封的特大养号平台——果平台就是一个典型的例子，该平台拥有2亿多的社交账号。*来源：公开资料整理 2假量生成脚本刷量黑灰产通过设计一个机器脚本来模拟人的浏览、点击等行为，再借助IP 和广告ID 等资源即可伪造一条广告流量。脚本刷量成本最低，但相对也容易被识别。爬虫本质上也是一种脚本，通过模拟人的行为去浏览页面，并将里面的内容记录下来，一些爬虫行为会被统计为有效曝光，损害广告主的利益。群控（设备农场）刷量群控可以用一台电脑控制上百部手机，实现上百部手机同时同步操作。群控可批量浏览、点击广告从而达到刷量的效果。群控也可被用在点赞、关注、薅羊毛等场景。模拟器刷量模拟器是能在电脑上模拟整个手机行为的一个软件。黑灰产会通过多开多个手机模拟器，然后通过电脑操作多个手机进行刷曝光、点击、点赞等来获利。众包刷量流量需求方将需求打包成各个微小的任务下发到个人去完成而产生流量。由于众包刷量都是真人刷出来的，成本最高，众包下发的任务必须是可执行和验证（截图）的，所以通常会用在APP注册、伪造转化数据等效果广告作弊上。3假量获利国内广告主普遍压力较大，品牌广告主希望采购单价越来越便宜和品效合一，效果广告主则希望ROI越来越高。出于行业竞争、个人业绩压力等因素，加之广告上下游交易环节与KPI错综复杂，从广告主原始需求传导到中下游时，动作已变形，一些假量就以各种名义被“采买”进来。这是假量获利的主要途径之一。一些自媒体创作者为了让自己发布的内容进入榜单，或者获取更高额的内容平台（新闻、视频等）费用，采购刷量服务将自己的内容的播放量、点赞量刷高。这也是假量获利的另一主要途径。 广告欺诈案例介绍 11广告欺诈案例介绍某捉宠物游戏APP想出了一个可提现的拉新方案：1）现有用户可将邀请注册链接分享给好友，好友注册成功后即可成为该邀请人的下级。2）下级观看广告视频后，上级可分得佣金，上级的佣金可直接提现。3）单日佣金有上限，每个下级单日最多能让上级获利XX元。因为可以直接提现，这个APP很快被黑产盯上。黑产团伙1）首先注册了十余个可提现的账号，2）利用提现账号生成大量注册邀请链接。然后3）批量注册了大量的社交账号（小号），小号通过邀请链接成为提现账号的下级。最后4）再通过脚本+群控的方式，控制数千个小号观看、点击广告视频等赚取看广告佣金，这样提现账号就有源源不断的下线佣金进来。该捉宠物游戏APP被黑产团伙恶意提现数十万元，广告主损失惨重。拉新是假提现才真1从防水墙发现的广告欺诈案例来看，虚假流量的产生原因很多，利益链也较复杂。以下列举了2021年发生的一些案例，便于读者对广告欺诈有个整体的认识。*来源：腾讯监测发现 12广告欺诈案例介绍某游戏在买量过程中发现来源于A媒体的流量，点击率、下载率都很正常，但是用户次日活跃、三日活跃和付费转化率数据很差。防水墙深入挖掘后发现A媒体的转化流量可能掺杂了大量B刷量公司的假流量，防水墙情报团队接触了B公司，并“购买”了B公司的众包下载量，购买的下载量在后续行为甚至IP段都和A媒体的异常流量高度一致。购买一个B公司带凭证的众包注册需要约4元*，但游戏公司支付给A媒体的一个注册用户的平均成本在100元*以上，广告主损失的是刷量成本数十倍的真金白银。真注册假流量广告费用打水飘2*来源：腾讯监测发现雇佣 广告反欺诈方法介绍 基于规则的反欺诈方案通常简单有效，可以识别出大量的一般无效流量（GIVT）。利用行业经验和大数据分析，通过黑名单和统计分析进行人机识别和爬虫识别等，比如通过规律请求和黑名单，可识别出部分群控设备。基于规则的反作弊方案的缺点是需要大量的基础数据，比如代理IP、IDC IP、设备黑名单、设备行为等。另外规则不宜设置过多和过于复杂，否则容易导致规则之间冲突和事后归因困难。基于规则的反欺诈方案 基于机器学习和AI的反欺诈方案是通过机器学习和AI模型来判断广告欺诈的一种方法。模型需要多维度的输入及大量的正负样本训练模型，当模型的准确率和召回率达到一定平衡的时候，就可以将该模型部署在反欺诈系统中对于广告请求进行识别。基于机器学习和AI的反欺诈方案能够识别复杂、难发现的复杂无效流量（SIVT），缺点是可解释性较差，对正负样本的质量和数量要求很高。如果在请求阶段使用该方法，则需要考虑时延的问题，请求阶段的反作弊通常时延要控制在10ms以内。基于机器学习和AI的反欺诈方案 图在数学中用G=(V,E)表示，其中V表示节点的集合，E表示边的集合。图算法在图的基础上刻画节点与边的各种特征，较其他算法更容易挖掘出孤立性和聚集性。在反作弊场景中，可以将IP、设备号、设备品牌、设备型号、useragent等作为节点，他们之前的关系作为边先建立一个图库，然后再采用Graph Embedding聚类的方式通过种子广告请求对恶意请求进行召回。随着个人信息保护法的健全，设备指纹信息逐步离散化，传统的广告反欺诈方法和模型会更加困难，而通过图可以将个体的多种二部关系整合，并进一步扩散出更多有价值的线索，提供高效可达的鉴别效果。基于图算法的反欺诈方案 中国广告反欺诈和国外的差异 18中国广告反欺诈和国外的差异腾讯安全发现中国的广告反欺诈和国外有比较大的差异，主要体现在三个方面：广告市场、行业标准和发展成熟度。中国广告反欺诈和国外的差异市场的差异首先，中国数字媒体以移动广告为主，而国外PC端流量还占据不可忽视的份额。国内反欺诈方案多是基于移动广告新建的SaaS方案，国外反欺诈方案更多是从PC反欺诈方案延续过来的，还有很多基于JavaScript的方案。0%25%50%75%100%20112012201320142015201620172018201920202021中国