随你所欲的AI匹配系统

随你所欲的AI匹配系统人工智能，点亮游戏未来2021/03/03小川/边渡–网易伏羲网易人工智能实践 背景挑战1匹配系统AI优化3后续计划24网易人工智能实践 背景挑战1网易人工智能实践 1背景DOTA2 寻找比赛& 匹配成功王者荣耀匹配成功逆水寒试剑天下匹配网易人工智能实践 1背景对战匹配是绝大部分游戏的核心玩法或机制成熟游戏的匹配机制也屡遭诟病中小型游戏开发对战匹配系统需要一定成本和技术门槛新对战玩法层出不穷，迭代频率高【2020.10.28 IOS畅销榜】*手游：I O S畅销榜T O P 1 0 0中除单机解密类游戏外的96款游戏带有对战匹配系统（包含开心消消乐、恋与制作人等）*端 游 ： 所 有 联 网 端 游 ， 匹 配 系 统 是 游 戏 标 配*90-95%的游戏包含对战匹配系统，4 6 %的游戏包含超过4人以上的复杂对抗玩法做深，做精很难，有一定起步门槛好游戏注重匹配效果vs 小游戏注重实现匹配功能网易人工智能实践 1背景“最近怎么一直输”“这匹配得好坑”“我也玩不太明白，但是没有奶妈打战场很吃亏”“这把关宁逆风翻盘”“这个匹配机制好像还挺好”“匹配每次都要等好久”网易人工智能实践 1挑战玩家群体●游 戏 设 计 时 的 目 标 群 体v s 上 线 后 真 正 的 目 标 群 体工程开发●稳 定 、 高 效 的 线 上 服 务网易人工智能实践 1挑战考虑因素等待时间网络延迟（ping）地理位置匹配等级、段位连胜/连败心理学因素比赛中的不稳定因素玩家社交玩家组队服务响应时间和稳定性恶意玩家玩家偏好网易人工智能实践 匹配系统2网易人工智能实践 1匹配系统●为十余款游戏数十个玩法场景提供匹配机制支持网易人工智能实践 1匹配系统竞品调研•同一个游戏，多个战场玩法，都需要进行开发，代码复用率低•不同游戏，存在类似的玩法，不能互相借鉴•新对战玩法层出不穷，战场改动多，迭代频率高存在问题网易人工智能实践 1匹配系统–整体架构深耕业务，将业务问题抽象化、框架化•主要模块：匹配池模块、粗排服务、精排服务、离线特征模块、离线模型训练模块、模型管理模块•线上服务流程：玩家报名->匹配池->粗排服务->精排服务->返回。•离线训练流程：战场结算日志->特征处理->模型训练->模型管理->模型部署网易人工智能实践 1匹配系统–框架特性AI平衡策略多样化平衡策略，精准能力评估15%+平衡性提升全场景玩法适配竞技排位、攻防对抗、资源竞争、不对称竞技、生存竞技全面覆盖敏捷接入功能版接入一天以内智能版接入一周以内可控AI匹配策略自定义匹配策略添加自定义匹配目标设定专业AI分析工具平衡性分析仪表盘、玩家能力看板职业搭配策略看板网易人工智能实践 1匹配系统–敏捷接入◆数据规范⚫设计战场匹配接入标准表，分玩家信息表、战场结算表◆接口规范⚫使用网关，统一接口地址，通过参数中匹配名称区分不同战场服务⚫接口参数规范，统一各个接口参数，使用RESTful API规范◆对战流程打通⚫支持独立使用匹配模块⚫支持匹配池，将匹配流程完整打通◆产品文档⚫编写产品文档，包含接入流程、开发指南、API接口等网关配置产品文档网易人工智能实践 1匹配系统–全场景适配◆业务抽象⚫所有游戏战场匹配，本质是对一群玩家进行划分⚫阵营：1个阵营以上（至少），抽象为不确定阵营数可覆盖所有场景⚫阵营人数：阵营真人玩家数最少为0（可全为机器人），抽象为不确定人数可覆盖所有场景⚫战场模式：是否可动态补人多阵营对抗生存竞技资源竞争社交组队网易人工智能实践 1匹配系统–可控AI匹配策略◆规则抽象⚫每个匹配一个JSON规则文件⚫玩家属性（playerAttributes）：在匹配过程中需要用的玩家属性，需传递⚫阵营配置（teams）：一个完整匹配阵营的配置，阵营数，每个阵营的玩家数等⚫匹配规则（rules）：组成一场比赛的限制规则，主要包含差值规则、比较规则⚫扩展规则（expansions）：扩展规则，可以按等待时间调整匹配规则限制◆配置灵活丰富⚫支持自定义数值、字符串类型的属性并对其配置规则⚫可通过控制台或者API进行规则配置JSON结构vesionplayerAttributesnametypedefaultTeamsnamemaxPlayersminPlayersnumberrulesnamedescriptiontype...expansionstargetsteps网易人工智能实践 1匹配系统–可控AI匹配策略网易人工智能实践 1匹配系统–可控AI匹配策略网易人工智能实践 1匹配系统–可控AI匹配策略网易人工智能实践 1匹配系统–可控AI匹配策略网易人工智能实践 1匹配系统–AI平衡策略◆玩家画像⚫开发战场玩家近期、中期、长期画像，包括玩家属性画像、历史战场画像，全方位刻画一个玩家的能力⚫三种玩家特征处理方式：基于玩家能力分、基于职业玩家统计值、基于职业内玩家能力分◆算法模型⚫基于玩家画像开发胜率模型、分差模型⚫模型主要包含LR、XGBOOST、LGB、MLP、图算法、强化学习等⚫线上模型在线学习和迭代，对数据漂移、游戏版本更新等变化保持自身的鲁棒性每一次对战棋逢对手，愿英雄相惜网易人工智能实践 1匹配系统–专业AI分析工具◆指标设计⚫基础指标：活跃度、战场关键指标、属性分布指标等⚫健康性指标：胜率、职业或英雄均衡性、组队、等待时间、中途退出、对局时间等⚫对战结果指标：击杀、死亡、助攻、治疗、对战结果、当前某些属性值以及一些游戏方埋点数据实时赛况赛果查询核心指标监控大盘指标概览网易人工智能实践 AI优化3网易人工智能实践 1AI优化–基础算法基于能力评估的算法-ELOE퐴=11+10(RB−RA)/400푅퐴′=푅퐴+퐾(푆퐴−퐸퐴)ELO问题：•游戏越来越复杂，单维度的能力值不能很好的表示玩家能力•用于1V1模式，NvN时如何拓展？多人组队时，如何表示能力值？基于特征的算法网易人工智能实践 1AI优化–匹配基本流程匹配池智能匹配服务游戏对战服务器战场数据日志智能分析看板玩家画像数据库数据处理发起匹配玩家匹配池轮询匹配结果返回网易人工智能实践 在线匹配1AI优化–数据处理结构Hive日志实时日志数据处理数据处理训练数据集玩家历史画像玩家实时画像模型训练模型评估模型部署AB分流在线匹配特征处理模型训练玩家画像푝1푝2푝푛...푝푛+1푝푛+2푝2푛...푇1푇21/0网易人工智能实践 1AI优化–匹配中的用户画像基础画像•与战场相关玩家属性值•玩家充值、vip等级统计画像：•各个英雄熟练程度•过去两周比赛平均击杀、助攻等关系画像：•玩家之间的组队、好友、交易等社交关系•英雄之前的协同、克制关系（MOBA）玩家画像：푈∈{푈푠푦푛,푈푠푢푝푝푟,푈푓푡푟}푢푝푖푐푘=෍ℎ=1퐻푝ℎ푝푖푐푘.푒ℎ푢푤푖푛=෍ℎ=1퐻푝ℎ푤푖푛.푒ℎ푢=퐶표푛푐푎푡(푢푝푖푐푘,푢푤푖푛)푤푎,푏푠푦푛=푓푎,푏푤푖푛−푓푎,푏푙표푠푒푤푎,푏푠푢푝푝푟=푓(푎푑푒푓푒푎푡푏)网易人工智能实践 1AI优化–匹配中的胜率预测所有的分类模型都可以做胜率预测KDD2020：OptMatch: Optimized Matchmaking via Modeling the High-Order Interactions on the Arena푥=[푢1,...,푢푘]퐴푡푡푒푛푡푖표푛푄,퐾,푉=푠표푓푡푚푎푥푄퐾푇푑퐾푉ℎ푒푎푑푖=퐴푡푡푒푛푡푖표푛(푥푊푖푄,푥푊푖퐾,푥푊푖푉)푀푢푙푡푖퐻푒푎푑푄,퐾,푉=퐶표푛푐푎푡(ℎ푒푎푑1,...,ℎ푒푎푑ℎ)푊표푇=푅푒푙푢(푊∙푀푢푙푡푖퐻푒푎푑푄,퐾,푉+푏)표푟푒푙푎=푡푎푛ℎ(푊푇∙푇1−푇2+푏)푦=푠푖푔푚표푖푑(푊푠푦푛∙표푟푒푙푎푠푦푛+푊푠푢푝푝푟∙표푟푒푙푎푠푢푝푝푟+푊푓푡푟∙표푟푒푙푎푓푡푟)Team2VecTeam ComparisonOutputOptmatch-Net网易人工智能实践 1AI优化–强化学习组合优化匹配期望：•一个高效、智能、通用的端到端优化模型•可优化多种非线性目标：胜率、流失、付费等•可进行多目标同时优化匹配决策Agent待匹配玩家比赛状态更新Agent待匹配玩家比赛匹配决策状态更新. . . 指标指标网易人工智能实践 1AI优化–强化学习组合优化匹配s0stst+1st+2s푡+3s푡+4s푡+5sN......푇1푇2一个匹配决策퐵푎푙푎푛푐푒푇1,푇2=−푊푖푛푅푎푡푒푇1,푇2−0.5푟푠푡−1,푎푡−1=ቊ퐵푎푙푎푛푐푒푖푓푡=2퐾,4퐾,..0표푡ℎ푒푟푤푖푠푒푟t푟t+1푟t+2푟t+3푟t+4푟t+5푅푡=1퐻෍푖=푡푇푟푖State space: (푃푡,푇1푡,푇2푡)该请求完成H场匹配决策transition: 푠푡+푡=(푃푡\{푝},푇1푡∪푝,푇2푡)or푠푡+푡=(푃푡\{푝},푇1푡,푇2푡∪푝)푎t푎t+1푎t+2푎t+3푎t+4푎t+5一个匹配请求Action space: 푎푡∈푃푡网易人工智能实践 AI优化–强化学习组合优化匹配Agent푝1푝2푝3푝4푝5푝1푝3푝2푝5Agent푝4푝6푝7푝4푝7. . .Agent푝1푝2푝3푝4푝5푝1푝3Agent푝2푝4푝5푝6푝7푝2푝7푝5푝6. . .Time网易人工智能实践 1AI优化–强化学习组合优化匹配s0stst+1st+2s푡+3s푡+4s푡+5s푚N......푇1푇2푟t푟t+1푟t+2푟t+3푟t+4푟t+5State space: (푃푡,푇1푡,푇2푡)Action space: 푎푡∈(푃푡,푎푝푎푠푠)transition: 푠푡+푡=൝(푃푡\{푝},푇1푡,푇2푡∪푝)(푃푡\{푝},푇2푡,푇1푡∪푝)푖푓푎푡∈푃푡푠푡+푡=(푃푡푛푒푤,푇10,푇20)푖푓푎푡∈푎푝푎푠푠푎t푎t+1푎t+2푎t+3푎t+4푎t+5푎pass一个匹配请求，可看做一大步轮空玩家+新加入匹配的玩家构成新的状态一段时间/一定量请求数全局优化一段时间匹配请求网易人工智能实践 1AI优化–强化学习组合优化匹配s0stst+1st+2s푡+3s푡+4s푡+5s푚N......푇1푇2푟t푟t+1푟t+2푟t+3푟t+4푟t+5푎t푎t+1푎t+2푎t+3푎t+4푎t+5푎pass푟푠푡−1,푎푡−1푏푎푙=1퐻෍푖=1퐻퐵푎푙푎푛푐푒푇1,푇2푖푓a푡−1=푎푝푎푠푠0표푡ℎ푒푟푤푖푠푒퐵푎푙푎푛푐푒푇1,푇2=−푊푖푛푅푎푡푒푇1,푇2−0.5푟푠푡−1,푎푡−1푤푎푖푡=−1푀෍푖=1푀푊푎푖푡푇푖푚푒푖푖푓a푡−1=푎푝푎푠푠0표푡ℎ푒푟푤푖푠푒푅푡=෍푖=푡푚푇(푊푤푎푖푡푟푖,푤푎푖푡+푊푏푎푙푟푖,푏푎푙)一个匹配请求，可看做一大步轮空玩家+新加入匹配的玩家构成新的状态一段时间/一定量请求数全局优化一段时间匹配请求前一个轮空动作在푡=푖−1푠푖到푠푡表示一个请求这个请求中完成H场匹配决策这个请求中共M个玩家轮空网易人工智能实践 后续计划4网易人工智能实践 后续计划•灵活多样配置规则•提高配置下搜索效率丰富配置规则•PVE•大逃杀•异步对战•中途补人扩展应用场景•留存•社交•充值增加优化目标•能力分•实时胜率预测•实时战报完善能力矩阵网易人工智能实践 THANKYOU人工智能，点亮游戏未来网易人工智能实践