推荐系统的实践与思考神策数据算法专家胡士文 标签 协同过滤 深度学习 深度学习目的之一：向量化 ”训练数据该用什么格式“”怎么调参呢“”多少训练数据量合适“”该用多“深”的模型“”数据该怎么采样“”需要GPU吗“”模型训练太慢了怎么办“实现一个深度学习模型的“百问”... 算法冷启动新内容新用户 新内容冷启动 基于深度学习的语义理解模型 军事游戏体育视频美食排序海量Item推荐结果排序列表召回规则财经这么多模型，怎么放到一个推荐系统里面 数据——所有算法的根基推荐算法模型数据+ 数据——我们需要哪些数据？用户行为物品信息用户画像外部数据 数据——用户行为数据举例训练模型验证效果A/B Test分析问题 数据一个完整的用于推荐系统的数据采集方案：事件设计用户打通：distinctid内容打通：视频+新闻的类别行为打通 曝光日志的常见字段 如何采集 SDK埋点的优势优势接入成本低容错性高•有成熟的埋点事件和埋点验证方案•SDK有埋点接口和文档指导客户埋点，无需关注上报问题（客户需要梳理埋点，易埋错、少埋、重复埋点）•直接将数据上报，无需通过层层数据传递•数据上报后实时更新模型（如走客户自身埋点和其客户端，数据出现问题，难以回溯埋点问题、传输问题，数据质量维护成本高） 从行为数据到训练数据构造正负例特征工程实时特征(效果)数据采样 从行为数据到训练数据构造正负例特征工程数据采样 构造正负例例 特征工程，以电商为例商品画像品类品牌商品状况价格性别热度点击率收藏比率咨询比率加购比率用户画像年龄性别注册时间品类偏好品牌偏好商品状况偏好价格偏好 踩坑分享如何解决问题？发现两方面的数据异常命中行为模型的用户少很多请求的id未出现在日志中小流量上线后，效果不符合预期 在线服务”如何具备高可扩展性“”如何实现不同场景不同时效性“”如何实现A／BTe s t“”监控和报警怎么做“”如何实现高维向量查询“... Facebook于2017年开源用于大规模的高维向量相似性搜索可支持十亿规模高维向量查询Faiss 模型服务群(Python)在线存储(RedisCluster)客户业务后端Nginx在线服务群(Python Tornado)httpthrift注: 模型服务群与在线存储rediscluster 亦使用Nginx进行负载均衡。在线服务系统部署示意图 综合feed推荐最近3天的文章，最近7天的视频历史频道推荐最近30天的文章，最近60天的视频相关文章推荐最近7天的文章相关视频推荐最近30天的视频不同场景不同时效性的支持 ü点击率（pCTR）ü点击人数比（uCTR）ü人均点击次数评估方法ü留存率ü转化率ü... 评估方法时效性多样性稳定性覆盖率 转化率漏斗 留存分析 如何迭代 数据采集数据处理数据传输数据建模01深入理解业务场景选择合适的算法方案02人力成本时间成本03数据获取和处理质量将算法跟业务结合模型学习、服务和迭代成本控制04模型设计模型训练模型迭代实时反馈线上服务实现一个“好用”的推荐方案，面临的挑战 数据算法结果丰富的算法建模经验实时数据反馈快速的模型迭代用户数据全端采集数据处理与建模标签体系和用户画像建立在线服务快速响应神策分析多维验证效果开放性私有部署神策推荐系统神策推荐系统核心优势——全流程、实时、可快速迭代的推荐闭环 推荐系统不止算法，而是一个系统工程数据先行，数据是一切算法的根基感谢！ 更多案例及场景分析神策分析产品试用神策数据，为客户实现数据驱动！THANKS