爱奇艺-梁建煌-爱奇艺大数据平台四化建设之路
讲师简介 “2012年硕士毕业于上海交通大学 2013年开始负责爱奇艺大数据服务体系的建设工作，从0到1搭建起爱奇艺大数据存储、计算、OLAP数据分析、机器学习以及多个自研大数据平台等整套大数据体系 梁建煌爱奇艺大数据总监 目录 •爱奇艺大数据现状和挑战•爱奇艺大数据平台建设实践•未来规划 Builddata-poweredproducts搜索、推荐、广告用户增长、收入预估 爱奇艺大数据体系 基础架构 •数据采集•存储•计算•数据分析引擎 数据平台 •数据开发•数据分析 数据服务 •数据仓库•数据指标 数据应用 •报表•运营•搜推广 规模化 混合云 分层存储 分级计算 爱奇艺大数据平台规模 如何应对规模化挑战？ 阶段1：分集群 爱奇艺混合云IaaS •7个大集群，各自独立，元数据割裂•数据依赖靠离线跨集群同步•数据冗余、等待时间长、使用不便 阶段2：跨AZ统一 •同城双活：两个大集群•存算分离•统一元数据、跨AZ统一调度 阶段3：私有云->混合云 •部分存储、计算弹性到公有云•跨AZ统一调度->多云调度（建设中） 分级计算 弹性计算 分级计算 混合云计算 潮汐计算 根据计算任务特性调度到独占、抢占、混部等不同的计算介质 白天低谷、凌晨高峰物理机，无法弹性 弹性伸缩多云统一调度 离在线混部：YARN+K8S，超分+全天候实时弹性，每年节省数千万元成本 OLAPonK8S：支持重要活动期间临时扩容 实时化 数据湖 高性能OLAP 缓存加速 适用场景 优缺点 小时级~天级延迟成本低PB级容量 报表核心指标 分钟级延迟性价比高PB级容量，可以存放较久数据 运营：广告、会员实时监控：直播大盘 分钟级延迟成本高TB级容量，只存放近期数据 Adhoc查询分析 秒级延迟成本高只存放最近几个小时数据 实时广告实时推荐实时热度 业务案例：广告算法链路加速 原通路： •存储冗余，成本高（独立集群）•扩展性差，查询服务瓶颈•运维复杂：Kudu+Impala•延迟高：Spark流任务 新通路： •流批一体，成本低（on HDFS）•支持更高的查询QPS•运维简单：仅查询引擎Trino•延迟低：FlinkSQL任务 效果： •时效性提升7.6倍：端到端延迟43分钟缩短到5分钟•广告增收数千万 体系化 数据总线流批一体统一入口数据治理 处理数据：流批一体 管数据：数据治理 资源评估 资产管理 制定资产定级方案，针对不同级别的数据设定相应的TTL、监控和保障机制，方便盘点数据，优化数据体系 根据数据资产等级和使用情况，对数据的存储资源和计算资源进行分析，优化资源利用率 生产保障 质量治理 依据数据资产的等级，对相关的生产进行保障和优化，确保数据输出的及时性和稳定性 根据资产等级设定不同级别的质量要求，通过检测和优化，不断提高数据质量，提高数据使用效果 数据监控 使用审计 记录分析数据的使用情况，帮助数据owner和管理者清晰的了解数据的收益，对数据误用、错用进行合理管控 数据问题的一种自动化检测机制，通过制定合理的监控策略，能够及时暴露数据异常 数据安全 权限管理 根据数据安全等级，对数据进行分级管理，避免敏感数据的泄露，提高数据安全性 对用户进行细粒度的权限管控 www.top100summit.com 智能化 DataforAIAIfordata Bigdata+AI •DataforAI：大数据是AI的原料，需打通BigdatatoAI流程•AIfordata：利用AI工具提升数据效率 Opal大数据机器学习平台 特征平台 支持特征一键注册、统一生产、质量校验打造特征生产引擎，速度提升10倍、内存消耗降低60%、CPU消耗降低54% 训练平台 基于TonY(TensorflowonYARN）开源框架 -计算框架：TF、Pytorch、Horovod等，支持分布式训练-计算资源：支持CPU/GPU、Docker-开发效率：JupyterLab、调参助手 模型管理 模型注册中心血缘关系：追溯模型线上A/B效果、特征数据质量关联 AIfordata：利用AI工具提升数据分析排障效率 PilotSQL引擎：上线AI诊断，辅助排查常见SQL错误 AIfordata：利用AI工具提升数据分析排障效率 Venus日志服务平台：提供【AI一键排障】功能，使用大模型辅助分析应用日志，降低日志排障门槛 未来规划 •进一步云原生化：提高资源弹性能力•数字化→数智化 References •a16z风投公司调查报告：Blueprints for data infrastructure•“四化”概念参考了：京东EB级全域大数据平台的演进与治理历程•爱奇艺数据湖实战•爱奇艺大数据离在线混部•爱奇艺大数据实时化建设与演进•爱奇艺大数据加速：从Hive到Spark SQL 微 信 官 方 公 众 号 ： 壹 佰 案 例关 注 查 看 更 多 年 度 实 践 案 例
