数据生产力最新实践

网易郭忆2021.10.21数据生产力最新实践网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 目录DataOps逻辑数据湖智能调度和运维有数BI性能提升安全加固网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 DataOps网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 网易数字+大会为什么要去做DataOps数据开发修改了一个上游任务A，影响了一个下游任务B，而B任务的产出表是一张资损的表，导致业务直接产生资损200W数据开发任务，没有设计完整的测试用例，甚至没有对数据进行测试，导致任务上线后引入线上BUG，第二天下游报表数据错误！开发和生产环境基础设施隔离，无法使用真实数据进行仿真验证，导致测试结果失真，BUG未能测试出，数据出错。数据研发迭代周期时间长，无法满足业务高频交付的需求交付时间周期长，交付质量差！网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 网易数字+大会DataOps核心诉求发布流水线自动化测试发布影响分析数据沙箱网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 网易数字+大会DataOps核心技术任务开发发布包Code Review数据测试影响分析生产发布配置检查•版本管理•模型和任务打包•CheckList•SQL Scan•数据比对•数据探查•影响标签•影响报表•影响API•参数配置•依赖配置发布流水线人工审核•自定义审批策略网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 网易数字+大会发布包生成网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 网易数字+大会SQLScanSQL 静态扫描•跨层依赖：dws/ads/dm直接读取ods层表•全表扫，不带分区•使用固定分区•对明细表lateral view explode•关联Key应该至少是一个表的唯一键，避免笛卡尔积•避免使用distinct，使用group by 改写•避免出现多个full join，full join可以用union all优化•注意关联Key在关联各表内的分布情况，典型的情况是空值或者0值，避免数据倾斜自定义规则扩展......•未使用压缩•禁止select *•临时表任务结束未删除网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 网易数字+大会数据形态探查•枚举字段分布范围•主键是否唯一•字段空值比例•字段最大/小长度•字段最大/小值网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 网易数字+大会数据比对•迁移前、迁移后，数据是否一致•任务修改前，修改后，数据是否一致网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 网易数字+大会影响分析网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 网易数字+大会审核发布•根据任务影响的下游标签，控制审批策略•圈选核心任务，控制审批策略•提交人可以看到更改任务影响的下游标签•圈选核心任务，强制进行数据测试网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 网易数字+大会数据沙箱开发平台调度集群YarnYarn_DevHDFS_DevHDFSMetaStore开发模式生产模式网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 网易数字+大会应用成果敏捷交付周期提升1倍质量线上问题数量下降90%网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 逻辑数据湖网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 网易数字+大会上万个基于Oracle的存储过程，全部迁移到Hive 成本太高数据量本身并不大，基于Oracle 运行稳定，没有迁移的需要平台分裂，缺少统一的管控、协调原有系统，缺少数据管理的能力，也需要纳入中台管理为什么要做逻辑数据湖？网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 网易数字+大会逻辑数据湖目标整合基础设施统一数据管理可扩展架构网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 网易数字+大会逻辑数据湖架构统一数据标准制订统一元数据采集统一数据开发统一查询分析统一数据治理HadoopMPPKVRDBMSHTAP统一数据源登记网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 网易数字+大会逻辑入湖•明确数据源Owner•分配数据源账号•申请数据源权限•管理元数据采集范围•采集任务的监控网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 网易数字+大会数据开发网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 网易数字+大会数据发现网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 网易数字+大会自助分析网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 网易数字+大会数据质量网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 网易数字+大会VerticaCDH1CDH2Hadoop流程协作中心元数据中心数据集成中心数据开发中心数据测试中心任务运维中心指标系统模型设计中心数据质量中心数据资产中心数据地图数据安全中心数据服务浙江电信网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 智能调度和运维网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 网易数字+大会运维面临的挑战几十万任务，任务数量大任务上下游依赖关系复杂，最多的20+层起夜率高，团队不稳定任务诊断困难，依赖人工经验网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 网易数字+大会基线预警基线：基于任务的产出时间和任务的优先级构建优势能力：•基线预警•资源排队+任务血缘•精度可以做到10min内•基线诊断•关键路径网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 网易数字+大会值班组•值班组排班机制•主呼与被呼•报警升级网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 网易数字+大会任务智能诊断•沉淀异常诊断300+•异常覆盖率80%•正向反馈50%网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会 网易数字+大会任务智能诊断凌晨00：30值班人员收到基线预警，6:30基线预计破线！凌晨00：45值班人员上线，系统对任务进行自动诊断，发现队列阻塞导致任务延迟，停止非核心任务，加大队列资源凌晨01：216:30 基线预警消失，任务已追上！一次事故被扼杀在摇篮中......构建6条基线精细化运维，首次实现大促零延迟，基线平均完成率达到96.14%！网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易数字+大会网易