共识之下：网易大数据生产力的落地之路
共识之下：网易大数据生产力的落地之路网易大数据章泽文 Agenda•网易有数五大能力特色实践•有数学堂：数据生产力的软着陆之路•一条开发明线与一条数据治理暗线•未来之路 数智化的核心是打造数据生产力数据生产力数据中台数据产品业务系统原始数据（低质量）加工数据（高质量）业务决策提供高质量、高效率、低成本的数据数据中台基于数据中台提供的数据，持续监控业务异常，分析诊断，产生决策建议，应用于业务系统数据产品 网易有数数据生产力产品体系流程协作中心元数据中心数据集成中心数据开发中心数据测试中心任务运维中心指标系统模型设计中心数据质量中心数据资产中心数据地图数据文化分享中心中国式报表自助取数数据门户标签工厂数据安全中心Hadoop算法开发平台CDP（智能营销）BIMPP（Greenplum、Clickhouse）HTAP(TiDB，TBase)KV&MQRDBMS（MySQL、Oracle）数据服务决策引擎计算&存储数据研发数据中台数据应用 开发主线与数据治理支线指标系统数据传输模型设计中心离线开发数据服务数据传输有数BI自助分析数据测试中心数据测试中心数据测试中心数据标准中心开发主线全局辅件需求阶段准备阶段设计阶段开发阶段交付阶段元数据&数据地图数据资产中心流程协作与通知中心安全中心任务运维 Agenda•有数学堂：数据生产力的软着陆之路•一条开发明线与一条数据治理暗线•未来之路•网易有数五大能力特色实践 统一指标管理01 规范逻辑数据湖数据沙箱数据资产360基线智能预警02 生态03 效能05 成本04 稳定 统一指标管理：初步构建共识 为什么指标口径难以管理？指标口径缺少统一管理统一管理带来的效率和管理成本数据应用没有使用指标系统的口径查找指标口径、数据来源、计算逻辑很困难 黑马先行：收口业务指标口径•指标多版本管理•指标引用关系分析•数据产品通过API引用指标系统指标口径•维护指标和数据应用的关系•自定义指标模板•面向不同的人群展示不同的指标内容•指标权限管理 白马争先：同步指标域&业务数据资产沉淀•结果表字段与指标关联：消解指标二义性•同步数仓域：借助数据团队成果 指标系统应用效果•考拉从824个指标缩减到423个指标•覆盖13个数据产品•华夏理财、德邦物流等落地 逻辑数据湖：让数据中台与底层计算存储解耦 上万个基于Oracle的存储过程，全部迁移到Hive 成本太高为什么要做逻辑数据湖？数据量本身并不大，基于Oracle 运行稳定，没有迁移的需要平台分裂，缺少统一的管控、协调原有系统，缺少数据管理的能力，也需要纳入中台管理 数据中台：基于逻辑数据湖构建统一平台统一元数据统一数据源统一数据开发统一查询分析统一数据治理HadoopMPPKVRDBMSHTAP统一算、管、用 数据逻辑入湖登记数据源确定数据源Owner注册元数据分配账号，建立映射申请数据源权限数据集成数据探查数据建模数据开发数据稽核任务运维数据服务数据资产数据地图指标系统数据安全统一元数据服务逻辑入湖物理入湖按需使用 逻辑数据湖核心技术——数据血缘任务提交上线解析SQL获取输入和输出表用户可以自行调整任务实际执行调度系统获取血缘注入元数据中心血缘生命周期 逻辑数据湖 浙江电信方案VerticaCDH1CDH2Hadoop流程协作中心元数据中心数据集成中心数据开发中心数据测试中心任务运维中心指标系统模型设计中心数据质量中心数据资产中心数据地图数据安全中心数据服务 数据沙箱：数据和代码解耦 数据沙箱的•客户希望有开发环境，预发布环境和生产环境三套物理完全隔离的环境。•开发环境提供给开发人员（部分外包）完成日常代码开发，预发布环境，提供给运维人员进行上线前验证，生产环境使用生产账号运行。数据研发平台（开发）Hadoop任务包括调度导出数据研发平台（预发布）Hadoop数据研发平台（生产）Hadoop任务包括调度导出 数据沙箱离线开发平台（开发）离线开发平台（生产）开发模式生产模式开发模式生产模式开发环境联调环境预发布环境生产环境 数据沙箱中台产品（4台虚拟机）离线开发平台（2台物理机）流程协作中心线上模式开发模式线上集群（13台物理机）预发集群（6台物理机）Hive Metastore其他底层组件需要混部在物理机中中台产品（2台虚拟机）离线开发平台（1台物理机）流程协作中心线上模式开发模式测试集群（3台物理机）Hive Metastore其他底层组件需要混部在物理机中读写读读写读写读写任务发布生产中台测试中台 •代码根据运行环境自动适配•对用户来说完全透明，不必改代码数据沙箱 基线智能预警：不要温柔地走进那良夜 基于基线的智能运维体系几十万任务，任务数量大任务上下游依赖关系复杂，最多的20+层起夜率高，团队不稳定任务诊断困难，依赖人工经验 基线运维基线：基于任务的产出时间和任务的优先级构建优势能力：•基线预警•资源排队+任务血缘•精度可以做到10min内•基线诊断•关键路径 凌晨00：30值班人员收到基线预警，6:30基线预计破线！凌晨00：45值班人员上线，系统对任务进行自动诊断，发现队列阻塞导致任务延迟，停止非核心任务，加大队列资源凌晨01：216:30 基线预警消失，任务已追上！一次事故被扼杀在摇篮中......基线运维构建6条基线精细化运维，首次实现大促零延迟，基线平均完成率达到96.14%！ 全局血缘•快速感知任务血缘关系，在极短时间内定位问题所在 加速器、冻结池•在不同场景下决定是踩下一脚油门还是一脚刹车 数据资产360：公司的一本帐 为什么成本增长这么快？数据只管上线，不管下线低频冷数据占用了大量存储空间数据存储没有有效的治理（生命周期、压缩）计算任务未调优 治理的方案治理的价值运动式治理如何“常治久安”如何量化治得好做什么&怎么做先做哪个后做哪个价值如何让业务方看得见如何找到治理“抓手”为什么需要资产360 将数据成本精算到数据应用级别成本分数据安全等级、数据权限治理安全分覆盖多少稽核规则，有多少强规则、弱规则质量分价值分资产分基于内部对指标、模型的规范化定义标准分评估每个数据模型、数据报告、API的价值数据资产360 数据资产360•资产一览无余，存储&计算主题条分缕析公司的成本去向 资产管控抓手：运动化治理•资产治理红黑榜：没治理的别想跑！ 网易成本治理的效果•严选节约200W+，云音乐节约500W+ 数据安全：一体化权限申请流程 网易安全能力•行、列级别权限控制的•一站式权限申请流程•Spark 权限控制•目录冻结•权限生命周期•权限治理•自定义审批流 数据治理组织形式：剑宗VS气宗 数据开发与治理：剑宗VS气宗业务场景业务指标元数据注册数据标准梳理数仓分层搭建维度建模任务开发业务场景业务指标元数据注册数据标准梳理数仓分层搭建维度建模任务开发•重数据调研•人员能力要求高，容易出现断层•数据探查能力强•数据治理全面但周期长，较难短期见到成效•常以单数据域展开•人员依赖培训，但有较好的成长性•业务价值较易呈现，但数据探查能力弱•依赖较高的sop标准VS Agenda•网易有数五大能力特色实践•一条开发明线与一条数据治理暗线•未来之路•有数学堂-数据生产力的软着陆之路 一个数据人员的升级之路产品部署完毕2～3weeks1 week（可后续自行组织）专题教学课程视频上机操作实验学堂考核认证布道师实操培训布道师集中答疑 数据开发工程师等级认证能力等级岗位建模能力分析能力技术能力应用能力L1数据开发工程师维度建模基础理论掌握指标、分析维度基本概念SQL开发完成模块需求L2高级数据开发工程师单主题域常见分析方法分析模型构建任务优化，复杂任务开发完成复杂数据产品需求L3资深数据开发工程师多主题域指标口径管理疑难问题定位解决发现产品问题，推动产品落地L4数据开发专家中台体系对业务有指导意义指标技术架构选型规划数据产品体系 数据治理+可视化大赛 Agenda•网易有数五大能力特色实践•有数学堂-数据生产力的软着陆之路•一条开发明线与一条数据治理暗线•未来之路 数据标准：数据治理的管理与执行 使用场景概述数据探查结果分析标准提取数据元数据字典标准审核标准发布数据标准核心已存在的标准数据项标准管理分类维度元模型元数据标准管理标准文件其他标准管理MVP标准模型设计数据质量管理指标系统数据开发......规范模型数据要求指导质量检测规则定义对维度、指标的统一描述指导数据开发处理方法......数据地图目录指导资产组织方式元数据中心统一元数据标准比对影响分析标准统计标准发现标准发现标准执行标准评估跟踪 数据标准中心使命：规范数据治理全流程，保证数据的规范化管理及产出愿景：让数据处理有据可依路径核心抓手基础条件发现标准1.已有标准-标准文件-结构化标准2.无标准-字段类型、格式-字段值域标准解析数据探查结果分析标准提取管理标准1.元数据标准-模型、分类标准2.数据标准-数据元、字典3.标准流程-标准生命周期-标准发布元模型管理审核管理分类管理数据元管理字典管理发布管理执行标准1.数据开发-数据定义、处理2.数据质量-数据稽核、报告3.数据安全-数据脱敏、加密模型定义规约处理规则绑定稽核规则绑定安全规则绑定优化标准1.定义优化-标准描述项2.范围优化-标准覆盖内容2.标准沉淀-通用标准-行业标准描述性自定义标准版本规划通用标准划分行业标准划分反馈标准1.执行情况-标准资产情况-标准化情况-标准使用情况标准资产统计标准化率统计标准引用统计标准影响分析 What’s more？2006分布式数据库、分布式文件系统、分布式搜索引擎，三驾马车支撑了网易互联网2.0时代的产品2009国内最早一批开始基于Hadoop 开发、运维的互联网公司2014大数据平台猛犸、网易有数上线，加速了大数据规模化应用2017网易大数据正式对外商业化2018网易严选、考拉、音乐、新闻等业务相继开始数据中台构建2019网易发布“全链路数据中台” 解决方案2020网易提出“数据生产力”理念，倡导“人人用数据、天天用数据” 以客户为师，心怀敬畏，我们正年轻！ 计算&存储：拥抱开源，强于开源200P存储规模6000物理节点20W调度任务2021年6月21日，全球顶级开源组织Apache 基金会宣布，网易数帆开源大数据项目以全票通过的表现，正式进入Apach 基金会孵化器。•Spark 社区3.0 全球个人排名第二（网易数帆姚琴）•Impala Committer，Impala on iceberg 主要贡献•Hadoop Committer 2人•Kudu PMC 1人•Submarine Committer 1人•Kylin Committer 1人•《HBase原理与实践》范欣欣 建立共识的他们华泰证券华福证券华夏银行马上消费江苏农信能源好未来海亮教育医药媒体南方日报中山七院制造记忆科技昆钢农业温氏集团金融零售物流教育九州通福建电力杭州银行泰康资产绿瘦中国能建投南钢浙交规浙江移动 网易大数据商业化定位阿里云华为云腾讯云私有IDC网易有数•我们认为，未来的大数据商业生态，提供服务的厂商一定是分层的•我们的定位，就是专注于基础软件的服务商，我们并不做云•从产品定位上，我们是支持跨云的产品战略！InfomaticaAWSGoogleAzureTableau 与用户一起开拓热爱的事业
