网易数帆基于DataOps的开发治理一体化实践,经历了从DataOps 1.0的敏捷、高质量开发实践到DataOps 2.0的开发治理一体化实践的演进过程。
网易数据生产力的实践历程:
- 2006年:分布式数据库、文件系统和搜索引擎支撑互联网2.0时代产品。
- 2009年:基于Hadoop进行数据分析和运维。
- 2014年:大数据平台上线,加速大数据规模化应用。
- 2017年:网易大数据正式对外商业化。
- 2018年:严选、音乐、有道等业务开始数据中台构建,发布“全链路数据中台”解决方案。
- 2020年:实践DataOps,加速数据分析效率,提升数据开发质量。
- 2022年:发布开发治理一体化“数据治理2.0”解决方案。
数据生产力愿景:
- 愿景:人人用数据,时时用数据。
- 方法论:DataOps、DataFusion、DataProduct。
DataOps 1.0:敏捷、高质量开发实践:
- DataOps是一种将软件工程CI/CD方法融入数据开发的流程,通过自动化数据测试、任务发布等技术构建数据发布流水线,提升数据开发效率和交付质量。
- DataOps解决的问题:需求频繁变化、阶段性成果快速验证、通过数据测试保障质量。
- 数据发布流水线:编码、测试、编排、代码审查、发布审核、部署上线。
- 数据沙箱:开发集群与生产集群物理隔离,避免数据污染,一套代码直接运行。
- 数据测试:数据形态探查、数据比对、SQL静态扫描、自定义规则扩展。
- 效率:按期交付率提升,需求交付延期减少。
- 问题:任务依赖复杂、缺少数据测试、缺少全链路影响分析、缺少发布管控。
DataOps 2.0:开发治理一体化实践:
- 数据消费存在问题:重复建设多、近义指标膨胀、传统建模流程约束收效甚微。
- 原因分析:命名不规范、缺乏标准、质量规则覆盖不佳、规范缺失。
- 开发治理一体化:将数据治理流程融入数据开发全生命周期,在开发过程中完成数据治理。
- 核心原则:先设计后开发,先标准后建模。
- 落地成果:
- 规范:字段标准化率80%,安全等级完成100%。
- 效率:相同需求对应指标数量缩减48.7%,模型复用度提升。
- 质量:规则覆盖率达到65%,单个任务配置效率提升约70%。
开发治理一体化支撑:
- 以数据标准为根本需求:数据元承载格式及值域规范,自动生成稽核规则,数据建模直接应用数据标准。
- 以全生命周期元数据为底座:全生命周期元数据接受设计、开发、消费过程中的所有元数据,形成数据资产。
- 长效解决:先污染后治理 vs 一步到位,运动式治理 vs 长效治理。
给管理者的建议:
- 科学评估体系:构建资产健康分,让治理价值可量化。
- 完善工具平台:数据标准产品化。
- 持续数据运营:组织流程打通,数据文化建设。
- 关注数据消费:成果可衡量,治理可改进。
某券商落地成果:
- 痛点:数据孤岛严重、数据质量难满足预期、数据流通与安全平衡难兼顾。
- 治理目标:数据资产化、数据价值化、数据智能化。
- 重要举措:组织架构、业务流程、产品工具。
- 落地成果:
- 数据标准管理:基础数据标准179个,指标数据72个,搭建统一公共字典。
- 数据质量管理:累计沉淀400余项数据质量规则。
- 数据安全管理:基于数据分级分类的数据服务审批流程上线,基于脱敏数据的开发环境任务发布流程打通。