网易数帆基于DataOps的开发治理一体化实践，经历了从DataOps 1.0的敏捷、高质量开发实践到DataOps 2.0的开发治理一体化实践的演进过程。
网易数据生产力的实践历程：
- 2006年：分布式数据库、文件系统和搜索引擎支撑互联网2.0时代产品。
- 2009年：基于Hadoop进行数据分析和运维。
- 2014年：大数据平台上线，加速大数据规模化应用。
- 2017年：网易大数据正式对外商业化。
- 2018年：严选、音乐、有道等业务开始数据中台构建，发布“全链路数据中台”解决方案。
- 2020年：实践DataOps，加速数据分析效率，提升数据开发质量。
- 2022年：发布开发治理一体化“数据治理2.0”解决方案。
数据生产力愿景：
- 愿景：人人用数据，时时用数据。
- 方法论：DataOps、DataFusion、DataProduct。
DataOps 1.0：敏捷、高质量开发实践：
- DataOps是一种将软件工程CI/CD方法融入数据开发的流程，通过自动化数据测试、任务发布等技术构建数据发布流水线，提升数据开发效率和交付质量。
- DataOps解决的问题：需求频繁变化、阶段性成果快速验证、通过数据测试保障质量。
- 数据发布流水线：编码、测试、编排、代码审查、发布审核、部署上线。
- 数据沙箱：开发集群与生产集群物理隔离，避免数据污染，一套代码直接运行。
- 数据测试：数据形态探查、数据比对、SQL静态扫描、自定义规则扩展。
- 效率：按期交付率提升，需求交付延期减少。
- 问题：任务依赖复杂、缺少数据测试、缺少全链路影响分析、缺少发布管控。
DataOps 2.0：开发治理一体化实践：
- 数据消费存在问题：重复建设多、近义指标膨胀、传统建模流程约束收效甚微。
- 原因分析：命名不规范、缺乏标准、质量规则覆盖不佳、规范缺失。
- 开发治理一体化：将数据治理流程融入数据开发全生命周期，在开发过程中完成数据治理。
- 核心原则：先设计后开发，先标准后建模。
- 落地成果：
- 规范：字段标准化率80%，安全等级完成100%。
- 效率：相同需求对应指标数量缩减48.7%，模型复用度提升。
- 质量：规则覆盖率达到65%，单个任务配置效率提升约70%。
开发治理一体化支撑：
- 以数据标准为根本需求：数据元承载格式及值域规范，自动生成稽核规则，数据建模直接应用数据标准。
- 以全生命周期元数据为底座：全生命周期元数据接受设计、开发、消费过程中的所有元数据，形成数据资产。
- 长效解决：先污染后治理 vs 一步到位，运动式治理 vs 长效治理。
给管理者的建议：
- 科学评估体系：构建资产健康分，让治理价值可量化。
- 完善工具平台：数据标准产品化。
- 持续数据运营：组织流程打通，数据文化建设。
- 关注数据消费：成果可衡量，治理可改进。
某券商落地成果：
- 痛点：数据孤岛严重、数据质量难满足预期、数据流通与安全平衡难兼顾。
- 治理目标：数据资产化、数据价值化、数据智能化。
- 重要举措：组织架构、业务流程、产品工具。
- 落地成果：
- 数据标准管理：基础数据标准179个，指标数据72个，搭建统一公共字典。
- 数据质量管理：累计沉淀400余项数据质量规则。
- 数据安全管理：基于数据分级分类的数据服务审批流程上线，基于脱敏数据的开发环境任务发布流程打通。
