尹正-重塑数据生产力：DataOps能力体系建设与实践

尹正中国信息通信研究院云计算与大数据研究所大数据与区块链部 数据资产管理研究员，，目前主要从事DataOps，数据治理，数据资产管理的理论研究与标准制定等工作。牵头多项数据领域的标准、白皮书、研究报告编制，负责多家行业头部企业的相关领域评估与咨询工作。 DataOps发展历程简介项目描述，单击此处添加简短说明 01 DataOps能力标准框架介绍项目描述，单击此处添加简短说明 目录Content 02 DataOps企业实践与发展建议项目描述，单击此处添加简短说明 03 DataOps生态构建项目描述，单击此处添加简短说明 04 DataOps发展历程简介项目描述，单击此处添加简短说明 国家：实施国家大数据战略加快建设数字中国 要构建以数据为关键要素的数字经济 ——习近平总书记2017年12月8日在十九届中央政治局第二次集体学习时提出 《中共中央国务院关于构建数据基础制度更好发挥数据要素作用的意见》 ——2022年6月22日中央深改委第26次会议审议通过 数据产权制度|流通交易制度|收益分配制度|安全治理制度 提高数据要素供给数量和质量，充分保障数据处理者使用数据和获得收益的权利充分实现数据要素价值、促进全体人民共享数字经济发展红利 企业：数据驱动是数字化转型的核心 数据驱动型企业 数据驱动型企业必备的三个核心能力 数据平台建设和数据资产管理能力提升，激发了数据需求，数据开发能力与需求之间的矛盾日益突出 数据应用开发3 数据管理意识普及，2022年1024家完成DCMM贯标，数据资产管理能力加速提升 2DAMADCMM…… 数据资产管理 1数仓大数据平台数据湖数据中台…… 数据平台建设先行，具备相对较好基础 数据平台建设 数字化转型陷入怪圈 需求响应慢 人工依赖度高 •数据需求提出量暴增•需 求 提 出 的 质 量 低 •过 度 依 赖 人 工 经 验•过 度 依 赖 人 工 决 策 开发效能不足 •数据开发运营运维流程浪费严重•数据工作流割裂 团队协作难 管理有缺失 •工 具 系 统 多•团 队 链 路 长•沟 通 成 本 高 •效 能 管 理 缺 失•DT一 体 化 管 理 缺 失 现代化数据开发范式亟待形成 传统数据开发范式遇到的挑战推动数据开发应用模式创新变革，亟需新的实践方法论来推动工具、流程和人员等资源的优化重组，提升数据产品供给能力。 构建高效的跨域协同机制 形成敏捷数据产品开发流程 •跨部门协作，打造协同型团队•建立良好沟通机制，塑造协同文化•借助技术赋能，善用协同工具 •敏捷迭代，快速响应需求变化•自助服务，主动利用数据资产 建立精细化的数据运营体系 打造开发治理一体化流水线 •前置数据质量管控•治理过程融入开发流程•打造自动化测试流程，及时处理问题 •全链路度量与反馈•减少人力成本•降低运营成本 数据研发运营一体化（DataOps）：是数据开发的新范式，将敏捷、精益等理念融入数据开发过程，通过对数据相关人员、工具和流程的重新组织，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据产品交付效率与质量，实现高质量数字化发展。 DataOps的发展 DataOps的概念最早在2014年由国外学者提出，随后业界逐步对其内涵进行补充。在2018年DataOps正式被纳入Gartner的数据管理技术成熟度曲线当中，由此进入了国际的视野当中。2022年中国信通院正式牵头启动了DataOps的标准建设工作，以此为基础推动我国大数据产业的多元化发展，助力企业完成数智化蜕变。 u自2018年被Gartner纳入到数据管理技术成熟度曲线以来，DataOps热度逐年上升，在21年处在一个从萌芽期到爆发期的关键过度阶段，预示着未来2-5年内DataOps将得到广泛的实践应用。 DataOps V.S DevOps DataOps借鉴了许多DevOps中优秀的的理念和方法，对DevOps有着深入实践的组织也更容易实现DataOps的应用。 DataOps虽然源于DevOps，但由于数据项目的场景更为复杂。在实践DataOps的过程中，也不能仅仅将DevOps用在数据开发当中。 DataOps的复杂性 数据在技术侧包括了至少产生、集成、加工、分析使用、退役等过程，管理侧至少包括了标准、质量、模型、元数据、安全等方面。如此多的环节包括了更多的组件和过程，那么定义DataOps是非常困难的。引用一张图片来作为DataOps环境的关键组件的简化图。 One for ALL 采购大型软件、云、数据专业产品提供商•微软 •亚马逊•Oracle•Infoworks ALL for One 用编排和监控工具将开源的组件和商业组件结合在一起。Confluence AirflowPulsarTalend DataOps的收益 DataOps能力标准框架介绍 项目描述，单击此处添加简短说明 DataOps标准建设意义 uDataOps标准的建设意义在于：一是确定Dataops概念意义、明确DataOps实施流程、把握企业发展阶段和方向。二是通过标准引领的方式，引导企业快速接纳DataOps文化，尽快完成数智化转型，释放数据要素价值。 DataOps标准体系 DataOps如何影响组织 DataOps是一场由业务主导，驱动数据变革的革命。 DataOps在组织、流程和工具三个方面对企业产生影响。要求组织内人员更深入的吸收数据文化、加强协作，重构数据工作流程，加强一体化设计的数据开发、治理、运营运维、应用的平台优化 DataOps工作计划 DataOps工作组于2022年正式成立，已初步完成DataOps能力标准框架与研发管理的标准编制。 2023年将陆续发布《DataOps实践指南1.0》以及系列标准中的系统工具、交付管理和运维管理部分。持续开展相关评估评测工作，并按需举办专题的峰会及论坛活动。 DataOps研发管理评估情况 首批:2022年11月18日~2023年4月20日 DataOps企业实践与发展建议 项目描述，单击此处添加简短说明 DataOps实践情况 u实践上看，欧美国家的一些公司在DataOps的探索和发展上要早于中国。现阶段，我国有更广阔的发展空间和挖掘潜力，在制度保障、人才培养、技术储备发展上都有着长期优势。 DataOps实践情况——A企业 数据生产力 广义上：通过使用数据带来组织生产力提升。狭义上：企业员工使用平台工具采集数据、处理数据，数据分析以及管理数据的能力。 一个愿景 人人用数据，时时用数据 三个方法论 DataOps、DataFusion、DataProduct 2 0 2 3 D e v O p s国 际 峰 会暨B i z D e v O p s企 业 峰 会·北 京 站 DataOps实践情况——A企业 DataOps实践情况——A企业 DataOps实践情况——A企业 质量与安全 效率 规范 •帮助某业务完成上市监管安全检查•自动根据数据标准生成质量稽核规则•规则覆盖率达到，单个任务的配置效率提升约 •先设计后开发极大程度保证了公共层逻辑下沉相同需求对应指标数量缩减•云音乐模型复用度从2.4%提升到，下线个模型 •先标准后建模，确保了表、字段、指标命名的一致性及规范性•字段标准化率达到，字段及指标的安全等级已完成设置 2 0 2 3 D e v O p s国 际 峰 会暨B i z D e v O p s企 业 峰 会·北 京 站 DataOps生态构建 项目描述，单击此处添加简短说明 DataOps生态 “谷雨生态”由谷雨创新实验室、谷雨专家社区和谷雨灯塔计划3大主题活动构成，分别面向企业、个人和场景打造，共同探讨DataOps创新理念，孵化前沿实践。 谷 雨 社 区D a t a O p sC o m m unity 谷 雨实验 室D a t a O p sLabs 面向关注Dat aOp s的个人，打造良好氛围的知识社区，打造包容创新的交流平台，促进优质理念的共享与沉淀。 与企业共同探索Dat aOp s在企业场景下的落地实践，提炼新一代的数据开发方法论，打造典型场景和工具解决方案。 谷 雨 灯 塔计划D a t a O p sP i l ot 寻找企业痛点问题，共同打造解决方案，贯通数据开发流水线，驱动组织、流程、工具变革，提升业务团队数据应用体验。 DataOps谷雨创新实验室 产品创新实验室 应用创新实验室 面向DataOps的应用方，探索DataOps的落地场景，打造典型案例，形成实践方法论。 面向DataOps的服务方，共同孵化DataOps工具产品和解决方案，打造贯通、便捷的技术生态。 首批DataOps应用创新实验室 首批DataOps产品创新实验室 2 0 2 3 D e v O p s国 际 峰 会暨B i z D e v O p s企 业 峰 会·北 京 站 DataOps谷雨灯塔计划 找一个业务场景，抓一个痛点问题，找一套解决方案，建一个典型案例。 谷雨灯塔计划 切 入 实 际 业 务 视 角，积 极 发 现、诊 断 数 据 应 用 效 能 问 题，驱 动 组 织、流 程、工 具 变 革，贯 通 数 据 应 用 流 水线，提 升 业 务 团 队 数 据 应 用 体 验。 DataOps谷雨专家社区 面向关注DataOps发展与实践的个人，组建“DataOps谷雨专家社区”，打造开放包容的知识分享氛围，共享最新研究成果，跟进研究动态。目 标 zp开放包容的知识社区p友好创新的交流平台p先进共享的分享平台 形式 pDataOps研讨小组 zpDataOps谷雨社区开放交流日 p搭建社区开放共享平台 Thanks DevOps时代社区荣誉出品