Dataops能力体系建设

DataOps能力体系建设云计算与大数据研究所尹正 目录CONTENTSDataOps能力标准框架介绍DataOps生态社区介绍DataOps发展历程简介金融业实践案例分享 DataOps发展历程简介 要构建以数据为关键要素的数字经济——习近平总书记2017年12月8日在十九届中央政治局第二次集体学习时提出《中共中央国务院关于构建数据基础制度更好发挥数据要素作用的意见》——2022年6月22日中央深改委第26次会议审议通过提高数据要素供给数量和质量，充分保障数据处理者使用数据和获得收益的权利充分实现数据要素价值、促进全体人民共享数字经济发展红利数据产权制度|流通交易制度|收益分配制度|安全治理制度国家：实施国家大数据战略加快建设数字中国 企业：数据驱动是数字化转型的核心01030402全面用数实时分析随时可用柔性管控05内外贯通06闭环运营数据驱动型企业将赢得数字化竞争优势数据驱动型企业的特征 数据驱动型企业必备的三个核心能力数据应用开发数据平台建设和数据资产管理能力提升，激发了数据需求，数据开发能力与需求之间的矛盾日益突出3数据平台建设数据平台建设先行，具备相对较好基础1数仓大数据平台数据湖数据中台......数据资产管理数据管理意识普及，2022年1024家完成DCMM贯标，数据资产管理能力加速提升2DAMADCMM...... 人工依赖度高•过度依赖人工经验•过度依赖人工决策团队协作难•工具系统多•团队链路长•沟通成本高需求响应慢•数据需求提出量暴增•需求提出的质量低开发效能不足•数据开发运营运维流程浪费严重•数据工作流割裂管理有缺失•效能管理缺失•DT一体化管理缺失DataOops数字化转型陷入怪圈 现代化数据开发范式亟待形成传统数据开发范式遇到的挑战推动数据开发应用模式创新变革，亟需新的实践方法论来推动工具、流程和人员等资源的优化重组，提升数据产品供给能力。•敏捷迭代，快速响应需求变化•自助服务，主动利用数据资产形成敏捷数据产品开发流程•前置数据质量管控•治理过程融入开发流程•打造自动化测试流程，及时处理问题打造开发治理一体化流水线•跨部门协作，打造协同型团队•建立良好沟通机制，塑造协同文化•借助技术赋能，善用协同工具构建高效的跨域协同机制•全链路度量与反馈•减少人力成本•降低运营成本建立精细化的数据运营体系 数据研发运营一体化（DataOps）：是数据开发的新范式，将敏捷、精益等理念融入数据开发过程，通过对数据相关人员、工具和流程的重新组织，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据产品交付效率与质量，实现高质量数字化发展。 DataOps信息化建设阶段数字化转型阶段数字化转型完成发展阶段转型产生价值数字化转型关键阶段数据准备时间长数据项目成本高需求响应不及时业务发展关键时期数据意识逐渐成熟数据需求激增完成数字化蜕变DataOps为数据引擎换挡 uDataOps的概念最早在2014年由国外学者提出，随后业界逐步对其内涵进行补充。在2018年DataOps正式被纳入Gartner的数据管理技术成熟度曲线当中，由此进入了国际的视野当中。2022年中国信通院正式牵头启动了DataOps的标准建设工作，以此为基础推动我国大数据产业的多元化发展，助力企业完成数智化蜕变。u自2018年被Gartner纳入到数据管理技术成熟度曲线以来，DataOps热度逐年上升，在21年处在一个从萌芽期到爆发期的关键过度阶段，预示着未来2-5年内DataOps将得到广泛的实践应用。2022DataOps的发展 DataOps产生背景AndyPalmer将这个理念发扬光大，提出了DataOps的四个关键构成，数据工程、数据集成、数据安全和数据质量。关键构成Gartner将其纳入到数据管理的技术成熟度曲线，标志着DataOps正式被业界所接纳并推广起来技术成熟度曲线LennyLiebmann提出DataOps的概念，在《3reasonswhyDataOpsisessentialforbigdatasuccess》这篇文章中，Lenny提出DataOps是优化数据科学和运营团队之间协作的一些实践集。概念提出Nexla的JarahEuston把DataOps的核心定义为从数据到价值。这个是首次把DataOps和业务价值关联起来的定义。定义加深2015201720182014 DataOps V.S DevOpsDataOps借鉴了许多DevOps中优秀的的理念和方法，对DevOps有着深入实践的组织也更容易实现DataOps的应用。DataOps虽然源于DevOps，但由于数据项目的场景更为复杂。在实践DataOps的过程中，也不能仅仅将DevOps用在数据开发当中。相似点敏捷开发业务价值导向CICD自动化测试重用复用自动化差异点DevOpsDataOps人员工程师软件开发人员工程师数据科学家数据分析师工具工具链成熟自动化程度高工具链还在构建当中自动化初期阶段过程软件开发数据开发数据分析数据管理编排轻编排重编排数据管道编排数据分析编排编排轻编排重编排数据管道编排数据分析编排 DataOps的复杂性数据在技术侧包括了至少产生、集成、加工、分析使用、退役等过程，管理侧至少包括了标准、质量、模型、元数据、安全等方面。如此多的环节包括了更多的组件和过程，那么定义DataOps是非常困难的。引用一张图片来作为DataOps环境的关键组件的简化图。采购大型软件、云、数据专业产品提供商•微软•亚马逊•Oracle•InfoworksOne for ALL用编排和监控工具将开源的组件和商业组件结合在一起。ConfluenceAirflowPulsarTalendALL for One图片来源：Eckerson Group DataOps的收益某国有大型商业银行，借鉴DataOps理念数据准备效率> 10倍研发效率> 50倍典型全量案例回归时间缩短> 15倍网易集团持续优化DataOps体系字段标准化率达到80%，字段及指标的安全等级已完成100%设置相同需求对应指标数量缩减48.7%云音乐模型复用度从2.4%提升到9.6%，下线3.4W个模型规则覆盖率达到65%，单个任务的配置效率提升约70%严选质量覆盖率提升100%外企，探索DataOps的实践价值GE 降低HIVE成本40%（4500万美元/年审计成本）True Digital（泰国远程电话公司）提升平台表现力2倍PhonePe（沃尔玛手机支付app）0 Sev-1问题SEV1事故：每分钟损失近百万美元的宕机事故 金融业实践案例分享 DataOps实践情况u实践上看，欧美国家的一些公司在DataOps的探索和发展上要早于中国。现阶段，我国有更广阔的发展空间和挖掘潜力，在制度保障、人才培养、技术储备发展上都有着长期优势。 DataOps实践情况——A银行p以数据和技术为关键要素，以组织机构改革为内生发展动能，基于DataOps随时、随地、随需的敏捷用数理念，加快提升数字工行数据要素采集、整合和应用能力，释放数据要素的倍增和乘数效应，为数字银行带来效率提升、体验提升和模式创新，全面提升“数字银行”普惠金融高质量服务中国式现代化能力。 DataOps实践情况——A银行p以面向全行提供规模化普惠用数服务能力为目标，基于DataOps随时、随地、随需敏捷用数理念，融合行内外数据要素，实现全员自助、全域共享、数智融合、业数融合，释放数据要素的乘数效应和倍增效应，全面赋能数字银行建设。 DataOps实践情况——A银行p基于数据中台和AI中台等平台能力，面向数据科学家、分析师、算法工程师等数据产品生产人员提供融合数据、算法、工具、验证、发布于一体的“低代码”数据产品研发工作台；面向业务人员、业务客户、业务系统等数据产品使用用户提供数据即服务、模型即服务、解决方案即服务的“零代码”数据产品订阅服务。 DataOps能力标准框架介绍 DataOps标准建设意义uDataOps标准的建设意义在于：一是确定Dataops概念意义、明确DataOps实施流程、把握企业发展阶段和方向。二是通过标准引领的方式，引导企业快速接纳DataOps文化，尽快完成数智化转型，释放数据要素价值。 DataOps标准框架组织管理系统工具安全管控业务需求业务价值研发管理数据运维持续运营交付管理 DataOps标准体系 DataOps如何影响组织p数据思维纳入组织通识教育p专职于效能与协同的岗位p决策层的战略支持组织DataOps是一场由业务主导，驱动数据变革的革命。DataOps在组织、流程和工具三个方面对企业产生影响。要求组织内人员更深入的吸收数据文化、加强协作，重构数据工作流程，加强一体化设计的数据开发、治理、运营运维、应用的平台优化流程p标准化数据工作程序p从面相交付到面相业务p降低个人依赖工具p使用者不仅限于技术人员p强化一体化设计能力p持续优化 DataOps工作计划DataOps工作组于2022年正式成立，已初步完成DataOps能力标准框架与研发管理的标准编制。2023年将陆续发布《DataOps实践指南1.0》以及系列标准中的系统工具、交付管理和运维管理部分。持续开展相关评估评测工作，并按需举办专题的峰会及论坛活动。技术标准生态共建产业研究系统工具标准谷雨计划案例汇编交付管理标准数据运维标准以评促建筹备国际标准谷雨社区创新实验室能力图谱研究报告 DataOps生态社区介绍 DataOps生态与企业共同探索DataOps在企业场景下的落地实践，提炼新一代的数据开发方法论，打造典型场景和工具解决方案。谷雨实验室DataOpsLabs面向关注DataOps的个人，打造良好氛围的知识社区，打造包容创新的交流平台，促进优质理念的共享与沉淀。谷雨社区DataOpsCommunity寻找企业痛点问题，共同打造解决方案，贯通数据开发流水线，驱动组织、流程、工具变革，提升业务团队数据应用体验。谷雨灯塔计划DataOpsPilot谷雨生态“谷雨生态”由谷雨创新实验室、谷雨专家社区和谷雨灯塔计划3大主题活动构成，分别面向企业、个人和场景打造，共同探讨DataOps创新理念，孵化前沿实践。 DataOps谷雨创新实验室应用创新实验室面向DataOps的应用方，探索DataOps的落地场景，打造典型案例，形成实践方法论。首批DataOps应用创新实验室产品创新实验室面向DataOps的服务方，共同孵化DataOps工具产品和解决方案，打造贯通、便捷的技术生态。首批DataOps产品创新实验室 DataOps谷雨灯塔计划切入实际业务视角，积极发现、诊断数据应用效能问题，驱动组织、流程、工具变革，贯通数据应用流水线，提升业务团队数据应用体验。谷雨灯塔计划找一个业务场景，抓一个痛点问题，找一套解决方案，建一个典型案例。 DataOps谷雨专家社区面向关注DataOps发展与实践的个人，组建“DataOps谷雨专家社区”，打造开放包容的知识分享氛围，共享最新研究成果，跟进研究动态。z目标p开放包容的知识社区p友好创新的交流平台p先进共享的分享平台zpDataOps研讨小组pDataOps谷雨社区开放交流日p搭建社区开放共享平台形式 “不求万数为我所有，但愿万数为我所用”