引言
DataOps 概念自 2014 年提出以来,随着数据量、需求和用数人群的爆炸式增长,经历了从技术概念到具体应用实践的孕育过程。数据中台作为企业数据战略和组织设计,也经历了近十年的发展。本白皮书探讨 DataOps 的未来发展方向,分析 DataOps 体系建设背景,分享对 DataOps 体系工程架构的理解,并介绍主动元数据在 DataOps 体系中的定位和作用,以及相应的产品方案与客户案例。
DataOps 体系建设的背景
数据技术的发展经历了多次变革,从集中式到分布式,从本地到云端,数据仓库和数据湖仓厂商不断涌现,数据技术领域创业公司也日益增多,构建起现代数据堆栈生态体系。然而,现代数据工程架构也带来了新的挑战,如数据协同难、数据管理难、数据交付难等。
DataOps 体系建设的目标
DataOps 体系的建设目标是实现“数据优先即业务优先”,高效交付高质量数据。具体而言,需要实现两个关键实现:数据协同要从“人盯人”升级成“事盯人”,实现敏捷数据协同;数据管理要从“人找数”升级成“数找人”,实现主动数据管理。
元数据从被动到主动,成为 DataOps 建设新支点
为了实现 DataOps 体系的建设目标,需要对 DataOps 体系进行“数据优先”的分层设计,将 DataOps 体系分成三层:“工作流”、“数据流”和“控制流”。其中,“控制流”就是主动元数据平台,其关键技术突破是算子级血缘技术。
主动元数据的关键技术突破与关键衡量指标
主动元数据的关键技术突破是算子级血缘解析技术,其能够提供更加精确和深入的数据血缘信息。衡量算子级血缘技术的关键指标包括解析准确率、分析召回率和分析打扰率。
Aloudata BIG 主动元数据平台介绍
Aloudata BIG 主动元数据平台基于全球独创的算子级血缘解析技术,让复杂数据链路看得清、管得住、治得动,实现更精细更智能的数据管理。Aloudata BIG 平台具有算子级血缘解析、主动元数据服务、元数据语义挖掘等特性,能够解决数据管理中的多项“顽疾”。
Aloudata BIG 主动元数据平台客户案例介绍
Aloudata BIG 主动元数据平台已在多家行业头部企业落地,如招商银行、杭州银行、某股份制银行、某头部证券公司等,并取得了显著成效。
总结与展望
元数据从被动到主动,是 DataOps 体系从“现代数据工程架构”升级到“数据优先工程架构”的关键点,也是履约 DataOps 体系建设目标的关键突破口。主动元数据将成为建设 DataOps 的新支点,主动元数据平台将是企业建设 DataOps 体系的基础能力和必备平台。