研报总结
数据标准概述
数据标准是保障数据内外部使用和交换一致性与准确性的规范性约束,通过规范要求、流程制度、技术工具共同组成的体系,完成标准的规划、制定、发布、执行、检查、维护等行为,实现数据的标准化以及标准的沉淀。
数据标准价值
数据标准能够解决数据资产化不足、数据质量难以提升、数据开发效率低等问题,其核心价值包括:
- 建立统一的数据视图:通过元模型规范和数据目录,形成统一的元数据层和数据目录,实现资产的可管、可用、可查。
- 建立统一的数据认知:对多源异构数据进行标准化描述,统一数据含义,使管理方、开发方、使用方建立统一认知。
- 建立质量稽核体系:根据数据元的表示类属性自动生成质量稽核规则,实现字段级的数据质量校验。
- 面向未来的数据治理:通过流程规范和阶段智能化,实现流程自动化和阶段智能化,降低人力成本,提升数据治理效率。
数据标准建立步骤
数据标准的建立分为六个步骤:
- 数据标准规划:调研和分析企业业务和数据,明确数据标准的范围。
- 数据标准制定:包括元数据标准、基础数据标准和技术标准制定。
- 数据标准发布:遵循草案、试用、标准、废止的生命周期流转。
- 数据标准执行:在数据治理过程和新建系统中应用标准。
- 数据标准检查:确认标准执行情况及效果。
- 数据标准维护:修订和沉淀数据标准。
数据标准产品介绍
数据标准管理产品功能模块包括:
- 标准概览:统计标准资产、标准化情况、标准流程。
- 数据标准文件管理:管理标准文件,建立与已结构化标准的联系。
- 数据项标准管理:包括数据元管理、数据字典管理、词根管理、数据元分类管理。
- 元数据标准管理:包括命名及编码规则管理、表名设计、资源目录管理。
- 技术标准管理:包括数据类型映射关系管理、DDL模板管理。
- 标准流程管理:包括标准拾取、审核管理、标准发布、标准配置。
数据标准和数据中台结合实践
数据标准在数据中台中的应用包括:
- 数据传输:利用数据类型映射关系快速生成目标表结构。
- 元数据:配置表、字段、指标、标签的元模型。
- 模型设计:分层规划、分类规划、表结构及数据项标准设计。
- 数据开发:根据数据元信息自动映射字段,生成SQL。
- 数据质量:根据数据标准关联稽核规则,实现字段级数据质量校验。
- 数据安全:根据数据元关联,快速生成字段级加密或脱敏规则。
总结
数据标准的建设及管理是一个长期过程,需要不断完善管理内容和流程,作为数据中台的基石,为各模块、各流程阶段提供规范性指导及监督,最终实现数据资产化、数据价值变现。