政务数据共享交换平台和数据中台建设方案（数据标准部分）

数据管理规范体系 •建立数据治理与管理组织•建立数据治理流程和管理机制•建立数据标准、规范和制度•建立数据共享交换、评价反馈机制 数据管理的相关组织 数据标准管理规范 数据标准管理主要包括数据标准的制定与发布、执行、变更、复审以及数据标准管理工具的建设和维护等相关工作。 n标准需求，以业务发展为导向，基于实际业务情况制定数据标准，并随着业务发展变化适时推进标准的制定和修订工作；n数据标准的制定与发布是指根据业务需求，制定数据的业务标准和技术标准，并且经正式评审后在全局系统予以发布实施。数据标准的制定应统筹规划、循序渐进并根据业务需求的发展变化不断更新。n数据标准的复审是指根据业务发展及IT系统建设情况，对数据标准适用性进行的周期性评审；n数据标准的变更是指为满足业务运行与发展的需要、外部监管要求、所涉及的国家标准等外部标准的变化，对已发布的数据标准进行的变更，该变更应只涉及到少量数据项的新增、修订或废止；n数据标准的执行是指已发布的数据标准在业务层面及IT系统层面的实施和运用。 数据标准制定规范 数据标准定义的通行做法以及在数据管理领域的专业经验，数据标准详细定义应包括业务属性、技术属性、管 n业务属性包含：标准中文名称、标准英文名称、标准别名、业务含义、标准来源、制定依据。 n技术属性包含：数据类型、数据格式、值域、代码编码规则。 n管理属性包含：标准编号、标准主题、标准大类、标准子类、三级分类、相关标准、与相关标准的关系、代码编号、权威系统、标准责任部门。 数据标准制定规范 数据标准管理流程 数据标准管理流程 数据质量管理流程 元数据管理流程 数据采集管理流程 数据共享服务管理流程 数据中台总体架构 数据资产中心实现数据资产化业务化 提供统一数据标准规范数据的能力、数据质量检测能力以及元数据管理能力将数据资产化，再利用标签管理手段对数据进行标记实现统一运营与价值沉淀，最终实现数据资产业务化。 数据资产中心-数据标准管理整体架构 将数据按照数据标准进行标准化清洗及处理，形成初步的数据资产。可在线定义数据标准、审批标准、基于标准完成建模、定义标准化处理规则、配置标准化处理任务，最终由系统自动完成数据的标准化处理。 数据资产中心-数据标准管理业务流程 数据资产中心-数据标准管理核心功能 数据标准模型管理：数据标准模板用于定义数据标准的数据项组成元素，模板内置部分关键基础数据项，用户可在此基础上自由扩展数据项，动态生成数据标准维护界面，从而满足复杂多变的业务需求。 数据资产中心-数据标准管理核心功能 数据资产中心-数据标准管理核心功能 代码标准映射：建立业务代码与代码标准间的转换关系，支持从业务代码、标准代码两个维度检索数据，支持对映射关系的编辑、删除操作。 数据资产中心-数据标准管理核心功能 数据标准审批：依据数据标准的类型，分发至各不同审批处理页面，审批人员可以查阅本次申请内容详情，完成审批操作。 数据资产中心-数据标准管理核心功能 标准化清洗：将数据标准化清洗的处理逻辑抽象为通用、可配置的程序。标准化程序兼容多种不同类型数据库，能够支持上传自定义函数。 数据资产中心-数据标准管理核心功能 用可视化图标的形式进行数据标准概览，从定义、使用、增长角度对标准经行分析统计。 数据资产中心-数据质量整体架构 质量是数据的生命，为了改进数据中台数据质量，构建面向全局数据资源、在线配置检核规则、周期执行质量检核任务，覆盖数据质量管理业务流程的基础平台，以常态化的工作流程，不断提升数据中台的数据质量。 数据资产中心-数据质量整体流程 通过定义规则，系统检核、问题管理、治理改进、度量评价五部完成数据质量管理，形成闭环。 数据资产中心-数据质量核心功能 检核规则：定义数据质量检核函数，分为函数脚本模式和自定义上传模式。 数据资产中心-数据质量核心功能 检核配置：通过选择数据源、数据表后添加字段规则、表规则或者自定义检核语句进行可视化数据质量检核规则配置。 数据资产中心-数据质量核心功能 检核任务管理：及时掌握数据质量问题的处理情况以及流转情况并对未处理的问题进行处理。 数据资产中心-标签管理整体架构 标签是对数据进行业务语义化，从业务视角去观察业务对象。基于需求驱动，围绕核心主体通过在线配置的方式，从数据湖标准化区中加工出标签体系。通过标签管理平台不断沉淀有价值的标签资产，基于标签构建服务体系，让数据高效用起来。 数据资产中心-标签管理核心功能 映射打标签：通过批量指定表字段与标签的映射关系，快速进行离线加工标签的初始化。 数据资产中心-标签管理核心功能 标签组合打标签：面向用户提供的基于已有标签进行组合运行并配合一定的业务限定条件产生新的标签的标签定义功能。 数据资产中心-标签管理核心功能 SQL打标签：面向用户提供可以基于标准SQL语法操作原料数据集进行动态打标的标签定义功能。 数据资产中心-标签管理核心功能 决策树打标签：通过拖拉标签决策树进行创建标签。 数据资产中心-标签管理核心功能 标签概览：包含标签概览、标签检索及个人空间三个子功能。实现对全局标签总览、标签检索查找、个人发布、收藏标签管理及标签详情查看功能。 数据资产中心-数据资产管理整体架构 通过构建规范的资源目录、数据地图以及数据资产服务实现数据资产统一管理，帮助客户合理评估、规范和治理数据资产，实现数据资产价值最大化。 数据资产中心-数据资产管理核心功能 资源空间规划：在线规划数据架构、划分项目空间。通过可视化交互界面，实现资源空间规划和管理功能。 数据资产中心-数据资产管理核心功能 在线建模：为用户提供一个在线可视化的数据建模功能模板，数据模型的定义必须遵从数据标准，从而确保数据中台中数据模型的规范性。 数据资产中心-数据资产管理核心功能 资产目录：从技术和业务的视角，对数据资源进行分门别类，以目录导引的方式来展现数据资源。通过调度任务周期性对数据表进行打标，支持通过语义化标签对数据表进行精准检索。 数据资产中心-数据资产管理核心功能 数据智搜：提供多维度、智能化的检索服务。支持关键字自动补全、支持自动推荐相关数据表、支持检索数据表、支持检索表字段、支持检索数据标准、支持检索数据质量、支持检索数据加工脚本。 数据资产中心-数据资产管理核心功能 数据资产详情：以图表结合的形式展示数据表信息详情，包含基本信息、存储信息、字段、分区、变更历史、血缘、数据预览功能。用直观明了的形式帮助用户了解单张数据表各项属性。 数据资产中心-数据资产管理核心功能 重要性评估：从访问热度、影响力、关注度、服务能力、依赖集中度和收益成本，六个维度对数据资产进行价值评估，发掘高价值数据资产，对低价值资产出具优化建议。 六、数据标准发布，试运行 五、数据标准体系建设 THANKS. 数据标准的相关问题 问题1：数据治理、数据管理规范体系、数据标准体系、数据标准，分别是什么？ 问题2：四者之前的关系、各自的覆盖内容是什么？ 要点： 1）这四者的内容和范围，逐渐变小。 2）数据治理的范围见本PPT第6页，主要包括 l几大数据治理域的管理（如，数据标准、数据安全、元数据、数据质量、数据架构），这里面包括了配套的技术平台提供的功能，也包括了配套的数据管理制度体系。 l数据管理规范体系即数据管理制度体系，同一个意思。主要指单位比较正式的规章制度，比如管理办法、管理规程、管理规范等等。数据管理制度体系，一般包括《数据标准管理规范》、《数据安全管理规范》、《数据质量管理规范》、《元数据管理规范》、《数据接口管理规范》等等。 l上述这些规范的主要作用，是规范日常工作的管理流程：1）相关业务模块的管理部门的角色和职责2）各业务模块的管理内容和管理范围3）各业务模块的具体管理流程。 l数据标准体系：主要包括《数据标准管理规范》和具体《数据标准》。 47l数据标准：指的就是将具备标准化条件的数据元、代码、指标，协同各数据方，制定统一规范，形成数据标准文件。比如，身份证号码、家庭住址可列入数据元类数据标准；各省市的区域代码可列入代码类数据标准；企业的年度纳税金额可列入指标类数据标准