数据治理解决方案

01背景介绍 02数据治理解决方案 03数据治理案例介绍 04问题与讨论 行业现象和需求 随着业务的不断发展和信息化的不断深入，需建设的业务系统越来越多，随着业务系统的数据种类不断丰富完善，数据量的不断增大，如果不采取有效手段解决问题，随着信息化建设的深入，下列的问题会越积越多。 •缺少统一的应用标准•重复投入•数据不一致•指标设计、口径不一致•指标难以共享•缺少统一的基础数据标准•重复投入•数据不一致、不准确•难以利用和管理•各系统数据难以共享 •部分关键业务数据缺失•源系统校验关系缺失及业务人员随意操作 01背景介绍 02数据治理解决方案 03数据治理案例介绍 04问题与讨论 数据管理范围 数据管理框架 从上至下指导，从下而上推进，形成一个多层次、多维度、多视角的全方位框架。 总体解决思路 数据治理的延伸：数据管理 数据治理的结束是数据管理的开始。 数据治理持久化 对数据治理工作持久化，一次治理，永久治理。 重新组织数据 盘点数据资产 让数据成为资产，了解企业有哪些数据，在哪里，有多少量级。 1、数据资产盘点：暗数据发现和分类 在数据治理的实际操作中，只有先发现数据，对数据进行有效分类，才能避免一刀切的控制方式，也才能对数据的安全管理采用更加精细的措施，使数据在共享使用和安全使用之间获得平衡。 美创经过大量的案例实践，总结出了数据分级分类的方式： 03 业务系统调研 业务流程梳理 业务流程分解 •梳理业务与业务之间的流程关系，业务流程本身的输入输出上下文情况；•补充每个业务流程涉及的属性； 04•识别各业务环节涉及的人、事、物，输入、输出、组件和数据沉淀；输出业务流程图；•根据梳理好的业务流程图，转换成对应的数据流图； 调研业务系统情况： •建设目标、系统类型划分；•系统运行架构、硬件支撑情况；•使用者、用户来源和规模； 05 数据分级分类 数据标准梳理 业务关系梳理 •根据行业标准和特点对于数据资产进行分类；•将数据资产划分为公开、内部、敏感等不同的敏感等级； •对于业务数据按照主体、参考、交易、统计进行分类，并梳理出数据的技术标准和业务标准；•补充和整理完整的数据字典； 梳理业务与业务之间的关系 •业务流程逻辑、业务交互数据；•业务权限分配、输入输出控制；•访问权限控制、操作流程规范；•风险规范要求等； 2、让数据变得更干净，少歧义 如何让数据变得干净可用？ 主要从三个方向入手：数据采集与清洗、对元数据进行管理、数据标准化治理 数据采集与清洗 数据标准化治理 •技术标准•数据标准•管理标准 •数据同步•数据交换•数据整合 元数据管理 •理解元数据需求•开发和维护元数据标准•标准化元数据评估指标•创建和维护元数据•整合元数据•分发和交付元数据•查询、报告和分析元数据 2.1、数据采集与清洗达到的效果 数据同步 实现实时、准实时的数据采集；保证数据源与目标端的数据一致性；不影响源业务系统；支持多种数据源的数据采集（如常用的关系型数据库、大数据平台等）； 不同部门的数据协同，获取到数据并完成业务逻辑；灵活地进行数据转换规则设计； 数据整合 将不同来源的数据，经过清洗转换后变为统一格式，存储到数据中心或者数据仓库，用于提供数据共享、数据分析等服务；支持界面话工作流调度 2.1、数据清洗、转换 2.2、元数据管理 元数据是“关于数据的数据”。元数据标注、描述或者刻画其他数据，以使检索、解读或使用信息更容易。对数据上下文背景、历史和起源进行完整的记录并管理，建立元数据标准，提升战略信息（如数据仓库、CRM等）的价值，帮助分析人员作出更有效的决策。元数据管理方法如下： 查询报告和分析元数据•指导如何使用数据资产，体现在商务智能 整合元数据•把来源库中抽取到的元数据，与相 标准化元数据评估指标•评估指标主要应采取定量指标，包括： 理解元数据需求•确认企业元数据管理环境、范 （报表和分析）、商业决策（操作型、运营型、战略型）以及业务语义方面使用。•指导如何管理数据资产：•具有前端应用程序，并支持查询和获取，满足以上各类数据资产管理的需要； 元数据存储库的完整性、元数据的质量、元数据的使用/引用、元数据血缘分析/影响分析等； 关的业务元数据和技术元数据进行整合，最终存储到元数据存储库中； 围、优先级、元数据内部标准、企业基于元数据的服务等； 创建和维护元数据•通过元数据创建和更新工具定期扫描 和更新存储库；•采用审计流程验证各项操作活动并报告异常； •将元数据从存储库分发到最终用户和其他需要使用元数据的应用或工具； •根据行业或共识标准，以及国际标准，再结合企业范围共识建立元数据标准； 2.3、数据标准化治理 数据标准化治理旨在遵循国家及本地相关标准化规范的基础上，根据实际需要制订一套完整、统一的标准规范体系，实现信息高度共享、系统运行高度协调的保障。 标准规范包括技术标准、数据标准和管理制度三类： 企业统一标准的数据规范标准 ••••对企业现有业务系统进行梳理按照数据标准规范的构成进行数据标准规范的制定以此为依据进行规范化的升级、管理以及曰后的变更维护主要包括数据元、数据元代码集和信息实体等 重点解决数据整合、交换接口标准•业务数据库建设规范、数据整合规范•平台接口规范、环境配置规范•数据接入实施规范、编码规范等标准规范 3、重新组织数据 重新组织数据包括： •基础工作：主数据建设，真实世界模型； •扩展内容：数据仓库，数据标签和画像； 3.1、主数据建设 建立主数据是一个庞大的工程，结合DAMA理论体系和具体实践经验，美创提出了以下主数据建设中具体的操作流程，以及在这些流程中所需要完成的具体工作内容： 3.2、真实世界模型 美创经过多年在数据领域的经验积累，创造性提出“真实世界模型”建模方法论，主张从数据的角度反映真实业务的本来面目，建立规范的建模体系； 真实世界模型 •标的物和输入输出分析方法•流程、组件和资源标准化•按照业务本来面目去组织、集成和交换数据•黑盒子分析方法 平衡计分卡模型 •全面数字化运营，运营信息整合•监管质量和合规性•运营流程改善，提高服务 360视图模型 •建立用户主数据，统一业务档案•构建用户画像，精准化服务 精益模型 •管理层驱动的问题发现改善•精益团队驱动的流程改善•员工自我驱动的工作改善 3.3、数据仓库 数据仓库架构图： 3.4、数据标签和画像 4、数据治理持久化 有必要对数据治理工作持久化，一次治理，永久治理。 数据治理工作成果日常化 把数据治理工作利用自动化引擎实时或者准实时自动化运行。 新型数据的自动化治理 •超过原先治理范围的数据，需要经历暗数据发现和分类，数据质量清洗和重新组织数据的全过程；•在生产过程中，实时识别这部分数据，将其引入数据治理流程，使新类型在产生的初始环节就是可识别，高质量，可理解和可利用的。 元数据和标准化治理维护更新 不断的更新元数据和标准化治理以反映当前的诉求。 5、数据治理的延伸：数据管理 数据治理的结束是数据管理的开始！ 数据资产透视 智能搜索和发现 反映数据资产状况，有哪些数据、数据在哪、数据量级、数据业务逻辑关系等； 款速检索企业数据、内容语义理解、用户兴趣识别，智能信息化过滤和推荐等； 主数据管理 数据模型管理 主数据集中管理，一体化的主数据提取、审查、发布机制，数据质量控制； 规范定义、模型架构设计、数据组织和存储方法、数据模型生命周期管理； 数据中心管理 元数据更新和维护 监控数据中心运营情况、数据标准化建设、数据质量体系建设等； 元数据完整性监测、元模型增加、修改、删除、发布等； 数据台帐和审计数据资产记录，数据使用审计等； 数据生命周期管理 方案价值 扩大企业数据资产 数据全周期管理 适用场景广泛 01背景介绍 02数据治理解决方案 03数据治理案例介绍 04问题与讨论 案例介绍 港口行业数据治理 项目具体需求和建设意义 主数据建设 数据仓库 数据规划和治理 主数据建设成果 •建成标准唯一、数据唯一、数据准确而且及时的主数据库 •实现主数据的有效应用，对各新老系统进行主数据交付，保证主数据消费者的代码数据的规范性和一致性 主数据建设成果：主数据标准化 港口 箱主 船舶 •港口代码为五字代码，前两位为国籍代码，后三位为港口英文缩写。•港口代码具有唯一性。 •箱主代码原则上为三字代码。•箱主代码具有唯一性。…… •启用状态下，MMSI、IMO、呼号、UN代码具有唯一性。•启用状态下，MMSI、IMO、呼号、UN代码、船舶中、英文名、船长、船宽、载重吨、净吨、型深不能为空。•禁用状态改为启用状态必须满足以上原则。 建设成果：主数据和参考数据梳理落地 建设成果：数据中心及相关应用 案例介绍 医疗行业数据治理 医疗行业IT建设背景 IT系统以业务为主导、比较传统 问题梳理 •系统不断增多，复杂度越来越高•信息孤岛，缺乏整合•标准不统一,接口无法监管•结论：系统沟通困难，成本 导致结果 •耦合度高•系统升级成本高、风险大•数据利用率低 解决思路 •建立主数据库•统一数据中心•建立基于平台应用•构建服务总线 构建数据仓库 数据仓库的作用 •整合分散存储的数据，提高数据利用率•减轻业务系统的压力，提高业务系统性能•运营数据中心为决策支持、绩效考核、等级评审等系统提供支持•临床数据中心为科研分析、临床决策支持等应用提供支持 运营信息库 患者数据标准化 数据标准化的好处： 1.对患者：拥有自己完整的电子健康和医疗档案，并可以通过索引在各个医疗卫生机构调取自己相关的信息，实现跨地区、跨机构、终生的医疗健康信息共享。 2.对医疗机构：实现患者统一高效的管理，确保了信息交换的准确性和一致性。3.对卫生行政部门：通过患者主索引可以对同一个人在不同系统中，以不同识别ID记录的信息进行采集、汇总，跟踪和分析，确保信息的准确性和完整性。 数据标准化以后，降低了各系统间的数据共享的成本，但系统间的交互仍然采用点对点的交互方式。 案例介绍 市场监督管理局数据治理 某市市场监督管理局数据中心建设 01背景介绍 02数据治理解决方案 03数据治理案例介绍 04问题与讨论 大数据技术能力 综合优势 数据管理产品体系 源数据智能发现与分类能力--暗数据发现和分类产品 数据管理 跨不同数据源实时数据采集能力--数据支撑平台 数据管控能力--数据管控平台 数据安全管理能力--大数据脱敏产品 数据管理产品体系 源数据智能发现与分类能力--暗数据发现和分类产品 数据管理 跨不同数据源实时数据采集能力--数据支撑平台 数据管控能力--数据管控平台 数据安全管理能力--大数据脱敏产品 Part1：暗数据发现和分类：产品功能 全面捕获数据 建立数据标准 数据智能解析 ·数据质量分析·统一数据口径 ·适配多种数据源·确定数据分布、规模、种类 ·自动识别数据格式·内容语义识别 内置业务模型 分析结果可视化 构建数据地图 ·覆盖政府、医疗、港口、金融等行业·业务模型自学习 ·迅速了解大量数据·清晰展现数据背后的意义 ·自动生成数据字典·自动识别数据关系 自动化梳理业务逻辑关联性和数据关联性！ Part1：暗数据发现和分类：产品示例 表抽输格样关数暗联据数分据析发现和分类报告 Part1：暗数据发现和分类：产品特点 构建数据地图 图形化展示各类表格关联关系、数据关系 分析结果可视化，快速了解数据平台提供了丰富的图表，通过可视化的方式展示数据资产报告。 暗数据资产化，从数据认识数据 开发隐藏数据包含的价值，将最基础的数据资产变成了优质的数字资产。 对外接口丰富，横向方案拓展 内置业务模型，适