大型企业数据架构设计总体规划方案

1.数据架构设计的思路2.数据资源总体规划3.基础数据管理4.数据分析与数据应用5.数据治理与管控6.项目实施计划建议 数据架构与管理工作总体来说还处于空白，是信息化相关工作中最为薄弱的一环 在信息化现状评估中发现，企业统一数据模型缺乏、数据分析应用体系不健全、主数据管理体系不健全、数据治理体系不完善是数据架构中存在的最大问题。 数据架构 数据管控： l未形成统一的数据治理机制和专门的数据治理组织；l尚未建立相对完整和统一的数据标准，缺乏有效的途径贯彻执行数据政策和数据标准，同时对数据政策和标准的执行缺乏有效的监控和审计手段；l缺乏数据质量监控和考核机制，质量管理没有形成PDCA闭环，数据质量的问题无法从根本上得以解决；l未形成完善的数据生命周期管理、考核机制。 数据管控 数据管理组织 数据管理工具 数据管理绩效考核体系 数据资源规划： 数据资源规划 l没有进行集团级数据架构设计。缺乏全局性数据实体一致性管控，没进行实体间的CRUD分布分析；l没有建立数据管控和治理机制，缺乏数据架构管控的组织、制度和流程。 数据分布 数据建模 数据基础资源管理： 基础数据管理 l缺乏标准的主数据分类和管理制度、管理组织和管理工具；l元数据平台并未有效使用，缺失对元数据的维护，尚未制定完善的元数据管理流程和制度。 元数据管理 主数据管理 数据分析应用 l未建立全面的企业级数据分析应用体系，曾经规划过集团级集成数据仓库及经营分析平台建设，但因IT建设成熟度不够，该项工作尚未启动。 数据仓库 的数据应用与管理现状与企业战略的管理需求不匹配，未来需要进行企业级的数据整合和数据管控体系建设 未来发展方向 企业级的数据整合与分析应用 不规范的数据架构，无企业级的数据整合 §将数据架构作为企业架构资产中的一部分进行统一管理，建立持续改进的数据架构体系；§建立统一的企业数据模型，实现概念模型、逻辑模型与物理模型的统一管理；§具备完善的数据管控体系，建立职责清晰的管控组织、标准规范和管理流程，并使用专业的系统工具进行支撑§建立企业统一的数据分析应用体系，能够快速、灵活的进行数据分析应用的开发与部署。 分散、不一致的数据 §初步建立数据架构体系，但架构不规范，难以持续改进；§初步建立企业数据模型，但覆盖范围不完整、难以保证企业一致性；§建立不同程度的数据管控组织、标准和流程，但组织职责、标准覆盖范围和流程执行存在不足；§未建立或初步建立企业数据仓库，但数据范围不全面、分析模型不健全、缺乏数据挖掘能力 §未建立统一的数据架构与数据模型；§业务系统之间的数据缺乏统一的标准、难以整合；§未建立数据管控体系，以业务系统为数据管理手段；§以业务系统为基础实现数据的基本查询。 本次数据架构设计目标是，明确数据分布和流向，定义数据模型，配套数据基础资源管理，规划数据分析服务管理，完善数据治理体系 在制定数据架构规划目标时，将综合考虑总体业务蓝图和应用蓝图规划，并以技术蓝图为参考依据，明确数据架构各项内容的规划目标业务蓝图 按照的数据架构规划实施方法论，在明确架构目标的前提下，制定数据架构的实施流程 1.数据架构设计的思路2.数据资源总体规划3.基础数据管理4.数据分析与数据应用5.数据治理与管控6.项目实施计划建议 数据资源规划是信息化规划的内容之一，但要获得更加详细的数据管理体系，需要进一步进行细化设计 数据资源规划的主要任务是梳理企业级的数据模型 数据资源规划的方法与过程 业务能力模型是数据资源规划的主要依据，要从业务领域出发梳理核心的数据（造纸） 基于业务能力蓝图梳理的关键数据资源视图（造纸） 对这些数据实体进行汇总、归类，定义企业级的数据模型（示例） 关键数据资源之间的交互与集成关系分析（示例） 数据架构原则一：单一和可信的数据源 关键数据资源与组织部门/信息系统的CRUD矩阵分析（示例） 1.数据架构设计的思路2.数据资源总体规划3.基础数据管理4.数据分析与数据应用5.数据治理与管控6.项目实施计划建议 数据按照性质可以分为基础数据、交易数据和分析数据，做好基础数据的管理是数据架构优化的关键 统一进行主数据规划、标准和管理平台是主数据管理和信息化建设的必然要求 主数据管理原则 §统一主数据规划 v总部统一进行主数据规划，明确共性化主数据和企业个性化主数据内容v下属单位依照主数据规划拓展制定企业主数据规划 §统一主数据标准 v总部统一制定主数据的编制标准v总部统一编制集团共性主数据v下属单位依据主数据的编制标准编制企业个性化主数据 统一、集中、标准化的主数据体系： §统一主数据管理平台 v总部建设主数据管理主平台v总部统一维护并发布共性主数据v下属单位建设主数据管理分平台，接收主平台的共性主数据 §是提升数据质量的基础§是统一数据口径的基础§是业务应用集成的基础§是加强数据管控的要求 §统一主数据管理 v总部建设主数据管理组织，统一领导全集团的主数据管理v下属单位在总部领导下进行企业主数据管理 数据管理框架应从质量、标准、安全、流程、架构和组织六个方面对主数据进行全面管理 根据主数据实施方法论，主数据建设可分成如下四个阶段 主数据管理的第一步是要梳理有哪些主数据。判断一个数据是否是主数据可以从四个方面进行 常见的主数据类型和内容 其次要对梳理出的主数据进行优先级排序，重点解决优先级比较高的主数据 对主数据也要进行CRUD分析，确定主数据的归属关系 以CRUD矩阵作为数据规划工作的示例： 主数据CRUD矩阵是数据规划环节的一项重要工作，它描述了主数据在不同系统间的创建，修改，读取，删除关系。 对梳理出来的主数据制定全集团统一的数据标准 数据标准管理将从企业数据共享的角度为数据制定统一的业务解释和标准。同时为数据标准内容与维护制定一套流程，推进企业数据的标准化与一致性 数据标准制定 管理涉及数据对象： 物料，设备，供应商，客户等 制定全集团统一的主数据质量管理要求，确保主数据的质量符合要求 从业务应用对数据的质量要求出发，制定一套可管理的数据质量评价方法和评价指标，将质量管理落实到数据整个加工处理过程中，保证满足业务对数据质量的要求 制定全集团统一的数据安全管理规范，确保主数据的安全、可靠 根据公司管理要求和数据敏感性要求，对数据制定一套合理、科学的安全分类标准， 并根据这套数据安全分类标准建立一套面向的数据使用授权机制 管理涉及数据对象：数据访问权限 主数据管理存在四种不同管理模式 合并模式:在分析系统中进行数据整理与合并,存储一个完整的主数据物理视图，主数据更新主要采用准实时的事后更新方式。主数据主要是为了支撑统计和分析等应用。 注册模式：在主数据管理解决方案中,仅搭建一个主数据的框架结构,其中的实体数据都是直接链接或映射到各个数据来源系统。 共存模式：主数据管理解决方案构建在前端操作型应用系统中,MDM系统通过准实时的事后更新方式，不负责分发和修改。 事务模式：主数据管理解决方案构建在前端操作型应用系统中，并存储完整的主数据物理视图。主数据的更新采用的是实时的事务更新方式。 合并模式 分析系统 注册模式的原理及适用场景 §由业务系统进行主数据的创建、更新、删除等操作§MDM仅保存主数据的引用地址。当需要读取MDM上的主数据时，MDM根据引用地址从各业务系统中获取数据 适合场景： 主要问题在于数据不一致，如“员工”、“组织”主数据。 不适合场景： 分散存储的数据，需要将相关的数据片段整合成一个完整的数据视图。 共存模式的原理及适用场景 §主数据依旧在各业务系统进行创建、更新、修改与删除，采用定期抽取的方式增量同步至主数据治理平台§MDM保存主数据的准实时副本，不允许做修改 适合场景： 大部分的与主数据相关的业务逻辑都在业务系统里，剥离出来成本很高，如项目管理系统中的“项目”主数据。 不适合场景： 原业务系统中的数据存在大量的数据质量问题，如不准确，不完整等。 事物模式的原理及适用场景 §从业务系统初次抽取主数据到统一的资料库后，由主数据治理平台进行主数据的创建、更新、删除等操作。§以后每次主数据更新后，由主数据治理平台主动推送或业务系统订阅等方式同步主数据的更新至业务系统 适合场景： §原业务系统中的数据存在大量的数据质量问题，如不准确，不完整等§分散存储的数据，需要将相关的数据片段整合成一个完整的数据视图，如“供应商”主数据，“物料”主数据 不适合场景： 大部分的与主数据相关的业务逻辑都在业务系统里，剥离出来成本很高。 主数据管理系统对交易系统的数据一致性和分析系统的数据标准化都具有重要作用 建设全集团统一的主数据管理平台，对主数据进行统一管理 q数据口径无法统一，数据集成和数据分析能力受制约，主数据管理能力无法满足未来业务需求 q统一规划：明确分布与建设方式q统一标准：统一数据口径 在集团总部构建全集团统一的主数据管理系统，对主数据进行统一管控 主数据管理系统功能框架 主数据管理的主要流程与关键控制节点 主数据变更管理参考流程 •主数据变更管理是针对变更指主数据系统的需求变更或新增需求；主数据治理流程变更；主数据模型调整；主数据标准变更；元数据调整等内容。•数据管理组织的审核、评估等内容需要考虑从主数据层面进行控制，决策协调会控制变更的紧急程度和变动范围。 BU（事业部/工厂/公司）及数据管理组织共同实施变更，并评估变更的效果 主数据问题处理参考流程 •主数据问题处理流程是针对主数据相关问题处理（数据质量、数据服务、数据错误等）的识别、评估、协调、升级、处置和监控报告的流程。主数据问题处理流程依据管理范围包含BU处置的问题和需要跨BU协调的问题。 BU（事业部/工厂/公司）向数据管理组织反馈业务开展或系统运行时所出现的问题，并支持问题的溯源和调查 集团数据管理组织对问题进行确认、调查，给出方案（临时解决方案和监控方案） BU（事业部/工厂/公司）及数据管理组织共同实施临时解决方案，并对问题进行确认和定位，转入变更和质量控制流程 元数据的基本内涵与管理现状 n元数据(Meta Data)泛指描述领域概念(Domain Concepts)、领域关系(Domain Roles)、领域规则(Domain Rules)的数据； n元数据协助企业的规划、设计、业务分析“落地”，为IT系统开发提供指导，从而促进企业统计口径的一致，促进企业流程的规范化。 元数据管理现状 不同的展示工具不同的开发工具不同存储数据库不同的业务定义不同的建模工具不同的专家知识等 元数据可以分为技术元数据和业务元数据两大类，分别为不同的人员提供服务，要有针对性的加以识别和管理 元数据管理可以清晰、直观地了解数据的来源、变化过程、应用对象等信息，当数据源发生变化时，用户借助元数据管理可以快速、直观、准确地分析出数据变化的范围、内容和影响运行环境元数据 元数据管理需要从制度、流程、系统等多个方面入手，要制定较完善的元数据管理制度 •此规范应作为制定元数据管理各个规范的指导原则，同时应说明在企业信息／数据管理的框架下，和其它模块之间的关系 •此规范是对元数据的管理、维护、考核、组织、流程等方面，做一个完整的要求和说明，以确保元数据的可管理性、可维护性、可用性 •由于元数据管理对业务定义、技术规范、系统建设起到了指导作用，所以元数据系统自身的质量要求应该是最为严格。此规范是作为对元数据系统自身的质量要求 •虽然元数据是“数据的数据”，但是它本身仍然是一种数据，也有其生命周期，也应有其生命周期管理规范 •此规范应作为元数据管理对于各个系统的设计、开发、测试、运行、维护的稽核及监控规范 •由于元数据的各个内容都是涉及到跨部门跨专业的，如何维持不同背景的人员对元数据的理解及相关的操作（如创建、维护等）能保持一致，有组织、有系统的培训是达到此一