夯实企业数据能力基础，用好数据中台这把尚方宝剑

夯实企业数据能力基础，用好数据中台这把尚方宝剑 背景概况：“十四五”规划中，国务院国资委在《关于加快推进国有企业数字化转型工作的通知》中提出了加速传统企业全方位、全角度、全链条的数字化转型。随后，各行各业的相关监管机构也对数字化提出新的要求，例如银保监会在今年发布了《关于银行业保险业数字化转型的指导意见》。数字化转型的本质是企业对自身数据资产逐步实现管理运用的过程，数据资产在集成整合的基础上才能更好地发挥其价值。大部分企业通过构建数据中台、数据湖等数据平台以求实现数据资产的整合，但由于企业缺乏顶层设计和规划，无法发挥这些数据平台的价值，信息孤岛问题依旧是当今数字化过程的痛点之一。一、数字化转型背景下的数据中台“热潮”企业数字化转型路径企业的数字化可以划分为三个不同的阶段过程：信息化、数字化、智能化。信息化阶段：企业逐步实现业务和管理的信息化，信息的留存由人工记录的形式转为系统存储，但信息价值未被深入地开发利用。数字化阶段：企业在这一阶段开始打通自身的信息孤岛，让数据得以链接，并通过人机交互产生价值，最终将原先系统跟系统之间的互联互通升级为人、机器之间的互联互通。智能化阶段：随着数据的成熟应用，企业开始通过数据驱动、数据赋能实现业务、管理决策的自动化。数字化阶段是一个分水岭，在此阶段前，企业侧重于数据的存储采集、处理效率。此阶段后，企业逐步打破信息壁垒，致力于实现数据资产的整合及价值挖掘。夯实企业数据能力基础，用好数据中台这把尚方宝剑| 2阶段特点：企业在有一定的业务基础后，开始逐渐建立各种业务管理系统，通过系统代替原先的手工台账及人工计算，业务信息记录在专业的数据库中。信息化智能化数字化阶段特点：企业打通自身的信息孤岛并让数据得以链接，实现人与人、人与机器、机器与机器之间的互联互通。阶段特点：企业实现由“人”决策，转为由“数据智能”进行决策，通过数据赋能对业务、管理流程进行重构。渐渐褪去的“热潮”数据中台是中国本土诞生的一个名词，也是近些年的行业风口，处在数字化阶段或者即将迈向数字化阶段的企业似乎都会采购与开发一套相关的数据产品，试图打破自身的信息壁垒，实现数据资产整合利用。在国家战略和政策对数字化转型的支持下，数据中台的市场规模在前期呈现明显增长，但增长幅度却未能维持，呈持续下降趋势。0%20%40%60%80%100%120%140%0501001502002018201920202021202220232018年-2023年中国数据中台市场规模市场规模（亿元）增长率数据来源：艾瑞咨询《中国数据中台行业白皮书》 二、数据中台的两块砥石——企业级数据治理体系与数据模型数据中台的困境和挑战数据中台为企业提供了高效查询和低成本存储的基础，赋能了企业的运营和决策，但大部分企业难以运用和掌握数据中台所带来的能力，导致其成效不高、投资回报周期长，这也一定程度解释了市场反响逐年下降的原因。企业在数据中台上所面临的困境有以下原因。1.认知浅薄，推广不到位：部分的企业管理者和相关团队对数据中台缺乏全面认知，在盲目跟风下进行搭建，且未在企业中进行推广和宣导。2. 缺乏顶层设计规划：在搭建之初部分的企业未进行流程、架构和管理体系等方面的规划设计，依旧沿袭过去烟囱式的数据开发、信息存储，导致数据使用依旧呈现混乱的局面。3.数据管理能力不匹配：部分的企业注重于汇聚数据，而忽视了对数据本身的管理，数据在各环节中存在数据来源不清晰、数据口径不统一和数据质量难把控等问题，导致用数困难。夯实企业数据能力基础，用好数据中台这把尚方宝剑| 3企业级数据治理体系与数据模型共同构成了企业数据能力的基础，只有夯实了数据基础，企业才能有效地发挥数据中台的价值。企业数据治理体系下的数据中台管理数据中台与数据治理应是相辅相成的关系。数据中台汇聚了各方数据并承载了分析人员的数据需求，适合以其作为抓手，发现数据使用过程中的薄弱环节，促进数据治理体系的形成和落地。同时，数据治理体系加强了数据中台的服务能力。数据中台的实施需要在企业数据治理体系下进行管理和约束，要考虑和遵循数据标准、数据安全、元数据和数据质量等管理领域的要求和规范。数据资产管理运营框架数据生命周期管理：采集、传输、存储、处理、共享、销毁保障体系管理架构管理政策和程序评价机制管理策略审计机制人才建设数据资产管理数据资产目录数据资产地图数据血缘关系标签与指标数据资产分析数据资产盘点盘点变更处置应用评估识别共享共治共建内外部数据统一管理数据资产运营法规资产确权确权估值估值方法估值管理计量流通风险管控隐私保护交易平台服务......管理数据安全..................赋能平台工具（数据中台）数据资产管理职能数据质量管理数据标准管理主数据管理数据共享管理数据价值管理元数据管理数据安全管理数据模型管理数据资产管理框架制度、流程融通、共享数据产品开发数据资产增值数据资产质量数据资产评价 企业有必要构建专业的数据运维团队，将数据治理的理念与要求融入团队，沉淀出原则和方法论，制定数据开发流程并搭建数据治理开发平台，以保证数据中台平稳、规范地运作，并能持续得到优化。夯实企业数据能力基础，用好数据中台这把尚方宝剑| 4数据中台下的企业级数据模型设计在数据中台的搭建中，数据模型是整合多源异构信息的关键，也是业务与技术沟通的桥梁。数模设计是一个老生常谈的问题，业内也有多套方法理论，常见的以维度建模和关系建模为主，但企业和厂商都有不同的见解，关键问题是如何做好数据一致性与成本效率的取舍。关系建模创始人：Bill Inmon数据仓库之父，数据仓库概念、关系建模的创始人特点：遵循三范式，通过业务实体间的关系对数据进行组织优点：数据冗余少，更新、存储效率高，可保证数据的一致性缺点：设计成本高，周期长，依赖于数据模型团队本身的经验和资产沉淀维度建模创始人：Ralph Kimball数据仓库方面的知名学者、维度建模的提出者特点：面向分析应用场景的建模方法，通过度量和维度进行数据的组织优点：数据针对各个维度进行了预先的处理，极大地提升了分析效率。面向需求，构建成本低缺点：容易造成数据冗余，丧失数据的一致性，使数据中台变为“数据沼泽”VS来源出处：Bill Inmon《Buildingthe Data Warehouse》、Ralph Kimball《TheData Warehouse Tookit》►数据需求单表、字段需求是否紧急是否需要记录数据变更轨迹......环节输入企业数据治理体系数据范围信息探索与设计模型开发与测试模型上线与交付1324数据治理开发平台►业务系统元数据数据字典系统需求说明书►数据平台开发规范数据模型统一命名规范数据模型枚举值环节输入►数据模型开发方案数据加载策略初始化方案数据验证语句环节输入►数据模型开发方案►数据模型交付说明归属主题域表、字段说明枚举值......环节输入►需求排期数据模型测试时间数据模型开发完成时间数据模型设计人员数据模型开发人员......环节输出环节输出►建表语句►ETL脚本►测试报告►开放元数据更新......环节输出►数据验证确认►数据交付确认......环节输出►映射文档业务系统数据与数据模型的映射关系字段级数据加工逻辑►E-R关系图►数据模型开发方案 在模型设计上，企业可考虑两个方面。1. 模型所在的架构层级：数据中台是分层级进行运作和维护的，由于数据架构的规划中每一层级都有各自的目的，往往应结合实际的需求去考虑实施的理论，这样才能使得效益最大化。夯实企业数据能力基础，用好数据中台这把尚方宝剑| 5ODS贴源层目的和特点：►进入数据中台的接入点►从一个或者多个源系统获取数据DWD+DWS整合层目的和特点：►面向企业级需求，中立于特定流程及应用►对逻辑数据模型的物理实现►目的是以单一整合的数据格式存储数据►以提升跨功能域的使用性能和效率ADS应用层目的和特点：►面向特定业务问题，对数据模型重新组织►在安全和可控的环境中最大化用户使用友好度►优化回答业务问题的性能无需整合建模关系建模/维度建模维度建模交付方便对接入层数据的使用。可能有多种使用方式，比如在线分析，统计分析，报表，仪表盘或者各类应用程序等数据源接入各种系统或者流程涉及的应该或者可能用作分析的数据。包括：1. 结构化数据，如业务系统的客户数据和交易数据2. 多结构化数据，如日志数据、机器数据或文本数据等2. 数据的价值密度：以保险行业为例，客户数据和核心交易数据在各个分析场景都会被普遍使用，价值密度高，应以关系建模进行设计，保证这些数据的一致性。但行程步数、文章浏览记录等互联网数据，数据价值密度并不高，只适用于很少量的分析场景，更适合通过维度模型进行设计以降低成本。模型设计的出发点是为了企业数据平台更好地进行数据的组织、存储和使用。理论上，没有一种完全适配所有场景的建模理论，企业需要在特定的场景下，在性能、成本、效率和数据质量中做出选择，找到平衡点。►数据使用者能够快速查询所需的数据，减少数据I/O以及查询时耗。访问性能►减少不必要的数据冗余，实现计算结果数据复用，降低大数据系统中的存储成本和计算成本。数据成本►改善用户应用体验，提升数据分析的便利性及数据使用效率。使用效率►解决数据统计口径的不一致性，减少数据错误的可能性，提供高质量、高一致性的数据访问。数据质量 三、案例实践某寿险企业在数字化转型阶段，通过数据治理和数据中台两头共进的方式，成功解决自身的数据痛点，实现数据资产的价值挖掘。该企业在数据中台搭建前期所面临的痛点：1. 多源异构的信息：企业采集接入内外部信息，由于不同的形态和口径造成数据管理和分析的成本上升。2. 历史数据质量差：历史存量数据质量问题多，数据不可用，分析难度大。3. 烟囱式的应用开发：不同部门的数据人员各自开发报表，相同含义的指标在不同报表存在不同的加工逻辑，未实现数据共享，资源难以沉淀。最终，该企业通过以下手段和对策逐一解决痛点。1. 制定数据标准且严格实施：制定统一的数据标准，在数据中台参照数据标准进行规划和实施，确保同一口径的数据在各层级中以相同的规范和格式进行存储。2. 建立数据质量机制：在数据中台建立数据质量评估机制，采取事前和事后的处理机制。对于增量数据采取事前处理，避免出现新的脏数据，并在源头解决数据质量问题。对于存量数据采取事后处理机制，通过专项行动，定期解决历史数据问题。3. 重视数据中台的顶层设计：合理规划数据中台的架构与数据模型设计，规范明细数据和汇总数据的模型设计。从明细数据来看，企业采取关系建模和维度建模相结合的方式进行设计，对黄金数据注重集成整合，对边缘数据注重高效实现。从汇总数据来看，企业建立统一的指标库和标签库，保证共用汇总数据的一致性。以面向客户主题的专题分析为例，其建立自然人、法人分析库，预先加工共用的客户统一分析需求，如客户标签、客户关系分析、客户价值分析等，支撑客户视图、客户脸谱等，统一了客户分析的数据口径，避免了烟囱式的应用开发。夯实企业数据能力基础，用好数据中台这把尚方宝剑| 6源系统贴源层客户信息交易数据触点数据日志数据行为数据埋点数据业务应用客户视图分群分层客户脸谱服务图谱智能风控......客户标签客户关系客户价值客户需求线索分析活动分析产品分析风险分析......自然人分析库法人分析库公共数据层明细数据汇总数据客户统一分析四、团队介绍安永金融管理咨询团队以多年的专业实践沉淀，积累了丰富的数字化转型实施经验，能为包括金融业在内的各企业提供数字化转型一站式解决方案，从数据治理、中台建设，到前端产品应用，致力充分激发客户多年沉淀的业务数据价值，发挥数据经营决策效能，为企业发展再突破构建强有力的保障。 安永| 建设更美好的商业世界安永的宗旨是建设更美好的商业世界。我们致力帮助客户、员工及社会各界创造长期价值，同时在资本市场建立信任。在数据及科技赋能下，安永的多元化团队通过鉴证服务，于150多个国家及地区构建信任，并协助企业成长、转型和运营。在审计、咨询、法律、战略、税务与交易的专业服务领域，安永团队对当前最复杂迫切的挑战，提出更