破解数据化运营困境建立价值导向的企业级数据字典体系

建立价值导向的企业级数据字典体系 主题专家 张玉明先生是IBM副合伙人，IBM Consulting金融核心锐变团队数据转型与创新负责人，主要关注于金融行业数据中台、大数据战略与分析咨询、数字化战略转型、数据架构规划、企业级数据治理及数据资产管理解决方案等方面。他领导过多个金融企业的大数据分析与人工智能技术应用、大数据应用架构、数据运营体系、业务咨询乃至系统实施项目。 张玉明 IBM副合伙人，IBM Consulting金融核心锐变团队数据转型与创新负责人zhangyum@cn.ibm.com 韩玲玲女士是IBM Consulting金融核心锐变团队的咨询经理，她拥有超过16年丰富的数据咨询与实施项目经验，在数据战略规划、数据治理管控、数据资产管理等领域具备成熟的实践背景和专业知识。她服务于多个重要行业，如银行、保险和制造业等，为客户提供了一系列高质量的咨询服务和解决方案，涵盖企业级数据战略、数据治理、数据资产等领域的解决方案。 韩玲玲IBM Consulting金融核心锐变团队数据转型与创新咨询经理hllhanbj@cn.ibm.com 侯志伟先生是IBM Consulting金融核心锐变团队的咨询经理，他具备超过18年丰富的数据咨询与实施项目经验，他在数据治理、IT战略规划、数据战略规划、数据中台建设以及数字化战略转型等领域均有着深厚的实践背景。凭借卓越的专业知识和经验，为金融业和制造业等大型机构提供企业级数字化转型策略、数据治理方案以及数据战略规划等全方位的解决方案。 侯志伟 IBM Consulting金融核心锐变团队数据转型与创新咨询经理hzwhou@cn.ibm.com 张微女士是IBM Consulting金融核心锐变团队的咨询经理。她拥有15年以上的数据咨询与实施项目经验。在数据质量、数据标准、数据架构、数据模型、数据资产盘点等方面均拥有成熟的实践经验，为银行、证券、电信等大型机构提供数据治理、数据集市等解决方案。 张微 IBM Consulting金融核心锐变团队数据转型与创新咨询经理Wei.zhw.Zhang@ibm.com 程倾女士是IBM Consulting金融核心锐变团队的高级咨询顾问。她拥有5年以上的数据咨询与实施项目经验。在数据标准、主数据、数据安全等方面均拥有成熟的实践经验，为银行、券商、汽车等大型机构提供企业级的数字化转型、数据治理、AI智能应用等解决方案。 程倾IBM Consulting金融核心锐变团队数据转型与创新高级咨询顾问Qing.Cheng@ibm.com 王莉IBM商业价值研究院高级咨询经理gbswangl@cn.ibm.com 王莉女士是IBM商业价值研究院的高级咨询经理，担任IBM全球高管调研项目和对标分析项目的大中华区项目负责人。她拥有17年以上的管理咨询和管理研究经验。王莉女士目前所关注的研究领域包括数字化转型、无边界企业、人工智能等，旨在帮助各行业客户创造新的商业机会、发现和传递价值。 摘要 难以挣脱的“数据旋涡” 数据管理挑战严峻，众多数据治理措施仍难以有效根除顽疾，陷入漩涡。 数据字典建设之“营造法式” 数据字典建设的关键策略：顶层设计，精益求精，彰显价值，反哺业务。 未来行动指南 数据字典成为企业数字化转型关键：全员参与、融合AI技术、获得高层支持。 前言 随着数字化转型的深入发展，数据作为新生产要素有望成为企业增长和创新的核心驱动力，其重要性被提到了空前高度。2023年8月，财政部发布了《企业数据资源相关会计处理暂行规定》，1为企业如何合理有效地管理和利用数据资源提供了指导和规范，强调了清晰界定和准确计量数据资源的重要性。2024年1月，国家数据局启动了《“数据要素 ×”三年行动计划(2024―2026年)》，2旨在推动数据要素市场的发展，从国家层面对企业如何利用数据进行了深入规划和布局，强调了发挥各领域数据要素乘数效应，推动数据要素应用的广度和深度。在这样的大环境下，各领域各行业如何打造自身的数据要素基础，尤其是构筑规范化、标准化的数据要素底座将成为企业数据管理的首要任务，其重要性不言而喻。 近年来，越来越多的大型机构开始意识到企业级数据字典的重要性，并相继开展企业级数据字典的建设和落地工作，这也成为数据要素建设的基础性工作。IBM认为，企业级数据字典是“企业范围内数据项的集合（去重），覆盖企业内各业务和技术活动中涉及的所有数据信息，通过对数据信息的表达、格式及定义的一致约定，实现对数据标准化、结构化的描述，为企业的业务、技术人员提供统一的数据项规范”。相比于传统IT开发过程中使用的数据字典，企业级数据字典将数据标准化工作范围拓广到全领域的数据，并且更关注跨业务领域、跨应用系统间的数据共享，以及业务与技术间的对数据理解和实现的一致性。 在数据治理领域，数据字典曾被视为一种强化管理的工具。然而，随着大模型技术的日臻成熟，数据字典的角色已悄然转变。企业级数据字典对企业内部数据元素的标准化定义和描述，构建起一套统一的数据语言和知识体系，几乎涵盖了企业内所有业务相关的知识信息。它不再仅仅是管控数据的技术手段，而是成为企业构建专业领域知识库的关键能力，能够助力企业在智能化的大模型应用中脱颖而出。 挑战：难以挣脱的“数据旋涡” 在数据驱动的商业环境中，企业面临着日益严峻的数据管理挑战。数据的处理和利用效率已成为衡量企业竞争力的新标杆。然而，数据生命周期中的采集、存储、分析和应用环节常常问题重重，让企业应接不暇。如果企业仅仅依赖临时性的应对措施，例如“搞运动”式的数据治理专项整改，虽能暂时缓解眼前之困，却无法从根本上解决问题，这将严重制约企业和组织的发展。 数据碎片化是企业普遍面临的问题。尽管企业每日生成海量数据，但这些宝贵的信息资源往往散落在各个部门和系统之中，从而形成信息孤岛。企业内部信息壁垒难以打破，难以实现数据价值的最大化。 此外，数据质量问题亦不容忽视。在许多情况下，由于数据采集和处理的非标准化，大量噪音和错误数据随之产生，严重影响了数据的准确性和可靠性。尽管企业坐拥庞大的数据资源，如何从中提炼出具有价值的信息，并将这些信息转化为切实可行的洞察和行动，仍然是一项极具挑战性的任务。IBM商业价值研究院的调研表明，有40%的全球CEO和38%的大中华区CEO认同，他们的企业在很大程度上面临的数据挑战是难以识别有意义的洞察。3 策略：数据字典之“营造法式” 美国管理学家弗雷德里克·泰勒的科学管理思想体系的核心就是标准化。当代诸如国际化标准组织（ISO）、良好操作规范（GMP）等标准化管理体系，沿用的基本也是泰勒的标准化思想和工作方法。4虽然科学管理的标准化思想诞生于100年前，但仍然对今天的企业推动数字化转型具有重要的借鉴意义。 企业级数据字典是标准化管理思想在企业数字化转型过程中的一种科学实践。数据字典通过提供统一的数据定义、格式和标准，确保整个组织内部数据的一致性，这对于跨部门协作和系统集成至关重要。此外，数据字典作为一个数据资产全域目录，使得数据更容易被发现和重用，促进了数据驱动的创新和业务增长。 但在具体实践中，企业级数据字典的构建与应用常常陷入认识误区。首先，数据字典的重要性尚未得到充分认识，往往被视为技术部门的专属责任，缺乏高层支持。如果没有业务部门的积极参与，数据字典的建设将变得异常艰难。其次，数据字典的落地实施也面临挑战。它要求改变现有的产品研发流程，而这往往容易遭到业务用户和科技人员的抵触，他们对于遵循标准化要求常常持保留态度。 基于对行业领先实践和项目实施经验的深入分析，IBM系统地提炼了一套高效的企业级数据字典工作方法及其应用策略。通过综合考量宏观和微观两个层面的因素，我们提出了三项关键策略： 提高站位，收益导向 企业级数据字典超越了单一系统的局限，与传统数据标准有着明显的区别。它融合了企业内多个业务领域和信息系统的数据资源，其应用范围横跨整个集团或企业分支机构，而不仅限于个别部门或局部系统的使用。这种数据字典能够支持跨部门、跨流程、跨系统对数据的使用，实现了数据的全方位整合和共享。相较于数据标准，企业级数据字典的覆盖范围更广泛、更全面，它是对数据标准的深化和延展，提供了一个更为丰富和具体的语义描述和管理框架。 业务收益的绩效归因 企业级数据字典的建设不仅是技术问题，更是涉及企业战略、管理、文化和流程的全面变革。因此，企业高层领导的重视和参与至关重要。而企业高管层的重视往往建立在数据字典工作对企业的业务价值提升的基础之上。为此，IBM根据多年数据治理的实践经验，总结出数据字典工作提升业务价值的绩效归因指标，示例如下： 以上绩效归因指标证明了数据字典工作对业务收益增加所带来的贡献和价值，也论证了数据字典工作的有效性和成本持续投入的合理性。有了高层领导和相关利益干系人的支持（包括资金支持、资源支持、政策支持等），数据字典工作的开展才会更加顺利。 人人参与，人人有责 案例 某股份制银行在开展企业级数据字典编制工作时，通过公司董事长领导挂帅、业务部门牵头、科技部门配合、数据管理部门复核的协同方式，积极调动全行超过20个业务部门参与数据字典的编制工作。其中，董事长直接过问数据字典建设进程和落地进展；业务部门负责对数据中文名称、业务定义、业务规则等进行初稿编制；科技部门负责对数据类型、长度等内容进行定义；数据管理部门负责对数据字典整体内容进行复核、完善和确认。各部门充分发挥各自的专业领域知识和经验，共同努力、高效配合，对全行关键系统进行多轮滚动整合和萃取，最终形成了覆盖对公、零售、同业等业务领域的万余项企业级数据字典。6 企业级数据字典的编制是跨部门的协作成果，尤其需要业务部门的深度参与。现实中，技术或数据管理部门牵头、业务部门辅助的模式常因缺乏业务部门的充分投入而效果不佳。建议由公司“一把手”直接督导，以业务部门为核心，使其提供专业知识输入，确保数据字典的准确性和实用性。同时，还需要明确各部门的职责划分，确定每个数据项的责任主体，为数据的归属提供坚实的依据，确保数据字典的实施有据可依。通过这种协同作业，不仅能够提升数据字典的质量，还能够促进跨部门的沟通与协作，为企业信息系统的稳健发展奠定坚实基础。 确保数据字典的权威性 案例 纵横平台智能匹配工具（Smart Data Mapping,以下简称为SDM）是IBM以通用数据字典为核心，利用NLP自然语言处理算法、深度学习模型等AI技术，通过内置的IBM行业数据字典规范与预训练的AI算法模型，进行数据匹配和自动映射的工具。IBM曾使用SDM的智能映射匹配、词根分析等功能，为某股份制银行完成数万项数据字典的编制工作。其中包括：1）自动化检核字典项属性值的内容，完成对共计超过30万个字典项属性值的内容进行质量检核，相较于纯人工质检节省了80%时间；2）自动化生成字典项英文名称与简称，大幅减少人工逐项编写的时间成本，同时保障词根英文翻译的一致性。 企业级数据字典不应仅存于纸上，而应深入融合到企业的信息系统与业务流程中，充分发挥其应用潜力。为此，数据字典的发布质量与权威性显得尤为重要。通常情况下，企业级数据字典的规模可达数万级别，涵盖众多参与者及复杂的定义规范，牵涉到大量的细节问题。若完全依赖人力投入，不仅耗时耗力，而且难以保证质量。因此，有必要借助自动化、智能化工具来提升数据字典的精确度、实用性与时效性。例如，依据数据项的名称自动生成数据的分类、业务定义等属性，同时实施规范化检测以提高数据字典编制的质量，并对不符合规范的内容提供相应的提示。 此外，数据字典的发布应经过广泛的意见征集，并严格遵循审批流程，确保其全面性和适用性。建立清晰的数据字典版本管理机制，是维护其稳定性和可追溯性的关键。同时，针对现有和新建系统，采取差异化的实施策略，确保数据字典能够在不同环境中有效落地。 精益求精，做到“统、实、严” –句法原则，即规范中文命名的基本结构及词语的排列顺序。–准确性原则，即确保中文表达的信息准确，避