2024年数据管理趋势报告

2024 年 DATAVERSITY ® 报告 唐娜 · 伯班克和米歇尔 · 奈特 TABLE OF CONTENTS 1. 执行摘要 5 2. 研究和人口统计 6 A. 研究范围B. 主要人口统计 67 1. 工作职能72. 行业代表83. 公司规模9 3. 数据管理的目标和驱动因素 10 A. 目标和驱动因素10B. 挑战和优先事项13 4. 数据管理的现状 15 A. 数据管理的范围15B. 驱动数据管理的角色16C. 数据管理的组成部分17D. 结论性意见20 5. 技术和培训 21 A. 工具和技术21B. 培训22 6. 数据治理和元数据管理 24 A. 数据治理 B. 元数据管理 C. 结论意见 7. 数据体系结构 28 A. 数据管理中的数据架构状态28B. 数据架构的价值29C. 结论性意见30 8. 数据建模 A. 数据管理中的数据建模状态32B. 数据建模方法33C. 模型和图表的类型34D. 结论性意见35 9. 数据平台和存储 36 A. 数据平台36B. 数据平台和存储的未来计划37C. 结论性意见38 10. 新技术和趋势 A. 组织趋势39B. 未来趋势40C. 结论性意见40 13. 关于作者 4312. 生产者 4211. 结论 41 今天的经济由数据驱动，人工智能（AI）和数字经济已成为日常生活中的常见概念。今年调查的一个显著特点是，受访者关注的焦点更多地集中在如何治理支持这些技术的数据，以及确保数据质量上，而不是集中在这些变革性技术的力量上。数据治理以及需要跨职能、数据素养团队来管理企业数据的主题贯穿了今年的调查。关键亮点包括： • 63%的受访者认为其组织将数据视为企业资产。• 数据管理和分析以获得洞察是最大的驱动因素，有72%的回应支持这一观点。• 数据孤岛数量是最大的担忧，有68%的受访者将其列为组织内部的问题。• 在未来1-2年内计划的主要举措包括数据治理（39%）和数据战略（37%），企业希望通过这些举措从数据中创造更多价值并保持可信、安全的信息资产。 2. 研究和人口学 A. 研究范围 DATAVERSITY ® 的2024 年数据管理趋势调查 (TDM)本报告提供了对企业方向和关注点的洞察，随着数据管理的发展而演变。本报告是自2019年起启动的一系列报告中的第六份。 2024年研究的整体结构和方法与2019年以来的往年保持一致。当相关时，我们将以前的数据管理调查结果与2024年的结果进行比较，以确定长期趋势。 今年的调查共有来自全球45个国家的334位受访者。从地理分布来看，受访者的54%来自美国，其次是加拿大的9%，英国（U.K.）的6%，澳大利亚的3%，以及印度的3%。 各行各业、各种规模的企业以及不同角色的企业都进行了调查。大多数受访者从事数据治理相关职位。此外，涵盖了广泛的行业领域，包括制造业、教育和零售业。 这个调查包含26个问题。其中三个问题是开放式的，其余的问题提供了可供选择的答案，并且有些问题要求勾选所有适用的答案。 提供的选框通常包含一个“其他（请说明）”选项，并留有足够的空间填写简短描述。这些评论将在相关分析中予以包含。 调查问题分为 10 个主题 ， 后面是其他注释的空格。这些部分是 ： ••数据管理的目标和驱动因素(四个问题)一般人口统计(四个问题) 数据管理的现状(四个问题) •技术和培训(两个问题) • 数据治理和元数据管理(三个问题) • 数据架构(两个问题) •数据建模(三个问题) • 数据平台和存储(两个问题) • 新技术和趋势(两个问题) DATAVERSITY通过电子邮件宣传活动招募了调查参与者，并利用了Data EducationMonth的相关资源。响应者获得了相关链接。2024 年数据管理趋势调查, 回答问题没有时间限制。 The 334 participants did not receive monetary compensation. Instead, they received the compiled preliminary results from the study. 请注意，调查的回答和评论仅代表这些参与者的观点。 首先，受访者回答了一个关于其职位名称和国籍的一般问题。然后，他们回答了关于其工作职能、行业以及公司员工数量的三个主要人口统计学问题。更多详细信息将在下文中介绍。 1. 工作职能 2024 年调查 (和以前的调查) 中的大多数受访者持有以数据为中心的立场 [图 1]: 按职业划分 ， 2024 年做出回应的前三名职业群体是 ： • 信息 / 数据治理 ： 35% • 数据和 / 或信息架构 ： 21% • 顾问 ： 11% 其余的角色跨越从企业高管到学术 / 研究人员再到技术 / 工程角色。 2. 行业代表 2024 年 ， 代表了 40 多个行业 [图 2] ： 前五大部门包括 ： • 咨询 ： 14% • 政府： 12% • 教育 ： 8%• 财务 ： 7% 结果表明，各种类型的组织都能从数据管理中受益。虽然历史上数据管理主要局限于金融和政府等行业，但现在我们看到的数据管理应用已经扩展到了各行各业，包括制造业、教育业和零售业等，以及更多领域。 3. 公司规模 尽管参与调查的企业规模不一，但超过三分之二的受访者来自拥有超过1,000名员工的公司[[图3]]： 前 3 个部分包括以下内容 ： • 10, 000 及以上 ： 28％ • 1, 000 - 4, 999 ：24 ％ • 5, 000 - 9, 999： 16 ％ 在过去，只有最大的组织才对数据管理感兴趣并能够承担其成本。如今，所有规模的组织都对数据管理感兴趣并从中受益。此外，工具和解决方案（尤其是云解决方案）的可用性帮助小型组织获得了过去无法获得的功能。 3. 数据管理目标和驱动程序 DAMA International 的 “数据管理知识体系 ” (DAMA DMBoK） 具有公认的行业标准数据管理定义。它说 ： 数据管理是指在整个生命周期中开发、执行和监督计划、政策、项目和实践，以交付、控制、保护和提升数据和信息资产的价值。 我们确认DAMA-DMBoK的权威性作为本报告中使用的定义。为了理解数据管理的重要性，我们提出了四个关于目标、优先事项和挑战的问题。 A. 目标和驱动因素 为了了解数据管理对组织的重要性 ， 调查要求 [图 4] ： 2024 年的前五个目标和驱动因素如下 ： • 通过报告与分析获取洞察：72%• 节省成本并提高效率：63%• 支持数字化转型：62%• 遵守法规：55%• 降低风险：52% 成为数据驱动组织并基于数据做出决策的目标再次成为数据管理的主要驱动力，这一目标一直保持不变，每年都是如此。通过报告和分析获得洞察是数据管理的第一大驱动力，有72%的受访者将其列为优先事项。越来越多的企业依赖商业智能和高级分析来驱动决策制定。 数据的使用不仅限于报告和分析，组织还利用数据来改进其核心业务运营。目标是降低成本和提高效率。 数据 t 是第二受欢迎的回应 ， 63% 的组织选择了这个回应。 不仅强大的数据管理能够提高数据操作的效率，使数据团队花费更少的时间在手动或低效的工作上，而且更重要的是，数据还能提升业务运营的效率。强大的产品主数据推动了供应链运作和定价效率的改进。集中化的供应商主数据可以驱动供应商上线流程的简化和采购过程的优化。几乎组织的每一个方面都可以通过强大的数据基础得到改进。 同样地，数字转型——作为第三大驱动力，获得了62%的响应支持——得益于坚实的数据基础。组织在数字化世界中寻求利用数据的方式多种多样，反映出这些组织本身的多样性。这种向数据驱动型组织转变的趋势正在不断加强。 例如，随着公司寻求在线销售更多产品，强大的产品主数据目录变得至关重要。希望在数字世界优化客户旅程的组织通常会通过客户主数据和客户互动的数字线索来构建“全方位客户视图”。 遵守法规和降低风险是调查中多次提及的首要驱动力。随着法规要求的不断上升，尤其是关于数据隐私方面（例如CCPA、GDPR等），组织被要求加强其数据管理能力。例如，针对数据主体访问请求的要求，组织需要对消费者数据进行全面追踪，并需加强对数据治理、元数据管理和主数据管理（MDM）等领域的关注。 通过报告和分析获得洞察是数据管理的主要驱动力，有72%的受访者将其列为优先事项。 我们还想知道组织如何重视数据 ， 并询问 [图 5] ： ▶“您的组织是否将数据视为公司资产 ？ ” 尽管上一个问题表明组织从数据管理中获得了诸多好处，但只有63%的组织认为其数据被视为企业资产并得到相应管理。 B. 挑战和优先事项 每个人都面临实现数据管理目标的困难，无论他们是否将数据视为资产。为了更好地了解这些挑战，我们对参与者提出了以下问题（如图6所示）： 参与者在 2024 年选择了以下五大挑战 ： ••••数据孤岛数量 ： 68%(2023 年为 61%)数据素养 ： 58%(2023 年为 57%)数据质量问题 ： 56%(2023 年为 55%)缺乏数据治理 ： 51%(2023 年为 50%) 技能短缺 ： 41%(2023 年为 44%) 数据孤岛位居首位，成为组织面临的主要挑战。自2023年以来，这一问题增加了7%。实现企业范围内的“单一版本的真相”仍然只是许多企业的愿景。数据孤岛现象加剧了多个因素的影响：组织报告结构、缺乏互操作性的软件应用、文化因素等。而第四大主要挑战——缺乏数据治理——也进一步导致了无法在企业层面解决数据管理问题。 数据素养和技能短缺分别排在第二和第五位。随着组织致力于成为数据驱动型组织，并基于数据做出战略决策，他们需要一支由业务和技术利益相关者组成的强大团队，了解如何分析、管理和治理组织的数据。虽然许多组织已经开始实施正式的数据培训和意识提升项目，但技能和知识水平仍然落后于所需标准。 数据质量是调查中普遍存在的一个关切点。缺乏对数据的信任会削弱基于数据做出决策的能力。没有强大的数据治理计划，实现高质量的数据极为困难。 为了更好地了解面临的挑战，我们在2024-2025年期间跟进了一个开放性问题，询问组织在数据管理方面的优先事项和目标。 首要优先事项是数据治理，紧随其后的是数据质量。接下来最受欢迎的手动回复是元数据管理以及数据目录，还包括主数据和参考数据管理，这些能力强烈支持数据治理和质量。 我们看到，在监管重点重新聚焦的情况下，数据管理努力呈现出加强和更新的趋势。随着组织越来越多地采用人工智能项目，有效数据治理的需求变得愈发关键，以确保AI系统中数据的可靠、透明和伦理使用。为了支持这一对数据管理和治理的强化关注，组织可以从采纳数据管理行业标准并利用改进的自动化工具中受益。 4. 数据管理的现状 为了获得更全面的数据管理理解，DATAVERSITY 提问了四个关于组织范围、角色和组件的问题。部分参与者还在提供的空间中留下了额外的评论。 A. 数据管理的范围 为了了解数据管理对组织的影响程度 ， 调查要求 [图 7] ： ▶“您的组织中数据管理的范围是什么 ？ ” 调查结果显示 ： • 我们有企业级努力：51%• 我们没有稳健的数据管理实践：21%• 我们仅在个别项目中实施数据管理：19%• 其他（请指定）：7%• 不清楚：2% 即使存在强烈的企业需求和数据带来的好处，也只有51%的组织声称已经开展了企业级的数据工作。这与之前提到的组织面临的最大挑战是数据孤岛现象相一致。请参阅第 3节 ： 数据管理的目标和驱动因素) 尽管数据具有价值，或者正是因为其价值，组织内的各个部门和团队在共同努力方面仍然面临挑战。 一种有效管理数据的一致方式。这体现了数据治理的必要性，以在整个组织内对齐所有关键利益相关者，并为数据的多样化需求和优先级发声。 责任涵盖广泛的职位