为中国数字化未来解锁数据编织解决方案

Denodo 平台的逻辑数据管理功能如何 为中国现代企业提供支持 作者：Denodo（丹诺德）2024 年 10 月 摘要 中国将不断发展的数据产业与更广泛的数字化转型相结合，在云计算、AI和电商等领域取得快速发展。中国数字化转型的快速步伐导致企业内部数据激增。 随着中国企业越来越依赖数据来推动创新和决策，企业在管理、集成和利用各种数据源方面面临前所未有的挑战。虽然许多公司已实施数据仓库和数据湖，但数据源的复杂性（结构化、半结构化和非结构化）仍在不断增长。本白皮书介绍数据管理领导者 Denodo 对 98 家中国企业的调研结果，并展示Denodo 平台的逻辑数据管理功能如何通过提供无缝的数据集成、治理和敏捷性来应对这些挑战。 Denodo 平台通过实现对统一数据的实时访问、支持明智的决策以及为未来的数字化转型铺平道路来赋能企业。本白皮书将探讨Denodo平台如何帮助中国企业减少数据孤岛、提高运营效率并获得竞争优势。 中国走在数字化转型的前沿 2023年，中国产生了32ZB的数据，走在了数字化转型浪潮的前沿。得益于这一蓬勃发展的经济增长，中国数据驱动型企业的数量在过去十年中从11万家激增至100多万家。据中国信息通信研究院报告，截至去年底，中国有效AI发明专利数量已达37.8万件，同比增长率超过40%，是全球平均水平的1.4倍。 中国数字化转型的快速步伐导致企业内部数据激增。2023 年，中国数据库行业市场规模超过 520 亿人民币（72.8 亿美元），预计到 2028 年将达到 930.3 亿元人民币。 与此同时，类似欧洲GDPR 的中国《个人信息保护法》（PIPL）等法规保护着中国居民的个人数据。适用于处理此类数据的任何组织，无论是中国境内还是境外。该法律赋予数据主体访问、删除和限制个人数据使用等权利，同时要求数据处理者出于合法目的处理信息并尽量减少其使用。强制实施强大的安全措施、定期评估和审计, 不遵守规定可能导致最高 5000 万元人民币（约770 万美元）或年收入 5% 的罚款。 这样的法规加剧了中国数据管理领域面临的关键问题：需要整合不同数据源。当企业力求最大限度发挥数据价值时，即面临着多重挑战，包括分散的系统、复杂的数据环境以及日益增长的合规性要求（如 PIPL）。 根据 Denodo 的调研，虽然 65% 的企业已经实施了数据仓库或数据湖，但数据环境碎片化仍然很普遍，这使得数据管理成为一个关键痛点。 中国企业使用的主要数据来源 《管理与社会科学学术期刊》发表的研究也证实这一点，该研究称中国企业面临着数据获取、数据处理、数据应用、数据安全和隐私保护等诸多问题。 具体来说，提到的挑战包括： ■企业需要从多个渠道获取数据，需要清理和整理数据供后续分析和应用。中国企业在数据获取方面存在数据质量低、数据孤岛等问题。 ■数据处理方面，数据存储成本高、数据处理速度慢、数据分析能力差。 ■缺乏有效的数据分析模型，缺乏合适的数据应用场景，数据应用能力不足。 ■数据泄露和被盗的风险 Denodo 的逻辑数据管理方法无需复制即可集成数据，为这些挑战提供了可扩展的解决方案。此外，随着生成式AI (Gen AI)的普及，Denodo 通过提供实时数据基础来确保始终提供准确、受治理的数据，从而使企业能够更有效地利用AI。 逻辑数据管理优势 Denodo 是数据管理领域的领导者。屡获殊荣的 Denodo 平台是领先的逻辑数据管理平台，能够以业务语言和业务速度为整个组织所有数据相关计划提供数据。Denodo 的客户遍布全球 30 多个行业的企业，实现了超过 400% 的投资回报率和数千万元乃至亿级收益，在不到六个月的时间内就收回了投资成本。 Denodo 的逻辑数据管理改变了数据集成和访问的范式。传统的基于 ETL 的方法涉及将数据从各种来源移动或复制到集中式存储库，带来延迟、复杂性和成本。相比之下，Denodo 创建了一个虚拟层，允许实时访问数据，无论数据位于何处——云端、本地还是跨混合系统。这种方法可以加快决策速度、简化治理并降低运营成本。 Denodo 逻辑数据管理的主要优势包括： ■跨所有数据源的实时访问：企业可以即时查询数据，确保始终可以获得最新见解。■统一治理与合规性：单一访问层允许一致的策略执行，对于面临严格监管的行业（如金融、医疗保健和制造业）至关重要。■降低成本和复杂性：通过消除对物理数据移动的需求，Denodo 平台降低了基础设施成本，加快价值实现时间。 Denodo 调研中确定的关键挑战 对 98 家中国企业的调查突出了 Denodo 平台解决的几个关键数据管理挑战： 分散的数据源 超过 55% 的企业管理来自三个或更多来源的数据，46% 的企业有集成分散数据源的需求。65% 的企业已经实施了数据湖和数据仓库。许多企业依赖与现代云平台不兼容的遗留系统，使得实现统一的数据环境具有挑战性。 中国企业数据管理痛点与需求 我们将其称为“分布式数据问题”。其他调查也表明，企业每天可能使用数百个数据源。企业数据量每月增长 60% 到 100%。如今，许多企业都在分布式计算框架内运作，其中数据和操作分布在各种本地系统、多个云平台和边缘设备上。在如此复杂设置中，定位和管理数据变得越来越具有挑战性，更不用说为分析、数据科学和机器学习提供数据了。上述结果中值得注意的是，尽管很大一部分受访者已经实施了数据湖和数据仓库，这些挑战仍然存在。 Denodo 平台创建了一个统一层，集成来自各种环境的结构化、半结构化和非结构化数据，而无需物理移动数据。这使企业能够跨云和本地环境访问数据，从而提高一致性并实现实时可用。该平台与商业技术和开源技术协同工作的灵活性，对于管理多样化IT环境的中国公司来说尤为重要。 非结构化数据使用量不断增长 调研显示，51% 的企业认为文档、电子邮件和多媒体等非结构化数据对其运营至关重要。然而，传统的数据仓库和数据湖难以有效处理非结构化数据，导致处理和分析非结构化数据时出现瓶颈。 Denodo 平台将结构化数据和非结构化数据整合到一个统一的系统中，使企业能够实时访问和分析所有类型的数据。这使公司能够从以前未开发的数据源中提取有价值的见解，从而提高决策和运营效率。 缺乏集中式的制造平台 尽管中国企业在数字化转型许多领域都取得了进展，但 66% 的企业仍然缺乏 MES（制造执行系统）和 SCM（供应链管理）等关键制造平台。这导致运营系统和业务系统之间的数据流脱节，阻碍了推动工业 4.0 计划的努力。 中国企业使用的主要业务软件 通过整合来自制造、供应链和业务运营中不同系统的数据，Denodo 平台提供了统一的视图，帮助企业提高效率和创新。这种无缝集成支持实时监控、分析和优化制造流程，从而支持工业 4.0 目标。 合规性和治理问题 如上所述，遵守数据隐私法规（例如中国《数据安全法》和《个人信息保护法》（PIPL））对许多企业来说都是一项重大挑战。调查显示，23% 的企业担心合规性要求导致的数据分散。 Denodo 平台还使组织能够直接从同一层定义和实施全面的访问控制（报告、审计和其他可操作的风险和合规性管理活动），利用业务定义的相同结构和格式的数据。通过将数据治理和合规性嵌入到向业务提供数据的同一虚拟逻辑层中，公司可以在不牺牲敏捷性和竞争力的情况下实现合规性，并管理所有数据源和孤岛的风险。Denodo 平台还提供： 集中控制：通过从单一控制点访问和管理所有数据源，利益相关者可以在所有数据源中实施数据隐私、数据治理和安全策略，而无需在每个单独的数据源中实施策略，这既耗时又容易出错。 实时跟踪：通过实时访问数据，Denodo 平台支持实时警报和持续更新的使用情况报告。管理员可以设置阈值以触发自动操作或立即响应违反 PIPL 等法规的行为。 综合监管报告：通过统一对不同数据源的访问，Denodo 平台可以为所有利益相关者和外部监管机构提供综合报告，包括财务报告；环境、社会和治理 (ESG) 报告；可持续性报告；以及数据隐私合规性报告。此类报告可以包括数据沿袭和使用情况跟踪，一直追溯到原始源系统，以提供额外的合规性支持。这使中国组织能够快速轻松地证明遵守 PIPL 政策。 基于角色和属性的访问控制：可以根据用户角色以及用户属性（例如组织、物理位置、项目代码和其他参数）定义访问策略。例如，在家工作或出差的员工可能没有与在办公室或安全网络上相同的访问级别。 全局策略：Denodo 平台支持基于语义层内的视图或列属性定义全局策略，从而实现对数据访问的精确控制。这包括用于屏蔽、加密和数据限制的语义安全策略，以更有效地遵守安全分类和业务要求。 利用 Gen AI 进行创新 中国在AI领域的领导地位正在加速各行各业采用 Gen AI 技术。根据 Denodo 的调查，来自百度、阿里巴巴和豆包 (TikTok) 等提供商的 ChatGPT 和其他大型语言模型 (LLM) 正在获得显著的关注。为了有效利用AI的力量，企业需要实时访问高质量、值得信赖的数据。 中国企业使用的主要大模型LLM 来源：Denodo 调研。N = 98 Denodo 平台非常适合支持 AI 计划，因为它可以在不同的系统之间提供实时数据集成。借助统一的虚拟数据层，Denodo 平台使 AI 模型能够无延迟地访问所需的数据，从而获得更准确、更可操作的洞察。 Denodo 的 Gen AI 价值主张 ■AI模型的统一实时数据访问：Denodo 平台为 AI 应用程序提供单一、安全的访问点，以实时查询和分析企业数据，从而使 AI 模型始终使用最新、最相关的信息。 ■丰富的语义层：该平台通过提供丰富的语义层来增强 AI 功能，将技术数据转换为业务友好的术语，从而提高 AI 驱动洞察的质量和相关性。■简化的AI应用程序数据集成：Denodo 支持将多个数据集组合成 AI 友好格式的逻辑数据视图，从而降低管理 AI 模型数据的复杂性并加速其部署。 如需了解 Denodo 如何助力您的 Gen AI 项目，请阅读此白皮书 <GenAI 白皮书中文版链接>。 推动中国企业进军全球市场 随着第五波全球化浪潮的推进，中国企业正抓住海外扩张的新机遇。他们通过出口产能降低成本、绕过贸易壁垒、通过零售和电子商务扩大品牌、通过数字平台优化国际销售渠道、在全球推广本土文化以及推出智能手机等先进科技产品来实现这一目标。中国在改革开放 40 多年后建立起的强大制造业基础和综合供应链，使其拥有独特的竞争优势。 然而，这种国际扩张也带来了挑战：其中最主要的是数据主权法、遵守欧洲 GDPR 和美国 CPRA 等国际法规，以及整合来自不同地点的数据并使其在最需要的地方可访问的纯粹物理问题。Denodo 平台可以帮助中国企业克服这些挑战。 例如，必和必拓（BHP）, 澳大利亚最大的公司和世界上最大的矿业公司，其复杂的数据分散在四大洲的数百个系统之中。必和必拓面临着工厂产量、设备维护和安全以及商品运往配送港的物流规划的可见性等一系列问题。由于多个区域产生的数据主权问题给构建统一的数据分析带来了挑战。借助 Denodo 平台，必和必拓连接了所有特定领域的集群，通过混合/多云环境在主要地区提供统一的全球数据访问层——绕过了数据主权问题。该解决方案提高了运营效率，增强决策能力，降低了成本，并确保了对区域法规的遵守，同时支持多云集成以实现可扩展性和安全性。 正在向海外扩张的中国跨国公司可以从 Denodo 平台中获得这些好处。 案例研究 沃尔玛墨西哥（零售） DNB（银行） DNB <中文案例研究链接> 是挪威最大的金融服务集团，仅在挪威就有 210 万客户。DNB 维护着一个高度复杂的数据环境，拥有 40 多个数据源，包括多个本地数据仓库（如 Oracle 和 Teradata）以及一个 AWS 数据湖。 沃尔玛墨西哥，也称为 Walmex <中文案例研究链接>，是沃尔玛在美国以外的最大分