美国软件数据库行业评论第10卷：深入探究ETL/ELT领域

数据库行业观察 第10期 - 深入ELT/ETL市场 美国软件 正面 在我们数据库行业综述的第十卷中，我们关注的是数据库市场的一个重要关联领域——ETL/ELT领域。我们可以看到，该领域存在像Informatica（INFA；未涵盖）这样的专业供应商，同时也能看到像ORCL、MSFT这样的主要数据库供应商也是重要的参与者。 +1 212 526 2712raimo.lenschow@barclays.comBCI, US美国软件莱莫·伦施奥（CFA持证人） Frank Surace+1 212 526-5143frank.surace@barclays.comBCI, US 本报告中提到的DBT Labs、Databricks、Fivetran、IBM和Informatica均不属于巴克莱研究覆盖范围。关于这些公司的信息仅用于提供参考，并非巴克莱研究发出的投资建议，也不应被视为投资建议。 季度主题 - ETL/ELT的邻近关系：在我们第十期数据库行业回顾中，我们将审视ETL（数据抽取、转换、加载）市场的变化性质和机遇，这是一个与核心数据库领域相邻的重要市场细分。我们可以看到，增长率并不相去甚远（ETL为25%，数据库市场为33%）。随着云原生架构日益普及，以及数据现在通常存储在数据湖屋（而非数据仓库）这一事实，ETL正转向ELT（抽取、加载、转换）市场，并带来了不同的需求。ELT的转变也为新供应商（如Fivetran（私营；未涵盖）（负责加载）或DBT Labs（私营；未涵盖）（负责转换））带来了机遇。然而，行业分析师仍将主要现有企业（Informatica）和主要数据库厂商（ORCL、MSFT）视为领先供应商。 VAR调查 - 第四季度仍保持稳健势头，展望：我们观察到第四季度整体势头略有回升，延续了近期此项读数“稳定至微弱正面”的趋势。对于第四季度，我们注意到关系型供应商表现出强劲势头（63%的供应商显示出15%以上的增长，而第三季度为36%）。我们还注意到关系型和非关系型供应商的展望基调略显乐观。在愿意将非关系型工作负载迁移到非关系型平台的意愿方面，我们观察到第三季度的强劲势头有所减弱，38%的受访者表示至少有中度兴趣，这低于第三季度看到的55%。我们在报告的后面附有完整的VAR调查。 趋势追踪更新 - MDB/BASE结果更多样化，SNOW及同行表现更强劲：我们将数据库空间中的网络登录数据分析更新，纳入了1月份的数据。 巴克莱资本公司（Barclays Capital Inc.）及其附属公司之一可能会与其研究报告中所涵盖的公司进行业务往来，并寻求进行此类业务往来。因此，投资者应注意，该公司可能存在利益冲突，从而影响本报告的客观性。投资者应将本报告视为其投资决策中的单一因素。 完成：2025年2月25日，格林尼治标准时间00:34请参阅第17页开始的分析师资质认定和重要披露。发布：2025年2月25日，格林尼治标准时间05:10 总体而言，我们在动量和整体趋势方面与上个季度相比变化不大。尽管仍高于去年早些时候的低点，但我们对MDB和BASE的表现仍持谨慎态度。我们注意到，其中部分情况可能与季节性假日趋势有关。另一方面，值得肯定的是，Snowflake和Databricks（私营，未覆盖）在1月份的访问量和独立访客量均实现了远超同行的健康同比增长，这得益于第三季度强劲的势头。 ETL/ETL - 一个重要的数据库邻接关系 我们主要讨论了数据库完整性和结构的重要性，例如深入探讨了关系型数据库与非关系型数据库、PostgreSQL与NoSQL等。然而，数据库的好坏取决于其中存储的数据，这使焦点转向了从各种来源获取数据的方法，换句话说，即数据集成工具。该市场与整体数据库市场相邻，是确保数据能够为最终用户消费的必要条件。下面，我们概述了数据管道市场，并深入探讨了两个具体流程（ETL和ELT），以描述它们在需要整合和使结构化与非结构化数据都易于获取的世界中的功能。 数据集成与数据库市场规模 数据库集成市场正在扩张，以满足将这些流程实现可扩展、通用和高效的需求。该基础包括用于提取、转换、加载、迁移和同步数据的工具。在图1中，我们提供了市场规模（未来年份的预测），以展示这些市场的规模比较。数据库市场预计将以约33%的复合年增长率（CAGR）增长，而集成市场紧随其后，预计增长率为约25%。虽然规模较小，但我们对理解市场中的集成部分的重要性有着共识，因此我们专注于ETL和ELT流程，以描绘该领域的演变图景。 ETL：“先塑形，后存储” 传统的数据集成流程曾遵循 ETL 方法：提取、转换和加载（如图 2 所示）。在此，提取过程会从各种源位置导出原始数据（包括 SQL 或 NoSQL 服务器、CRM 和 ERP 系统、JSON 和XML 文件等）。这会引出转换阶段，在此阶段，数据会经过多种处理流程（如身份验证、聚合、清洗、去重等），以提升数据质量并建立一致性。这进而引出加载的最终阶段，在此阶段，转换后的数据通过创建适合存储数据的物理数据结构，被加载到目标数据库中。此流程最适合规模较小的源和更复杂的转换，如果需要在将其放入目标仓库之前对敏感数据进行脱敏，则此流程会增添一层安全性。 教育技术：先吸收，再精炼 当在资源受限的本地数据仓库中难以执行转换操作时，ETL流程尤为突出。随着时间的推移，将数据仓库迁移到云端成为可能，这使得相同的转换有机会在云端进行。因此，ELT流程应运而生：提取、加载和转换（图3）。该流程非常相似，只是操作顺序发生了变化。提取过程保持不变，但在ELT流程中，数据会被移动到一个暂存区。暂存区类似于一个清算所，各种数据源能够将数据整合到一个空间中。从暂存区，数据随后被加载到数据湖中，允许非结构化和结构化数据存放在同一个存储库中。之后，数据会根据需要（按需）进行转换，并允许数据接收者在语义层对其进行操作，在语义层中，复杂数据会被映射成熟悉的术语（例如产品、客户、收入等）。 数据管道市场关键参与者 在图4和图5中，我们展示了数据集成工具市场从2020年到2024年的演变。我们可以看到，在这四年间，主导市场的参与者一直是Informatica、IBM（注：IBM未包含在本分析中）和Oracle。近年来，微软已从2020年“挑战者”的地位发展成为2024年的市场领导者。像亚马逊和谷歌这样的超大规模企业也作为领导者进入了市场，而在之前的年份中它们并不在场。 目前市场似乎波动较大，但依我们看来，提供可扩展性、提升效率、工作流自动化以及易于集成的公司将在这一领域占据主导地位。甲骨文似乎在这方面具有优势，凭借其整合这些工具的能力。 他们已经开发的数据库产品分类，并将研发投入转向开发符合上述标准的数据集成产品。我们预计这里将有很大的发展空间，尤其是在人工智能方面，我们好奇地期待看到这一领域的进步。 数据库调查：环比改善及前景更佳 我们第十次数据库调查采访了8家增值经销商（VAR），他们共同产生的年软件收入约为20亿美元。我们的第一个问题是关于过去六个月关系型数据库解决方案的同比需求趋势。结果显示，100%的受访者经历了需求增长（高于第三季度的82%），其中63%的供应商实现了15%以上的增长（与第三季度的36%相比）。接着我们询问了非关系型数据库解决方案的同比需求趋势，结果显示75%的受访者经历了需求增长，这一比例低于第三季度看到的82%。我们还注意到，没有受访者实现了15%以上的增长（与上一季度的18%相比）。 在接下来的两个问题中，我们要求VARs评估未来六个月数据库解决方案的同比需求预期。从关系型数据库开始，75%的受访者预计未来六个月将实现同比增长（与Q3的64%相比），并且没有受访者指出会出现下降，这与我们上季度的观察结果一致。对于非关系型数据库解决方案，75%的受访者预计未来六个月将实现同比增长，较Q3的64%有所提升，但没有任何受访者预期增长达到+15%（与上季度的9%相比）。 在接下来的两个问题中，我们要求VAR们根据客户兴趣对其最顶尖的关系型和非关系型数据库进行排名，然后应用加权系数得出我们的排名。对于关系型数据库，微软表现强劲，SQLServer有所增长，Azure Synapse保持稳定。亚马逊Redshift显示出强烈兴趣，环比增长7个百分点，而SAP HANA环比下降7个百分点。 转向非关系型数据库，Azure CosmosDB 本季度略有提升，以 38% 的关注度（第二季度为 35%）继续保持排名榜首。AmazonDB 和 MongoDB 则稳居前三，关注度分别为 33% 和 8%。在此我们注意到 MongoDB 同比下滑了 7 个百分点（第三季度为 15%）。虽然其他方面变动不大，但值得注意的是 Splunk（已被思科收购）重新回归我们的排名榜单（关注度 6%，上一季度为 0%）。 针对我们接下来的两个问题，我们询问了VARs，哪些客户在数据库部署上完全是云原生的，以及有多少比例的本地数据库已迁移至云端。结果显示，云迁移仍有大量机会，0%的VARs表示60-80%的客户完全是云原生的，78%的VARs回应说其客户中完全云原生的比例不到40%。在本地数据库已迁移至云端的比例方面，88%的VARs表示客户数据库部署中迁移至云端的比例小于30%，而只有约13%的VARs回应说客户数据库部署中迁移至云端的比例超过40%，这突显了此处持续存在的机遇。 在下一个问题中，我们询问了VARs（增值经销商）对客户采用基于消费的定价模式兴趣的情况。此处，结果再次显示出强劲的需求，因为我们所有的受访者都表达了显著或适度的兴趣，其中63%表达了显著兴趣（较Q3的45%有所上升）。 我们接下来向VARs提出的问题是关于客户从更成熟的数据库供应商转向更便宜/开源替代方案的时间线。在此，50%的受访者表示1-2年（较上一季度的55%有所下降），而25%的受访者指出2年以上（与第三季度的36%相比）。 接下来，我们询问了VARs客户将关系型工作负载转换为非关系型工作负载的兴趣。尽管没有受访者表示出浓厚兴趣（与上季度相同），但38%的回应指向中等兴趣或更高，这低于上季度观察到的55%。 最后，我们向VARs提出最后一个问题，即客户将所有结构化和非结构化数据集中到一个中央数据湖中的可能性。在此，63%的VARs表示这非常可能（与Q3的55%相比），而其余37%的受访者表示这 somewhat likely（从Q3的45%有所下降）。我们注意到许多数据湖供应商仍处于早期发展阶段，因此，随着供应商的成熟及其产品获得更广泛的开发者支持，我们并不惊讶未来调查中的需求会持续增长。 趋势追踪更新：MDB/BASE 和 SNOW/Databricks 结果混合，继续强劲势头 我们更新了我们上次报告的趋势观察者（参见《美国软件：Raimo的趋势观察者 - 追踪软件网络流量追踪，第24版》，2025年1月27日），加入了1月份的结果，并将这些数据视为我们上述调查的补充。总的来说，我们看到的关于MDB和BASE的数据似乎暗示着环境复杂多变。对于MDB，我们在1月份的访问量和访客数方面看到了混合结果，当观察过去三个月（第四季度）的同比表现时，这一点也很明显。对于BASE，我们也看到了混合结果，但基于更严格的比较基准。在云数据仓库领域，Snowflake和Databricks继续大幅领先于同行，1月份以及过去三个月的访问量和独立访客量均实现了健康的同比增长。在此，我们注意到Teradata的表现良好，其月环比访问量和访客数的增长率均高于同行。 MongoDB MongoDB增长故事中的一个关键驱动力是其数据库即服务产品MongoDB Atlas。因此，我们追踪Atlas登录页面的网络流量（包括总访问量和独立访客数）。 • 1月份，Atlas的表现好坏参半，总访问量环比增长2.1%，而独立访客数环比下降1.0%。然而，这还是在12月份这两个指标均出现更显著的环比下降之后，而下降可能是由假期