市场研究报告：2023 年现代数据架构趋势

UnisphereResearch，今日信息公司的一个部门。 赞助 由 TableofContents 执行摘要 分析现代数据架构趋势 云迁移的当前状态 比较现代数据架构趋势 实时分析 数据湖屋 DataFabric 数据网格 流IoT数据 人口统计数据亮点 实现数据架构现代化时什么才是真正重要的 2023年关注的顶级数据架构和工程趋势 执行摘要 这项对现代数据架构趋势的市场研究通过理解每个概念、感知的商业价值和挑战、预算以及数据管理和分析中的业务驱动因素，提供了企业如何在2023年考虑这些领先的行业趋势的见解。 当被问及“他们目前正在研究/考虑什么”时，受访者将“现代化到云数据仓库”排名最高，为53％。当被问及是否“理解良好及其令人信服的商业价值”时，他们也将其评为55%。然而，当被问及在未来五年内哪种数据架构对他们的公司最有价值时，“实时分析”排名最高，为50%，其次是“现代化到云数据仓库”，为44%。这有助于深入了解受访者如何相信引人注目的商业价值将从云数据仓库转向实时分析。 DataLakehouse排名第二，“当前研究，理解”占40％，未来具有“令人信服的价值”占43％。我们认为，这与考虑和采用新架构以实现AI和ML分析用例并提高分析性能，可扩展性和敏捷性的第二和第三高驱动因素相关。 排名第三的包括DataFabric和DataMesh，通常相差1％，其次是StreamingIoTData略低。通过我们的调查问题，我们可以看到受访者对每种架构的了解比例较低，与其令人信服的业务价值之间存在潜在的相关性，并优先考虑在未来五年内采用它们。 考虑这一点的另一种方式是基于数据和分析行业中每个数据架构趋势的年份。云数据仓库和实时分析已经比数据湖屋更早了，其次是数据结构和数据网格概念。 这一点很重要，因为当公司通过供应商营销、行业教育或信息案例研究认识到令人信服的商业价值时，他们就会获得大量的预算批准。我们发现，在这项研究中，39%的受访者已经批准了预算，24%的受访者已经提交了与现代数据架构相关的计划的预算。量化这些预算发现，23.8%的受访者分配的预算超过100万美元。这项市场研究捕获了217名合格的受访者，他们被分析为按规模，年度销售收入，行业和地区准确地代表了公司。此外，受访者的角色，部门，职能和参与过程支持该市场研究寻求的数据的准确性。 分析现代数据架构趋势 我们的第一组问题直接要求受访者根据他们正在研究或考虑的内容、理解的内容及其令人信服的商业价值，以及涉及的业务驱动因素，在现代数据架构趋势中排名。我们还询问了今天和未来的数据源，看看这些是否是不同数据架构的一个因素。这提供了对每个数据架构采用如何与其成熟度和接受度相关的见解，与商业价值被很好地理解并令人信服地让受访者认为是最有价值的趋势相比，最近的趋势需要更多的研究和理解。每个数据架构趋势都可以与其成熟度保持一致，但请记住，它们多年来证明的价值是维持其接受度所必需的。 我们首先提出了一个直接的问题，即您的公司目前正在研究和考虑哪种数据架构。由于过去五到七年的主流采用，第一层主要趋势是“云数据仓库现代化”为53%，“实时分析”为51%，这可能并不奇怪。我们在“数据湖屋”的第二层中发现了明显的区别，占43％，这可能是由于一些业务驱动因素使AI和ML分析用例采用并提高分析性能，可扩展性和敏捷性。第三层架构趋势包括32%的“数据结构”，30%的“数据网格”和“物联网”。这一层也。 代表了数据架构中更新或新兴的趋势，因此在可能进入当前研究之前，需要花费时间来通过意识，理解和接受来工作。因此，我们可以看到年数，成功的实现或感知的业务价值如何转化为采用率。 调查中的下一个问题进一步探讨了这一点，我们发现正在研究和考虑的架构趋势与被认为具有最引人注目的商业价值的架构趋势之间存在强烈的、几乎精确的相关性。 55％和53％的实时分析领先于第一层，这表明当前考虑的问题与研究之间存在相关性，具有众所周知的令人信服的商业价值。数据湖屋的第二层低42%和10%。考虑到行业的成熟度和意识，这似乎是合适的。随着时间的推移，人们有机会通过研究和信息认识到其引人注目的商业价值。数据架构的第三层趋势又明显下降了10%。它与当前考虑和研究数据结构、数据网格和物联网数据架构的第三层相关。再一次，这些新的架构趋势很可能会受益于进一步的认识和信息，让公司了解其引人注目的商业价值并推动更高的采用率。 当被问及受访者认为未来五年对他们的公司最有价值时，以前瞻性的方式提出同样的问题可以验证这些排名。虽然我们看到了同样的三个等级的排名，但一个有趣的变化是，实时分析排名最高，为50%，其次是现代化到云数据仓库，为44%。这可能代表了云数据仓库中当今引人注目的价值与实时分析得出的公认的未来价值转变之间的转变。 从后来关于受访者今天和未来数据源的调查问题中，我们可以看到，完善的操作系统的速度将有助于实时分析，而不是流IoT数据，后者的排名为26％。 在未来五年内达到数十亿美元的两倍和三倍，我们预计具有物联网功能的企业将认识到这一点，以提高运营效率以及提供新的数据和分析产品。 当询问考虑和采用新数据架构的业务驱动因素时，是间接和独立地探索与每个数据架构的关系的另一种方式。虽然排名很明确，但除了排名最高和最低的业务驱动因素外，1%的差异很小。排名最高的驱动因素是将实时运营分析提高到49.5%，这与实时分析架构在考虑和令人信服的商业价值的最高级别相关。实现人工智能和机器学习分析用例采用的业务愿望位居第二，为48.6%，这应该主要与云数据仓库和/或数据湖屋架构的现代化有关。 对于当今希望提高分析性能，可扩展性和敏捷性或实现更广泛的分析和自助服务的企业，以下三个驱动因素更为普遍。集成数据管理平台在排名中排名第五，但仍占受访者的41.4％，这也通过提高合规性，安全性和透明度来降低风险。 询问数据源的调查问题旨在验证任何数据架构趋势是否与数据类型一致。运营交易数据、文档和半结构化数据排名最高，为55%。这可以与当今更结构化的云数据仓库的功能保持一致。来自电子商务、网站和数字应用程序的日志数据排名第二，为51%，也可以与这些基于事件的数据源的实时分析性质保持一致。虽然图像，视频和声音的非结构化数据或物联网数据与传感器和机器也应与启用AI和机器学习用例相关。更具体地说，34%的流媒体物联网数据可以由制造业、供应链物流和医疗保健等行业的受访者代表。 但是，最有可能的是，从批处理到流式操作交易数据的过渡正在推动现代化到云数据仓库和实时分析的采用。 云迁移的当前状态 当我们研究公司如何实现公共云服务的现代化时，我们发现30%的受访者计划保持本地和云运营的混合，这并不令人惊讶。云现代化计划已经存在了多年，采用从早期采用者转移到主流公司。大多数已经开始这一旅程的公司很快意识到，混合动力将是他们战略计划的准确描述。20%的受访者选择云优先进行数据和分析，这与大多数混合计划一致，但强调现代化到云数据仓库计划是受访者最大的考虑因素和价值。 研究和规划云迁移策略的以下三个答案为17％，数据和应用程序的早期迁移为16％，选择云平台为11％可能代表采用或成熟度曲线的左侧或前沿。如果是这样，曲线的右侧将代表成熟的高级方面，因为已经迁移到云的公司现在正在利用先进的云原生架构和服务。 当被问及有关其预期的云运营平台的更标准问题时，该排名与云运营的总体看法一致，并进一步验证了该市场调查和人口统计。作为一个多重选择的问题，我们没有区分多云或混合云实施的公司，我们对哪个公共云拥有最多的运营感兴趣。结果简单明了，与一般行业调查一致，受访者预计AWS的运营比例为60%，微软Azre的运营比例通常为57%。GoogleClodPlatform排名第三，为34％，我们预计随着时间的推移，这一数字将继续增长。 OracleCloudInfrastructure和IBMCloud的排名相同，占20%，其次是SalesforceDataCloud，占15%，SAPCloud占14%，阿里云占9%。这一排名可能受到我们区域人口统计的影响，该地区的受访者占北美的51%，其次是EMEA和亚太地区。 我们探讨了云数据迁移的哪些障碍可能会严重阻碍公司的采用。对云计费的担忧最高，为49%，紧随其后的是数据治理和安全担忧，为48%。这与我们基于RadiatAdvisors的现场研究和客户工作的期望一致。人们经常从本地数据中心听到或亲身体验到基于使用情况的云计费的差异。在过去的一年中，其他主要趋势正在通过数据可观察性和FiOps的变化来应对这一问题，因为公司通过云控优化寻求更高的透明度和对云计费的控制。数据治理和安全传统上是一个严重的问题，并且仍然排名第二。以下两个障碍与42％的旧数据架构迁移和41％的新技术，平台和服务的相应采用有关。随着云数据迁移多年来的成熟，经验教训已经告诉公司这种迁移的挑战，不要低估它。第三组障碍涉及云迁移计划的执行。它包括在市场上缺乏IT专业技能或资源的35％，以及缺乏明确的数据战略和架构路线图的33％。 比较现代数据架构趋势 在我们的调查中，我们想要做的一件事是在一组标准参数中比较五个领先的数据架构趋势。在这里，我们发现了对概念的理解和业务价值与数据架构的采用之间可能存在的相关性。 在从概念上分析受访者对数据架构的一般印象时，我们观察到被视为不屑一顾或仅仅是营销炒作的一贯低个位数百分比-这验证了所有五个数据架构趋势。从8％到14％的百分比略有增加被认为是数据治理和安全问题的风险。这种危险的印象可能会阻碍14％的流媒体物联网数据和13％的数据湖屋的采用。在中性印象中有很大一部分平均在40%左右。然而，到目前为止，实时分析的中性印象比例最低，为12%，这与它向积极和有价值印象的显著转变相对应。实时分析是唯一的数据架构趋势，在总体积极印象中，这一抵消总计78%。从总体积极和有价值的印象来看，流联网数据排名第二，占48％，紧随其后的是数据湖屋占46％，数据结构占43％，数据网格占38％。 继续分析每个数据架构趋势是其总体印象与行业内每个定义的理解和一致性之间的关系。这些结果与我们根据客户和会议的询问在整个行业中看到的结果一致，并作为数据和分析行业需要关注的地方的指标，以更好地理解定义。这种理解转化为认识到商业价值，领先的公司要考虑和研究采用。 正如预期的那样，数据架构趋势在“不，完全不是”的理解水平中平均约为10％，实时分析为1％。数据湖房，数据网格和数据结构的“某种程度”和“改进”之间存在平均差异，每个类别约为35％。这是预期的，这些数据架构相对较新，定义被固化，行业一致性得到改善。 突出的例外是，在“概念层面”上更好地理解实时分析和流式IoT数据，在“详细层面”上更好地理解实时分析。这种理解与其余的调查显示，实时分析是当今和未来五年最具吸引力的商业价值评级之一。 受访者对数据架构趋势的一般印象在概念上可能与他们认为克服障碍具有战略商业价值有关。因此，我们发现，受访者对定义的理解越好，他们就会如何将其潜在商业价值想象为企业的积极和有价值的印象。 实时分析 实时分析是现代数据架构趋势，在我们的受访者中评价最高，并且是未来五年最有价值的领导者。这与新架构的头号驱动因素相对应：实时运营分析增加了49.5%。关于这个最有价值的排名，回想一下关于目前正在研究和考虑的其他两个调查问题，以及理解的令人信服的商业价值问题。实时分析排名第二，仅比领先者低2%，向云数据仓库现代化。更深入地挖掘，我们探索了受访者如何看待实现商业价值并克服其挑战。 当谈到转向实时分析架构时需要克服的挑战时，排名最高的问题是处理对下游应用程序的实时洞察量，占55％，这与数据架构本身无关，而是数据和分析应用程序的消费者。 令人惊讶的是，排名第二的51％的关注是选择一个能够实时摄取和分析数据的数据库。虽然RadiatAdvisors通过与数据库供应商的基准测试和分析师关系拥有这些数据库的实践经验，这些供应商擅长