在地面上和在云端：开发者技术季刊

在地面上和在云端 《开发者技术季刊：》数据分析版 请参阅第25-26页的重要披露。分析师认证在第25页。威廉·布莱尔公司或其关联方与其研究报告中的公司进行以及寻求进行商业活动。因此，投资者应意识到该公司可能存在潜在的利益冲突，这可能影响本报告的客观性。本报告的目的不是提供个人投资建议。本报告中的意见和建议未考虑个别客户的情况、目标或需求，并且不是针对特定客户的特定证券、金融工具或策略的推荐。本报告的接收者必须独立做出关于报告中提到的任何证券或金融工具的决策。 威廉布莱尔 目录 内容.................................................................................................................................................................................2 引言 ...........................................................................................................................................................................2 执行摘要..............................................................................................................................................................3 开发者专属调查.......................................................................................................................................4 数据分析领域十大技术趋势 .......................................................................................................................10 微软构建会议要点................................................................................................................................................14 Snowflake峰会要点..........................................................................................................................................16 Databricks数据+AI峰会要点.........................................................................................................................18 数据分析专家电话会议..................................................................................................................................................19 数据分析市场规模和份额..............................................................................................................................20 数据分析领域的私募融资活动.......................................................................................................................23 引言 在地面上和在云端这是一份由威廉布莱尔科技团队制作的季度出版物，深入探讨了影响开发者技术的广泛趋势，包括软件开发、DevOps、数据库、分析和可观察性。在过去十年中，随着软件应用和数字化转型成为业务运营、客户互动和竞争优势的关键，开发者已成为所有组织中越来越重要的影响因素。最近，这一趋势因黑天鹅事件，如COVID-19大流行和一系列软件供应链攻击而加剧。开发者不仅代表着将决定特定软件产品或项目成功与否的早期采用者，而且已成为软件采购的主要决策者。因此，我们认为，研究影响这一至关重要的工作者群体的关键技术和文化动态至关重要。 在本期数据分析版块中在地面上和在云端我们深入探讨了分析市场中的重要技术发展和趋势，提供了我们近期针对开发人员/实践者的专有调查结果，并回顾了该领域的私人融资活动。我们还总结了近期开发者会议上的关键公告，包括Snowflake数据云峰会、Databricks数据+人工智能峰会以及微软Build会议。最后，我们分享了与分析师顾问和Snowflake精英合作伙伴Paul Corning近期专家讨论的关键要点。 管理摘要 需求上升应提升大多数分析领域的船只。鉴于数据生成和保留的巨大规模、对数据驱动洞察的不懈需求、数据向云的迁移以及生成式AI的显著影响，我们预计在未来的几年内数据分析市场将实现强劲增长。在其2023年7月的《大数据和数据分析（BDA）软件》报告中，IDC研究预测，到2027年，市场复合年增长率（CAGR）将达到19.3%（预测期结束时将达到2530亿美元）。预计增长的关键驱动因素将是AI软件平台及相关工具，IDC预测其五年复合年增长率将达到36%，从2022年的总BDA支出的18%增长到预测期结束时的35%。分析数据管理和集成平台（包括数据仓库、数据湖、流式传输和ETL工具）在预测期内也预计将实现健康的18%增长，这反映了核心分析系统需求之广泛。尽管分析市场中的新兴结构变化可能会在一段时间内扰乱某些子市场和供应商，但我们认为存在多个胜者的空间，并预计随着新技术使客户能够在IT景观的更多领域产生数据驱动洞察，整体数据分析市场将不断扩大。 传统护城河正在缩小。历史上，分析供应商需要将数据物理地摄入到集中式存储库（数据仓库或DW），并以专有格式存储。这一状况随着新技术的出现而改变，这些新技术创造了更高的标准化、降低了供应商锁定，并降低了分析系统的进入壁垒。这些技术包括：a) 开放表格（例如，Iceberg，Delta），允许客户以标准化格式存储数据，以便进行数据分析（将存储与计算分离）；b) 数据湖屋，消除了维护结构化数据单独的数据仓库和用于非结构化/半结构化数据的数据湖（DL）的需求；c) 数据织物，允许在物理上分离的孤岛中对虚拟化数据进行集中查询和管理；以及d) 零ETL（提取、转换、加载），它能够实现源数据与其分析目的地/汇之间的更紧密集成，从而降低数据转换的成本和复杂性。 通用人工智能是分析堆栈的颠覆性变革。.GenAI通过创建一个简单的自然语言界面来提问关于数据的问题，将数据分析的运用范围扩展到更广泛的个人。GenAI还通过允许自然语言处理接口应用于更多数据集和孤岛，扩大了可供分析的数据量。这对企业中大量非结构化数据（文件、图像、日志等）来说尤为有影响，这些数据在历史上分析起来既负担沉重又成本高昂。我们相信像Databricks这样的非结构化数据专家最适合利用GenAI的机会，但也预计几乎所有的分析供应商都将争夺增长的市场份额。 数据分析日益转向数据本身。应用提供商在历史上一直将数据交给分析提供商，因为在源应用平台内运行分析既不可能也不实际。这导致了创建一个独立的分析数据领域，它拥有自己的软件堆栈——这是一项昂贵的举措，但它缺乏产生实时洞察的能力（由于ETL中涉及到的延迟）。随着通用人工智能使分析市场民主化，运行分析的限制现在正在降低（部分得益于数据湖和开放表格格式），应用提供商正在寻找新的收入来源，而客户则要求实时分析。结果是，分析功能开始被应用于数据源（即应用程序本身），这与需要将数据移动到分析领域（分析移动到数据而非数据移动到分析）的30年趋势相反。 Salesforce Data Cloud (SFDC): 分析系统中的合作伙伴还是竞争对手？SFDC将当前的Salesforce数据孤岛（Sales Cloud、Marketing Cloud、Service Cloud等）统一，并与外部数据进行集成，在CRM应用中创建统一的客户视图。通过在混合中加入GenAI（Einstein），SFDC创建了一个强大的查询/分析引擎，可以帮助公司捕捉更多的分析/AI收入（对长期增长至关重要）。随着时间的推移，SFDC的客户应该能够减少移动到外部分析系统（如Snowflake、Redshift（AWS）、BigQuery（Google）或Databricks）的数据量——尤其是在DWs/DLs中的大量数据直接来自Salesforce这一点并非秘密。SFDC的“王牌”是CRM应用内与GenAI的紧密集成，以及基于CRM用户体验——这可能会让分析供应商在长期结构性上处于不利地位，因为它们不拥有业务应用。 分析战争中的牺牲品潜在的中断和/或去中介化领域可能包括ETL工具（由于开放表格，将减少对数据物理移动和转换的需求）、传统的/本地数据中心（由于市场从BI转向AI），以及BI/数据可视化工具（传统的BI报告/图表最终可能被基于企业数据集训练的极其简单的自然语言提示引擎所取代）。尽管存在这些潜在的干扰，我们仍认为分析专业知识具有稀缺价值，因此，我们预计在接下来的几个季度，随着分析软件和应用程序供应商都寻求完善其平台，分析领域的并购活动将有所增加。 威廉布莱尔 关于这些及其他主题的更多详细信息，请参阅我们最新的白皮书： 数据分析在人工智能时代：所有人都在这个池子里！ 专属开发者调查 2024年5月，威廉·布莱尔科技团队对开发者、数据科学家、数据工程师和数据分析师进行了一次专属调查。我们进行这次调查的目的是更好地了解开发者和数据从业者如何看待数据分析领域的新兴趋势，他们目前最依赖哪些工具，以及他们认为数据分析领域在未来五年内将如何演变，尤其是在生成式AI日益普及的背景下。迄今为止，我们的大部分研究都是围绕与供应商沟通并从技术角度分析市场。通过这次调查，我们旨在从这些数据 analytics技术的日常从业者那里获取观点，并希望能够解析出任何在感知市场趋势（由供应商社区提供）和用户实际发生的情况之间的潜在脱节。 我们对数据分析领域的67名开发者/实践者进行了调查，筛选出那些将数据分析作为日常工作职能的一部分的受访者。不出所料，调查受访者将数据分析工作流程中的三大难点识别为：1）数据质量和验证，2）应用程序和数据碎片化，以及3）ETL、数据管道和数据集成管理（见附录1）。 数据分析中的一个主要主题是数据的碎片化，这主要是由SaaS应用程序的兴起驱动的，这些应用程序已成为企业数据的主要来源。在大多数主要应用程序平台（例如Salesforce、SAP、Oracle、Workday和Microsoft）中，受访者指出不同水平的重要性和数据量。在前五名中，Salesforce始终是用于分析的数据来源，占比达到31%，其次是Microsoft（占比25%）和SAP（占比21%），如展2所示。