核心观点与市场趋势
未来12个月,选择外部合作构建数据管理服务的企业比例将从58%增至85%。数据量快速增长、数据管理需求升级及技术架构复杂度上升,推动企业转向湖仓一体化解决方案。多模数据管理和实时化将是数据管理演进的重要方向。实时湖仓解决方案具备低运维、低成本、多模态、多功能、高价值、高敏捷、高安全、高灵活等特性,将加速金融、互联网、制造、能源、零售、供应链管理等领域的大规模落地。未来五年,利用数据管理解决方案实现资产绩效管理、创新和研发智能、数据挖掘与分析将成为企业核心方向。
市场需求分析
- 技术选型:Iceberg和Hudi在市场上更受欢迎,技术供应商多适配其中一款或两者兼容,但版本选择需考虑用户对成熟版本的偏好。
- 主要需求领域:金融、能源、电力、运营商、国央企、消费、水务环境等,制造、智能驾驶领域需求增长迅速,驱动因素包括政策支持和数据量激增。
- 实时数据处理:整体市场占比15%-20%,互联网、电商零售领域接近50%,制造业、能源电力领域时序处理需求增加但处于早期阶段。
- 实际落地:部分厂商已提供实时和近实时数据采集和分析能力,但数据采集设备多源不统一,随着设备升级和工具融合,实时管理需求将增高。
- 市场采购趋势:端到端成为关键词,尤其对银行券商、大型国央企,他们希望建设一套架构满足多部门需求。
- 数据治理:长期进行中,包括统一代码、主数据、数据存储管理、访问接口、指标体系管理、权限控制等。
- 产品积木化:用户关注存量应用适配性和解决方案可解耦性,避免全部推翻的可能性。
- 多湖联邦:存在于大型跨地区集团,但需求不明朗,市场前景待观察。
技术供应商最新动作
- 数据要素治理与资产管理:厂商侧重确权授权流程和平台开发,但整体处于早期阶段,价值评估多参考成本法,需与财务系统和台账数据打通,增强数据血缘分析能力。
- 生成式AI:率先落地容错性高的业务场景,如智能问答、元数据补齐、AI Agent等,用户顾虑高算力、人力投资和低ROI,以及数据安全和隐私保护。
- Data for AI:技术供应商应从智能化平台角度考虑如何为大模型供数,做好非结构化数据管理、数据目录、元数据提取、数据质量标准、数据标注等工作,知识库是落地最快的产品形式。
- 大数据技术创新:研发重点放在资源隔离和高并发上,满足大型金融、国央企的每日任务处理量需求。
- 市场竞争:中小厂商多选择搭建一站式统一平台抢占市场份额,强调统一的数据存储、元管理和数据分析能力。
- 自助数据科学平台:需求持续增加,Gen AI重塑BI查询分析产品,为不同角色提供自助数据分析体验。
IDC MarketScape厂商入选标准
- 提供整体解决方案,包括数据存储、管理、开发、安全等。
- 覆盖关键行业或新兴业务领域。
- 拥有2个以上企业级用户案例。
给技术买家的建议
- 为生成式AI做好准备,选择拥有自研大模型的厂商。
- 加强数据实时处理能力,考虑架构可拆解性,自由组合Apache社区能力并自研提升独特优势。
- 选择具备统一元数据、血缘分析能力的厂商,利用其平台搭建知识库和统一指标平台。
厂商综合概况
- 腾讯云:属于领导者类别,通过腾讯云数仓TCHouse和数据湖计算DLC构建实时湖仓方案,提供一体化服务、市场增长快速,但在大规模集群支持能力、湖+仓一体化能力、Wedata能力丰富度上仍有提升空间。
研究结论
Gen AI带动底层多种数据架构组合能力,湖仓、实时成为用户建设、更新数据平台最关心的方向。技术供应商需加强识别数据本身和数据间关系的能力,探索将数据视为资产进行管理服务,以解决链路流通问题。