浪潮海岳 inDataX 数据中台介绍
浪潮海岳作为国内领先的 aPaaS 市场竞争者，在装备制造 MES 解决方案、企业 ERP 产品等领域市场领先，并首创“财务云”概念。公司承担国家核高基、863 研发计划，拥有多项国际先进标准和国家标准，技术研发实力国家认可。自研国内首个低代码开源模型 UBML，并入选 Forrester 国内首份低代码报告，创新理念行业先进。
浪潮海岳 inDataX 企业采存治算用一体化数智平台提供数据全生命周期管理工具及解决方案，打造五大核心数据能力：大规模数据采集和存储、数据治理、数据共享、智能决策和智能化数据呈现，助力企业实现内外部数据高效汇聚，快速变现数据资产价值。
inDataX 基于 Apache Doris 的传统行业实时数仓建设实践
传统行业实时数仓建设面临诸多难点，包括业务流程审批繁琐、线下审批多、流程慢；权责部门多，问题矫正周期长；技术能力较弱，信息化起步晚，新技术引进谨慎；技术架构规划弱、治理能力弱，运维能力不足；信创要求高，技术栈多样化；数据安全需求高，多不联网离线安装部署要求；信息化进程慢，影响面大，权责管控严格；条块化管理架构，组织架构分层明显；不同时期不同厂商建设导致数据口径不一致；基础设施较弱，硬件、网络资源少；行业专业化知识多，数据指标计算逻辑复杂；流量低，查询 QPS 低，RT 要求低，场景复杂，设备、系统种类多，数据种类多，数据存储、共享方式不一致，应用和数据架构复杂。
选择 Doris 的原因包括：
- 数据分析性能强悍，基于 MPP 架构，超强的数据查询分析能力，允许用户随意即席查询，响应快。
- 架构栈兼容性强，依赖 Java 和 C++，技术栈自主可控，不受政经因素影响。
- 功能契合度高，开源代码可根据不同信创场景进行适应性改造，国产化支撑能力强。
- 提供便捷的 Multi Catalog 兼容已有库表，兼容 MySQL 协议，系统切换方便。
- 多种数据格式转储方式便捷高效，支持信创服务器、CPU 架构。
- 联邦查询能力，直连，保持企业现有数据架构和设施不变。
- 数据种类支持多，支持半结构化、文件分析，高维数据分析，适合专业化部门多场景。
- 运维相较于 CK 等简单便捷，技术栈自主可控。
inDataX 实时数仓建设案例
案例一：某能源集团数据治理
客户需求：数据来源复杂，需要兼容已有 Hadoop 数仓，集成边缘端数据、分公司数据，提供即席查询能力，统一入口，具备复杂 SQL 分析能力。
解决方案：新建 Doris 集群作为统一分析和查询中心，直连集团 Hadoop 和子公司异构数据库，不改变现有数据架构；数据质量功能迁移至 Doris 跑批实现统一查询计算中心；采用 FlinkCDC 同步边缘数据至集团侧，DorisETL 解析边缘 XML 文件数据同步至集团侧，Catalog 连接子公司库进行授权数据访问。
效果：
- 数据质量任务跑批性能提升，平均提升 98%。
- 即席查询响应提升，秒级响应。
- 架构优化，Catalog 读取原有架构，开闭式架构兼容；Catalog 替换 ETL 链路，架构更加简洁；替换部分老架构组件；查询入口全部由 Doris 承担，数仓和即席查询库统一。
案例二：某港口集团数仓升级
客户需求：各业务系统隔离，未打通，不同厂商建设、版本不统一，孤岛系统化严重；组织架构臃肿，业务流程冗长，审批慢，数据在各系统中一致性差，T+N 离线同步；使用 Flink 做多系统 join，大窗口 join 使用 RDBMS 做数仓供报表查询；Flink 实时采集、计算，链路 SLA 低，平均 2 次/月故障率。
解决方案：引入 Doris，改善架构；Doris 表与业务系统表映射；Flink 做一对一表数据同步；利用 Doris Aggregate Model 实现数据仓内实时聚合；Doris 承担报表查询 SQL 执行；固定报表业务改造：SQL 由 Oracle 查询形式改为 Doris SQL。
效果：
- 全链路时效性提高 60%。
- FullGC 频率下降 80%。
- OOM 引起的 taskmanager 节点宕机频率降低 92%。
- 单表千万数据量级场景下多表 Join 查询速度提升 25 倍。
未来思考与展望
对 Doris 数据库的期望包括：
- 全面、稳定、可靠的方言转换能力。
- 方言支持多种数据库 SQL，数据类型自动映射。
- 数据库兼容，对 Doris 数据库的期望生态。
- 多指令集国产环境兼容。
