网易游戏基于Apache Doris湖仓融合建设

网易游戏基于 Apache Doris 湖仓融合建设

架构演进

网易游戏技术中心效能研发部聚焦数据、AI和安全三大领域，通过数据和AI支持游戏运营决策，并保障游戏产品安全。引入 Apache Doris 前的组件架构包括 ETL Tool（Seatunnel）、Stream ETL（Flink）和 Batch ETL（Hive/Speak）。引入 Doris 后，构建了实时数仓，并经历了架构演进：早期 1.0 版本支持通过外部表注册外部数据源，1.2 版本开始定位为统一数据分析网关，支持 Schema Mapping 和 Extendable Custom Data Source。

湖仓融合建设

网易游戏内部统一查询引擎 SmartSQL 兼容多引擎语法，融合查询优化作业效率和成本，实现多引擎统一权限管控与行列加密，以及复杂场景统一接入方案。湖仓融合方案分为湖上建仓和仓湖融合两种，分别适用于不同业务场景。Doris on Yarn 通过 Apache Slider 实现弹性计算节点，支持快速弹性伸缩。Doris Workload Group 实现兼容 Trino 参数，包括 query.max-scan-physical-bytes、query.max-memory、query.max-execution-time 等。Doris Manager 支持外部物化视图管理，兼容 Hive，支持动态加载 UDF 和远程加载 UDF。WaggleDance 兼容 Doris，解决元数据存储问题。

应用场景

网易游戏内部应用 Doris 的场景包括大宽表场景、AdHoc 分析引擎库、用户行为分析引擎库、单表高并发点查引擎库、日志检索引擎库、实时数仓、统一网关平台和元数据存储底座。Doris 作为元数据存储底座在 AI 层面也有广泛应用。

未来规划

未来将基于 Apache Doris 的数据湖解决方案在更多业务部门和场景进行推广，助力用户降本增效。重点包括实现智能物化，跟进 3.0 版本新特性的管理运维支持，以及内部 Manager 建设。