金融级分布式高性能图数据库的构建 - 沈游人@海致

海致AtlasGraph图数据库研报总结

海致简介

• 企业级知识图谱开创者，拥有北京、武汉、深圳、上海等研发与应用中心
• 拥有高性能图计算院士专家工作站

AtlasGraph研发背景

• 业务需求：支持千亿点、万亿边的图分析
• 性能挑战：实时风控要求OLTP毫秒级响应
• 产品基础：基于ArangoDB的内部优化版本AtlasDB，但性能受限

金融级分布式图数据库需具备的特性

• 信雅达：高可用、一致性（事务）、高性能、低资源消耗、易用、功能丰富

AtlasGraph关键特性

• 云原生：支持弹性伸缩，高可用，高可靠，故障自愈，低成本运维
• HTAP：高性能图计算引擎，预置20+图计算算法，可扩展分析引擎支持复杂数据挖掘
• MPP架构：大规模集群分布式存储及并行计算，Shared Nothing模式支持存储计算分离
• 高性能引擎：基于Rust开发，精细内存管理，毫秒级并发查询响应
• 易用性：AQL（类SQL图查询语言），内置上百种分析函数，面向分析师友好
• 实时大图支持：万亿节点存储及流式计算引擎结合，最新数据实时入库构图

AtlasGraph架构及实现

架构概览

• 用户和客户端：AtlasStudio、AtlasClient
• 计算层：GraphServer（处理查询请求）、MetaServer（事务管理）、StoreServer（副本管理）
• 存储层：KVEngine（分布式存储）、索引系统
• 服务接口：HTTP/RPC
• 基础设施：Docker，X86/ARM架构

Why Rust？

• 性能：极速、内存高效，无运行时或垃圾回收器
• 可靠性：内存安全，"无畏并发"
• 生产力：现代化开发工具，丰富的库

图模型

• Labeled Property Graph Model：任意(key,value)对，支持顶点和边的属性类型

查询语言

• 基于Cypher：贴合ISO GQL标准，类SQL语言，面向分析师友好

技术架构

• 用户和客户端：计算层（无状态）、元数据服务器、数据存储（KVEngine）
• 查询引擎执行流程：Cypher AST解析到物理计划执行

分布式事务

• MVOCC事务：基于多版本乐观并发控制技术，保障一致性，优化分析性能

高可用技术

• 数据高可用：基于Chain Replication（CRAQ）算法实现副本管理
• 服务高可用：Meta、TS服务采用主备架构，基于Raft算法实现

工具与界面

• REPL命令行客户端
• WebUI：面向分析师的可视化图探索分析，支持模型定义、数据管理、查询分析等
  • 图模型设计：模型导入导出、拖拽式关系构建、样式配置、实时预览
  • 可视化图探索分析：K步邻居查询、最短路径分析、子图识别、实体边统计分析等

AtlasGraph图数据库关键特性总结

• 基于Rust语言保证性能优势
• 分布式架构性能可线性扩展
• 针对大规模图的优化存算引擎
• 配合Atlas图平台实现无代码图分析
• Query性能分析模块，启发式提示优化
• 内置多种分析函数，面向分析师友好
• MVOCC保证事务一致性
• 多副本管理保证数据服务高可用
• 在线备份提供容灾保障