7-1 图数据库存储技术及实践

图数据库简介

• 关联分析是不可逆的趋势，信息联通日益加深，商业日益纵深整合。
• 关联分析场景广泛，包括社交网络、金融风控、零售、电力、电信、制造、网络安全等。
• 关联分析面临数据规模大、关联跳数深、实时要求高等难题。
• 图数据库使用图结构进行语义查询，通过点、边和属性表示和存储数据。

图数据库存储核心目标

• 图查询的核心是邻居的迭代遍历，图数据库直接存储边数据，无需依赖外键或建立索引。
• 深链查询性能对比显示，图数据库查询时间远低于关系型数据库（百倍提升）。
• Galaxybase图数据库查询时间（单位：秒）：
  • 关联跳数1：0.008
  • 关联跳数2：0.026
  • 关联跳数3：0.069
  • 关联跳数4：0.109
  • 关联跳数5：超过1小时（关系型数据库）
• 免索引邻接技术：写入时保证一个点和其直接相连的边存储在一起，查询时时间复杂度为O(1)。

图数据库存储技术方案

• 使用数组存储点文件和边文件，但处理变长数据时存在挑战。
• 使用链表存储点文件和边文件，灵活性高但读取速度较慢。
• 使用LSM树存储，设计Key使一个点的所有边排序后相邻，但存在读性能、Compaction影响和依赖第三方存储等问题。
• 优化方案：结合数组、链表和LSM树的优势，实现读取速度快、写入速度快、WAL反向边、分区分片、数据过期、事务、索引副本等功能。

Galaxybase图数据库应用实践

• Galaxybase国产高性能分布式图数据库核心优势：
  • 速度快：原生分布式并行图存储，毫秒级完成深链分析。
  • 高扩展：完全分布式架构，动态在线扩容，支持万亿级超级大图。
  • 实时计算：内置丰富分布式图算法，无ETL实现实时图分析。
  • 高效数据压缩：优化资源利用，节省硬件和维护成本。
  • 全自主可控，兼容国际开源生态与国产底层硬件。
• 分布式图存储技术方案：自研分布式原生图存储，不依赖第三方存储引擎，支持数据分片、热备、动态压缩。
• Galaxybase性能优势：打破图数据处理规模世界纪录，5万亿规模大图分布式最前线。
• 优异的查询性能：LDBC-SNB测试模拟社交网络图，Galaxybase在交互式简单查询、复杂查询、商业智能查询方面均显著优于同类技术。
• 丰富的图算法支持：包括图遍历、路径发现、中心性、社群发现、相似度、子图模式匹配等。
• 云启创新生态：与腾讯合作推出高性能图数据库产品TGDB，已在农行、交行、国家电网等超大型客户场景中落地。
• 标杆用户与合作伙伴：中国农业银行、交通银行、中国民生银行、上海农商银行、中国南方电网、国家电网公司、浙江大学、腾讯、百度云、AWS等。