人人可用的图计算：GraphScope 的现状和未来 - 于文渊 徐静波_阿里

大规模图计算的挑战和GraphScope

• 大规模图计算的挑战：多样化的图数据类型（网页链接图、生物结构图、社交网络图、知识图谱、在线用户行为、交通路网图等），现实中图计算任务是一个复杂工作流（如欺诈检测工作流包含载入数据、模式挖掘、机器学习、标签扩散、人工验证、可视化、SQL/DataFrame分析等），计算模式多样，解决方案碎片化，学习难度大，成本高，用户门槛高，大数据骨感的现实：图计算大规模应用充满挑战。
• GraphScope：一站式大规模图计算系统，阿里巴巴海量数据与丰富场景（千亿以上规模的大图，电商、支付、物流、交通、云计算等场景，风控、推荐、社交、广告、优化等应用），领先持续的研究产出（几十篇顶级会议/期刊论文产出，SIGMOD2017 最佳论文奖，VLDB2017 最佳演示奖，2019世界人工智能大会最高荣誉SAIL 奖+）。

开源、易用的GraphScope

• 特点：简单、通用、灵活的编程模型（扩展Gremlin + Python），丰富的图计算任务类型（图分析、图交互查询、图模式匹配、图学习），业界领先的分布式并行图计算性能，开放、易用的开发环境（Jupyter Notebook），与上下游任务的深度融合（SQL，矩阵，机器学习等），易用、适配云上运行、部署环境（Kubernetes 完全云原生）。
• 用户开发图计算应用的第一站：通过开源努力打造业界的图计算的标准。

GraphScope系统架构

• 架构：分布式引擎、应用层、存储层。
  • 应用层：编程模型（统一图编程模型& 算法库，图遍历与交互查询，全图计算与迭代算法，子图模式匹配，图采样与机器学习）、集群管理（K8s 云原生资源调度）。
  • 存储层：分布式内存存储（Vineyard）。
  • 引擎：高性能图计算引擎。
• 编程接口：通过Python Interface拥抱PyData生态，支持Gremlin图查询语言，图操作和算法API兼容NetworkX。

高性能引擎

• 图遍历支持Gremlin查询语言：图遍历是交互式图分析的核心操作原语，Gremlin语言针对图遍历提供了灵活编程模型，是图查询事实标准。
• 图算法的并行化编程：用户很难写出一个正确并行图算法，现有模型（MapReduce、基于点中心的编程模型、基于块的模型）存在编程难、权衡与抉择、性能低下、额外的考虑等问题。
• 高性能引擎对图分析算法的自动并行化：GRAPE（基于子图的PIE编程模型）允许用户通过提供三个函数（PEval、IncEval、Assemble）实现单机算法自动并行化，无需关心并行环境的细节。
• Vineyard：非可变数据的分布式内存管理框架，提供跨系统的内存数据统一管理，支持类型有图、张量、标量、dataframe、json等，提供原生的数据操作，如数据分区，数据迁移，云上或本地数据源的IO，容错的checkpointing等。
• 基于Vineyard提供流水线集成能力：计算、数据、编程提供与本地Python(Notebook)环境一样的体验。

性能验证

• 交互式查询的性能验证：GraphScope在LDBC数据集和只读查询中领先JanusGraph1-2个数量级。
• 图分析的性能验证：GraphScope在LDBC图分析基准测试中领先PowerGraph、GeminiGraph、Plato分别34.7X/1.9X/5.1X，生产环境中整体端到端性能提升若干数量级。

GraphScopeDemo

• 应用和效果：展示GraphScope在实际应用中的效果。

GraphScope的未来规划

• GPU图计算支持：利用GPU加速图分析应用，设计GPU图处理框架，实现Intra-GPU负载均衡和Inter-GPU动态负载均衡，性能测试已开源；自动调优、动态负载均衡等功能计划2022/H2发布。
• 动态图神经网络(GNN)训练与服务：基于静态图的端到端GNN训练，工业大图端到端可扩展兼容开源；动态图GNN训练推理服务，计划2022/H2发布。
• 业界性能领先的Java图计算支持：通过FastFFI和Giraph适配，实现Java应用在GraphScope上的无缝运行，性能提升显著。
• 其它新特性：高效图存储、HTAP图计算、图计算的增量化、流式图计算、丰富的上下游对接。

开源及其社区发展

• 开源社区：GraphScope开源以来，迅速发展，入库中国科协“科创中国”平台，Githubstars数统计于2022年3月8日达到1350+，支持的图分析和图学习算法库50+，日均计算任务支持阿里业务16000+，工业级的复杂场景单图标签数/属性数100+/1000+，超大规模单图数据大小50TB，提升效能端到端开发时间从周提升到hours。