核心观点与关键数据
- 问题提出： 许多实际应用需要处理非网格数据（如一般图、社交网络、引文网络、分子等），而大多数图神经网络（GNN）的深度不超过3或4层，限制了其性能。
- 解决方案： 构建用于图上表示学习的深度图神经网络（DeepGCN），通过引入跳过连接、扩张卷积和内存高效设计，使GNN能够像卷积神经网络（CNN）一样深入。
关键技术
- 跳过连接： 类似于CNN中的残差连接，用于缓解梯度消失问题，使深层GNN能够更好地收敛。
- 扩张卷积： 扩大感受野，提高模型的表达能力。
- 内存高效设计： 通过可逆神经网络和定点迭代等技术，降低GNN的内存复杂度，使其能够训练更深的网络。
实验结果
- 性能提升： 在斯坦福3D大规模室内空间数据集上，DeepGCN在13个类中的9个类中胜过其他SOTA方法，mIOU提升约4%。
- 深度探索： 实验表明，112层深的GCN都能收敛良好，而更深的GCN则难以收敛。
- 内存效率： DeepGCN的内存复杂度从O(LND)降低到O(ND)，使其能够训练更深的网络。
- 自动设计GCN： 通过顺序贪婪架构搜索（SGAS）和延迟约束的神经架构搜索（LC-NAS），可以自动设计出性能更优的GCN。
研究结论
- DeepGCN有效地解决了GNN深度受限的问题，使其能够处理更复杂的图数据。
- 跳过连接、扩张卷积和内存高效设计是构建深度GNN的关键技术。
- 自动设计GCN可以进一步提高模型的性能。
讨论
- DeepGCN在几何图形、3D、蛋白质数据上受益更多，但在引文网络上受益较少。
- 过度平滑假设过于强硬，需要进一步研究。
- 深度和直径、深度和宽度需要进一步优化。
- OGB上的OOD分割具有挑战性，需要其他技术辅助。
开源
- DeepGCN代码开源，可在PyG和DGL上使用。
