图与图神经网络
图神经网络主流采用消息传递结构或其变种,大部分进行端到端训练,部分作为预处理。常见模型包括GCN、GraphSAGE、GAT、Graphormer等。消息传递结构的数学依据源于谱分析和热力学扩散过程,如PageRank和GRAND。
DGL与异质图
为什么需要异质图
异质图能更好地表示现实世界中的复杂关系,如社交网络、知识图谱等。同质图模型难以处理不同类型的节点和边,而异质图能更灵活地建模多关系网络。
OpenHGNN介绍
OpenHGNN包含25个模型和20+个数据集,涵盖HGB数据集的节点分类和链路预测任务。
从同质图模型到异质图模型的演化
演化路径包括:
- 为每种边类型准备独立函数或参数(如RGCN、RGAT、HGT)。
- 抽取包含部分边类型的子图并组合(如SIGN→NARS)。
- 使用元路径将异质图同质化(如HAN)。
演化理论难点
异质图缺乏同质偏好,邻接矩阵复杂,热学扩散规则多样,优化损失函数复杂。
从优化过程角度看演化
同质图模型假定M为正定矩阵,而异质图模型使用兼容矩阵H,能更好地表达异质关系。
DGL与异质图
DGL提供了丰富的异质图模型和工具,支持多种异质图神经网络设计。
DGL与动态图
为什么需要动态图
动态图能捕捉时间演化关系,适用于时序数据分析。
动态图神经网络示例
DySAT、TGAT、JODIE、TGN、APAN等模型通过不同方式处理动态图信息。
TGL:动态图框架
TGL提供灵活的动态图神经网络训练框架,支持多种组件选择和大规模动态图处理。
动态图模型评测问题
动态图公开数据集普遍过小,模型效果接近完美,评测难度大。
WSDM 2022 动态图链路预测竞赛
竞赛使用GDELT和GitHub数据集,评测指标为AUC。参赛模型包括AntGraphLINE、TGN、NodeInGraphLINE等,部分模型表现优异。
DGL与动态图
DGL支持动态图神经网络设计和训练,推动动态图应用发展。
DGL与超图
为什么需要超图
超图能表示多关系实体,如表格数据的多列关系。
超图上的消息传递
将超图转换成普通图进行消息传递,如团展开、二分图、线图等方法。
PET:用超图处理表格数据
PET模型通过超图表示表格数据,提升表示学习效果。
PET局限性与实验结果
PET目前仅处理不含连续变量的表格数据,依赖训练集标签和检索算法质量,存在局限性。
DGL与超图
DGL支持超图神经网络设计,拓展图神经网络应用范围。