2-4 集成多关系图神经网络

图神经网络的统一观点

• 传播机制：现有 GNN 的传播机制包括组合作业解耦传播（如 APPNP）和 K 层传播（如 GCN），分别利用直接利用第 K 层输出和使用其他层的输出来传播信息。
• 信息源：现有 GNN 的信息源包括直接利用第 K 层输出和使用其他层的输出。
• 优化框架：现有 GNN 的共同目标是利用拓扑的平滑能力，通过制定统一优化目标（如 GCN、SGC、APPNP）来实现信息编码和传播。
• 统一优化目标：GCN 和 SGC 利用拓扑的平滑能力，而 APPNP 则通过迭代梯度制定优化目标，实现封闭解决方案。

关系图神经网络

• 局限性：现有关系 GNN（如 RGCN）存在过度参数化和过度平滑的问题。
• 改进方向：将关系表示为向量可以减轻过度参数化，但启发式设计和参数编码器仍存在问题。

集成多关系图神经网络

• 集成方法：通过集成消息传递机制、优化框架和多关系 GNN 来设计新的模型。
• 优化目标：集合多关系图正则化特征拟合，同时捕获所有关系的图形信号，平滑性不同的关系起着不同的作用。
• 消息传递机制：通过优化目标推导底层的消息传递机制，包括迭代优化策略和集成消息传递层。
• 关系系数更新：使用标准单纯形中带有约束的 μ 的凸函数和镜像熵下降算法来更新关系系数。
• 封闭解决方案：通过求解方程，实现多关系个性化 PageRank 矩阵，缓解过度平滑和过度参数化问题。
• 前向传播和反向传播：EnMP 层中的参数在前向传播过程中更新，无需依赖标签信息，简化了模型训练。

实验结果

• 缓解过度平滑：EMR-GNN 显著缓解了过度平滑问题，节点分类精度更高。
• 缓解过度参数化：EMR-GNN 的参数数量远少于 RGCN，训练样本需求更少。
• 可视化分析：EMR-GNN 在不同颜色节点之间的边界识别和相同颜色节点的分布方面表现最佳，单个关系的准确性与其关系系数呈正相关。

核心观点

• 统一优化视图：为设计具有理论基础的新型 GNN 开辟了新的机遇，当前 GNN 的弱点容易被识别。
• 关系 GNN 设计：从优化目标的角度设计关系 GNN，通过集成优化框架和消息传递层，设计 EMR-GNN 体系结构。
• EMR-GNN 优势：可靠、易于训练、性能卓越，有效缓解过度平滑和过度参数化问题。