07 具有变分信息瓶颈的图结构学习

核心观点与关键数据

• 研究背景：图神经网络（GNN）任务通常假设观察到的拓扑结构是真实信息与模型属性的结合，但实际应用中（如社交网络）的图结构可能嘈杂、对抗或缺失，影响GNN模型的鲁棒性。
• 图结构学习（GSL）目标：联合学习优化的图结构和相应表示，以提高GNN模型的鲁棒性。
• “好”结构的定义：传统方法基于假设（如同质性）或约束（低秩、稀疏等），缺乏通用框架挖掘潜在关系。本文提出使用**变分信息瓶颈（VIB）**作为图结构学习的指导原则。

方法论

• VIB原理：学习最优图结构G，以最小化信息损失进行压缩下游预测任务的G属性项，目标为：
  • argmin[-I(GIB;Y) + I(GIB;G)]
  • 其中，预测项为下游任务预测，压缩项不鼓励获取无关信息。
• 步骤：
  1. 生成IB图：通过功能屏蔽丢弃无关特征，将所有边视为独立伯努利随机变量，由学习得到的关注权重参数化。
  2. 学习IB图表示的分布：建模为GNN，输出为2K维值，假设参数高斯分布为先验r(ZIB)和后验p(ZIB | G)。
  3. 样本IB-图表示：使用重新参数化技巧进行梯度估计。

实验结果

• 图分类任务：在四个社交网络数据集上验证，VIB-GSL学习到的图结构能提高表示质量。
• 鲁棒性：对结构扰动鲁棒，且不同β值（预测与压缩权衡）影响性能：
  • β值变化呈驼背形状，较大β生成更密集图结构。
  • VIB-GSL倾向于连接节点边扮演相同结构角色。
• 训练稳定性与效率：
  • VIB目标变分逼近提高训练稳定性，子图-IB双层优化方案导致不稳定。
  • VIB-GSL效率与其他方法相当，但更易处理。

结论与未来工作

• 核心贡献：提出基于VIB的图结构学习框架VIB-GSL，联合优化图结构和表示。
• 未来方向：开发通用、统一、可扩展的IB指导GSL框架。