核心观点与关键数据
- 研究背景:图神经网络(GNN)任务通常假设观察到的拓扑结构是真实信息与模型属性的结合,但实际应用中(如社交网络)的图结构可能嘈杂、对抗或缺失,影响GNN模型的鲁棒性。
- 图结构学习(GSL)目标:联合学习优化的图结构和相应表示,以提高GNN模型的鲁棒性。
- “好”结构的定义:传统方法基于假设(如同质性)或约束(低秩、稀疏等),缺乏通用框架挖掘潜在关系。本文提出使用**变分信息瓶颈(VIB)**作为图结构学习的指导原则。
方法论
- VIB原理:学习最优图结构G,以最小化信息损失进行压缩下游预测任务的G属性项,目标为:
argmin[-I(GIB;Y) + I(GIB;G)]
- 其中,预测项为下游任务预测,压缩项不鼓励获取无关信息。
- 步骤:
- 生成IB图:通过功能屏蔽丢弃无关特征,将所有边视为独立伯努利随机变量,由学习得到的关注权重参数化。
- 学习IB图表示的分布:建模为GNN,输出为2K维值,假设参数高斯分布为先验
r(ZIB)和后验p(ZIB | G)。
- 样本IB-图表示:使用重新参数化技巧进行梯度估计。
实验结果
- 图分类任务:在四个社交网络数据集上验证,VIB-GSL学习到的图结构能提高表示质量。
- 鲁棒性:对结构扰动鲁棒,且不同β值(预测与压缩权衡)影响性能:
- β值变化呈驼背形状,较大β生成更密集图结构。
- VIB-GSL倾向于连接节点边扮演相同结构角色。
- 训练稳定性与效率:
- VIB目标变分逼近提高训练稳定性,子图-IB双层优化方案导致不稳定。
- VIB-GSL效率与其他方法相当,但更易处理。
结论与未来工作
- 核心贡献:提出基于VIB的图结构学习框架VIB-GSL,联合优化图结构和表示。
- 未来方向:开发通用、统一、可扩展的IB指导GSL框架。