预训练图神经网络：以数据为中心的一些思考

预训练图神经网络 徐嘉荣复旦大学jiarongxu @ fudan. edu. cn 图前训练中的负迁移 •预训练图神经网络显示出潜在的应用前景，可以在无需昂贵标签的情况下从图数据中进行学习。 •然而 ， 在实践中 ， 图预训练模型可能会导致负转移在许多下游任务上。 近 45.5% 的下游任务遭受负转移 ！ 研究路线图 1. 什么时候对图神经网络进行预训练? 2.事半功倍 ： 图神经网络的数据主动预训练 什么时候对 GNN 进行预训练 ？ •为了避免负转移 ， 最近的努力集中在什么是预培训and如何进行预培训. •然而, 在一些情况下, 不能保证从预训练数据到下游数据的可转移性。 •这是一个必要的理解何时进行预培训, i.e.,在什么情况下应该采用 “图形预训练和微调 ” 范式。 什么时候对 GNN 进行预训练 ？ 现有方法 • 枚举 “预训练和微调 ” 尝试 拟议的 W2PGNN • 回答何时从 a 预训练 GNN图数据生成透视图在 “预培训和微调 ” 之前 关键洞察 ：下游数据可以从预训练中受益，前提是这些数据可以通过一个总结预训练数据的图生成器以高概率生成。 如何获得合适的图形生成器 ？ •输入空间 -节点级 ： 自我网络 -图形级别 ： 图形(例如 ， 分子) •可能的下游空间 发电机空间中发电机产生的所有图形 - W2PGNN 的应用案例 •用例 1 ： 提供图预训练模型的应用范围 •用例 2 ： 评估对下游进行预训练的可行性 • 用例 3: 选择预训练数据 ， 使下游受益 预培训的可行性 定义 [进行预训练的可行性] ： 最高下游数据生成的概率从发电机空间中的发电机 预培训的可行性 定义 [进行预训练的可行性] ： 最高下游数据生成的概率从发电机空间中的发电机 •然而 ， 用尽一切可能找到的原因是不切实际。 选择图形基础来近似可行性 •---我们将所有图形估计为一个图形。集成图形基础减少 graphon basis 的搜索空间我们根据图形的拓扑结构对图形进行分割 ， 并估计每个分割的图形。我们从不同的域分裂图 ， 并估计每个分裂的图形。域图形基础拓扑图基础 选择图形基础来近似可行性 我们从不同的域分裂图 ， 并估计每个分裂的图形。 -拓扑图基础 我们根据图形的拓扑结构对图形进行分割 ， 并估计每个分割的图形。 近似可行性: where是缩小的搜索空间 ，是可学习参数。 实验结果 - 可行性评估 评估指标:Pearson 相关系数最佳下游性能and估计的培训前可行性 W2PGNN 估计的可行性在大多数情况下达到最高的整体排名 ！ 实验结果 - 可行性评估 估计的训练前可行性与最佳下游性能之间存在强正相关 ！ 实验结果 - 训练前数据选择 我们比较了不同策略选择的训练前数据的下游表现 ： 意见: •W2PGNN 选择的预训练数据排名第一 •使用所有预训练数据并不总是一个可靠的选择 研究路线图 1. 什么时候对图神经网络进行预训练? 2.事半功倍 ： 图神经网络的数据主动预训练 大数据现象的诅咒 问题 ： 对于预训练 GNN ， 大量的输入数据真的是必要的 ， 甚至是有益的吗 ？ •首先 ， 我们发现缩放预训练样本不会导致下游性能的一举一动。 大数据现象的诅咒 问题 ： 对于预训练 GNN ， 大量的输入数据真的是必要的 ， 甚至是有益的吗 ？ •其次 ， 我们观察到添加输入图不会改善 ， 有时甚至会恶化泛化。 大数据现象的诅咒 问题 ： 对于预训练 GNN ， 大量的输入数据真的是必要的 ， 甚至是有益的吗 ？ 大数据现象在图预训练中的诅咒： 更多的训练样本和图数据集并不一定会带来更好的下游性能。 以数据为中心的图选择器 •而不是在海量数据上进行训练 ， 它更有吸引力 选择一些合适的样本和图形进行预训练。 -预测不确定性 信心 (或确定性) 的水平 预训练模型与数据协同进化 •而不是吞下数据作为一个整体 ， 鼓励预训练模型从数据中学习渐进方式. -预测不确定性反馈模型对哪种数据的了解最少。 -预训练模型加强高度不确定的数据在下一次训练迭代中。 数据活动图预训练 (APT) •图选择器和预训练模型积极配合 -图形选择器可识别模型的最具指导性的数据。预训练模型训练有素 ， 进而提供更好的-图形选择器的指导。 用于预培训和测试的数据集 •预训练数据 ： 来自 3 个领域的 11 个数据集 • 下游数据 ： 来自 7 个领域的 13 个数据集 节点分类 实验 ： •我们的模型平均击败了图训练前的竞争对手 在冻结和微调模式下分别为 + 9.94% 和 + 17.83% 。 实验 ： 图分类 •我们的模型是+7.2%and+1.3%平均优于冻结和微调模式下的图预训练骨干模型。 带回家的消息 •注意预训练 GNN 时的负转移 ！–何时对 GNN 进行预训练的答案–图预训练中的大数据现象诅咒 •广泛的应用案例 ： –提供图预训练模型的应用范围–衡量进行预培训的可行性–选择预训练数据