6-2 基于分解的图神经网络可解释性

核心观点与内容

1. 场景理解与模型学习内容

   • 语音识别、玩围棋、医疗诊断等场景下，深度神经网络（DNN）的可解释性至关重要。
   • DNN 模型学习的内容包括循环神经网络（RNN）、卷积神经网络（CNN）和多层感知器（MLP）等结构。

2. 可解释性方法

   • 传统深度学习可解释性：基于梯度和扰动的方法。
     • 梯度基方法：通过反向传播计算梯度或梯度变体，计算效率高。
     • 扰动基方法：扰动输入并观察模型预测差异。
   • 人类可理解的术语：模型预测解释热图，但传统方法可能无法保证保真度和忠诚度。

3. RNN 的可解释性

   • 关键因素解释热图：输入中每个功能的贡献得分，热图颜色深浅表示贡献大小。
   • 信息流动过程：从时间步长更新的证据、遗忘的证据和正在更新的证据，可分解为每个单词或短语的贡献。
   • RNN 预测分解：隐藏状态向量更新向量，GRU、LSTM、BiGRU 等不同架构下的贡献分解。
   • 分层归因：不同粒度级别的贡献分析，如单词、短语等。

4. 评价指标与案例分析

   • 评价指标：忠实性（删除解释后模型准确性下降程度）。
   • 案例分析：
     • LSTM 对多义词“可怕”的预测错误，可能无法建模其多种含义。
     • 通过分解方法，可解释不同 RNN 架构（GRU、LSTM、BiGRU）下预测的差异。

5. 图神经网络（GNN）的可解释性

   • GNN 在社交网络、广告推荐等领域的应用广泛，可解释性同样重要。
   • 分解方法：假设最后一层可分解，通过子图分析目标节点的贡献。
   • 挑战：子图总数过大、如何选择重要子图、节点合并等。

6. 其他相关领域

   • 域移位网络、压缩对抗性脆弱性、可解释的深度学习快捷方式、歧视和偏置中毒攻击、DeepfakeDefense 等。
   • 探索负责任的 AI 与 XAI（可解释人工智能）密切相关。

研究结论

• 基于分解的深度神经网络可解释性方法，能够有效解释 RNN 和 GNN 模型的预测行为。
• 分解方法可提供人类可理解的术语，帮助研究人员诊断模型失败原因并改进模型。
• 不同 RNN 架构下的预测分解具有差异，需结合具体场景进行分析。
• GNN 的可解释性仍面临挑战，但通过子图分解等方法可逐步解决。