6-3 面向可解释性的知识图谱推理研究

研究背景

• 认知智能特点: 依赖背景知识进行理解、推理和解释，例如网络热词“996”建立在群体共识下。
• 知识图谱: 以图形式组织知识，包含实体、事实、关系，具有有向图、异质图、丰富信息和大规模等特点。
• 知识图谱应用: 信息检索、问答/聊天系统、语言/图像理解等。
• 知识图谱推理: 从已知知识中推导新知识，包括链接预测、实体预测、事实预测和逻辑演绎等问题。
• 现有推理范式: 演绎逻辑及规则、基于图结构的推理、知识图谱嵌入表示和深度神经网络模型。
• 现有方法优缺点: 演绎逻辑及规则准确且可解释性好，但泛化性能差；基于图结构的推理路径可解释，但稀疏问题和搜索空间大；知识图谱嵌入表示泛化性能强，但缺乏解释性；深度神经网络模型泛化性能好，但缺乏解释性。

研究动机

• 知识图谱推理的可解释性: 逻辑可解释、图结构可解释和神经网络模型可解释。
• 强化学习环境: 状态、动作空间、转移概率矩阵、奖赏函数、智能体、策略函数和训练目标。
• 基于强化学习的知识图谱推理: 具有神经网络的泛化性能和路径解释性，但存在解释性差的问题。
• 强化学习与符号主义的结合: 具有神经网络的泛化性能和路径解释性，但存在泛化性能差和解释性好的问题。

研究内容

1. 基于层次强化学习的知识图谱推理

• 背景: 知识图谱的多语义问题导致推理准确率下降。
• 方法: 模仿人类思维，将实体预训练得到表示向量，进行PCA降维可视化，学习关系的层次化语义簇，解决多语义问题。
• 实验: 在FB15K-237、NELL995和WN18RR数据集上进行链接预测和实体预测，结果表明模型在多语义问题上表现更好。
• 结论: 该模型可以提高知识图谱推理的准确率，并提供路径可解释性。

2. 基于贝叶斯强化学习的知识图谱推理

• 背景: 基于强化学习的知识图谱推理存在训练难以稳定和难以利用先验知识的问题。
• 方法: 将实体和关系设为高斯分布，基于强化学习的Q函数，利用贝叶斯神经网络拟合Q函数的隐状态，并使用异策略进行有效的环境探索。
• 实验: 在NELL995、FB15K-237、WN18RR、UMLS和Kinship数据集上进行链接预测和实体预测，结果表明模型可以表达多跳推理路径的不确定性，并利用先验知识加速和稳定训练。
• 结论: 该模型可以提高知识图谱推理的泛化性能和训练稳定性，并可以用于利用知识的先验分布。

3. 异质信息网络的自动元路径挖掘

• 背景: 异质信息网络包含多种实体类型和关系类型，元路径方法存在人工设计、非端到端和长序列设计困难等问题。
• 方法: 利用强化学习进行多跳推理，得到路径实例，然后将路径实例归约为元路径。
• 实验: 在Yago和NELL数据集上进行链接预测，结果表明模型在大规模异质信息网络上可以挖掘出有效的元路径。
• 结论: 该模型可以自动挖掘异质信息网络的元路径，并可以处理大规模数据。

4. 基于集成学习的鲁棒知识图谱补全

• 背景: 知识图谱存在错误知识问题，现有知识表示算法对噪音敏感。
• 方法: 基于子图集成的鲁棒知识图谱补全，包括特征层自适应集成方法和子图抽取方法。
• 实验: 在人工添加噪音和天然噪音的数据集上进行链接预测，结果表明模型可以提高知识图谱补全的鲁棒性。
• 结论: 该模型可以有效提高知识图谱补全的鲁棒性，并可以根据置信度自适应地加权基学习器。

总结和展望

• 层次强化学习: 处理知识图谱的多语义问题，提高推理准确率，并提供路径可解释性。
• 贝叶斯强化学习: 增强多跳知识推理的泛化性能，提高训练稳定性，并可以用于利用知识的先验分布。
• 基于强化学习的知识推理: 融合路径推理和基于神经网络的优点，即能保持一定泛化性能，又能有一定的路径解释性。
• 基于强化学习的知识推理: 应用于知识图谱的元路径挖掘等任务，即使简单的元路径特征聚合也可以获得较好的连接预测效果。
• 集成学习的策略: 提高浅层神经网络知识图谱嵌入算法的噪音知识鲁棒性。
• 未来研究方向: 深度学习、神经网络的可解释性和鲁棒性研究；结合一阶谓词逻辑和神经网络，发展可解释性知识图谱推理；结合实际查询任务，实现端到端的可解释性知识推理。