关系推理与规则发现
关系推理的重要性及应用
关系推理是指理解和推断不同对象或概念之间的联系,是人类智能的核心能力之一。关系推理在多个领域具有重要应用,包括:
- 自然语言理解 (NLU):使模型能够理解和回答涉及多个对象之间关系的复杂问题。
- 视觉问答 (VQA):学习理解图像中不同对象之间的关系,是智力的重要体现。
- 自动定理证明:使用计算机证明或反驳数学或逻辑命题。
- 知识图谱补全:通过推理现有知识来补全缺失的节点或关系。
- 其他应用:语音识别、图像分类、机器翻译、玩游戏等。
关系推理的关键在于系统性,即能够重新组合已知部分和规则以形成新的序列,并扩展到未见过的更复杂序列。现有模型在系统性方面存在不足,例如深度神经网络缺乏可解释性,归纳逻辑编程难以扩展到大量关系,神经符号推理的系统性仍需改进。
现有研究方法及其局限性
图神经网络 (GNN)
GNN 通过学习关系嵌入和合成模块来预测图中节点之间的关系。其优点是能够表示和组合关系,但缺点是缺乏可解释性,规则隐式地封装在神经网络中。
归纳逻辑编程 (ILP)
ILP 通过从示例中学习逻辑规则,并进行泛化。其优点是能够学习人类可读的符号规则,但对噪声数据和模糊数据的鲁棒性较差,且难以扩展到大量关系。
神经符号推理
神经符号推理结合神经网络和符号推理的优势,例如神经定理证明 (NTP) 和条件定理证明者 (CTP)。其优点是更加灵活和端到端可区分,但系统性仍然不够好。
R5 框架:基于强化和循环关系推理的规则发现
R5 框架将图上的推理视为序列决策过程,通过以下步骤实现关系预测和规则发现:
- 路径采样:将关系图转换为仅由关系组成的查询节点对之间的路径集合,忽略节点身份。
- 递归关系推理:将推理路径分解为多个短确定性子句,通过决策过程逐步推导。
- 具有动态规则记忆的规则归纳法:使用强化学习搜索路径,并通过动态规则记忆来学习新的关系规则。
实验结果与结论
R5 在多个数据集上进行了实验,包括 CLUTRR 和 GraphLog,结果表明:
- R5 对关系预测具有很高的准确性。
- R5 对规则发现的召回率很高。
- R5 具有很强的系统性能力,对数据噪声具有鲁棒性。
- R5 能够扩展到更大规模的图。
- R5 能够超越简单的角规则,进行更复杂的推理。
未来工作
未来工作将集中在以下方面:
- 扩展到更大规模的图形。
- 超越角规则,进行更复杂的推理。
- 没有显式图结构的推理。