融合知识图谱的大语言模型研究综述

曹荣荣1，柳林1†，于艳东2，王海龙1 (1.内蒙古师范大学计算机科学技术学院,呼和浩特010020; 2.集宁师范学院乌兰察布市智能信息处理与安全重点实验室,内蒙古乌兰察布012000) 摘要：大语言模型在多个垂直领域应用中展现出卓越性能，但其生成内容存在可解释性不足与幻觉问题，严重制约实际部署，而知识图谱以结构化语义网络形式存储事实知识，为增强大语言模型的可控性与知识约束提供了新路径。为此，文章系统梳理知识图谱与大语言模型融合的技术路线，从预训练、模型架构改造、微调优化三阶段分析代表性方法，总结其提升模型可解释性与缓解幻觉的作用机制，并探讨多模态知识表示对齐、动态知识更新滞后等核心挑战。分析表明，知识图谱的深度融合可显著提升大语言模型生成内容的事实一致性，但未来需突破多模态知识对齐、轻量化增量式融合及复杂推理验证等技术瓶颈，推动大语言模型向知识语言协同驱动范式演进，为构建可信、可解释的智能系统提供理论支撑与技术方向。 关键词：大语言模型；知识图谱；可解释性；幻觉问题；知识语言协同中图分类号：TP391.1doi:10.19734/j.issn.1001-3695.2024.12.0532 Reviewoflargelanguagemodelsintegratingknowledgegraph Cao Rongrong1, Liu Lin1†,Yu Yandong2, Wang Hailong1(1.SchoolofComputerScience&Technology,InnerMongoliaNormalUniversity,Hohhot010020,China; 2.WulanchabuCityIntelligentInformationProcessing&SecurityKeyLaboratory,JiningNormalUniversity,UlanqabNei Mongol012000,China) Abstract:Large language models(LLMs)have demonstrated exceptional performance across multiple vertical domains,yet their practical deployment remains constrained by limited explainability and hallucination issues in generatedcontent.Knowledge graphs(KGs),which store factual knowledge in structured semantic networks,provide a novelpathway to enhance the controllability and knowledge constraints of LLMs.To address these challenges,this studysystematically reviews technical approaches for integrating KGs with LLMs.Weanalyze representative methods acrossthree key stages—pretraining adaptation,architectural modification,and fine-tuning optimization—and summarizetheir mechanisms for improving model explainability and suppressing hallucinations.Furthermore,weidentify corechallenges such as multimodal knowledge representation alignment and latency in dynamic knowledge integration.Ouranalysis reveals that deep integration of KGs significantly enhances the factual consistency of LLM-generated content.However,future research must overcome critical technical bottlenecks in multimodal knowledge alignment,lightweightincremental fusion,and complex reasoning verification to shift LLMs from language-centric to knowledge-augmentedparadigms,thereby establishing theoretical and technical foundations for building trustworthy and interpretable AI systems.Key words:large language models; knowledge graph; explainability; hallucination problem; knowledge-language synergy 机器翻译[5]，问答系统[6]，逻辑推理[7]，代码生成[8]等自然语言处理任务中展现出显著优势。然而，大语言模型展现出的涌现能力[9]及其伴生的幻觉问题[10]引发了学术界对其实际应用的担忧。由于模型固有的黑箱特性导致决策过程缺乏透明性，其可解释性难以满足高敏感场景的需求，特别是在金融、医疗等对数据安全要求极高的领域应用时，还存在潜在的隐私泄露风险。为应对这些挑战，学术界和工业界亟需通过模型架构优化与外部知识融合相结合的方式，增强模型的确定性知识表征能力。在此背景下，知识图谱因其显式的语义关联结构和良好的可解释性优势受到关注——通过专家构建的领域知识图谱可提供精确可靠的知识源，显著提升系统的可 0引言 大语言模型[1](LLM)作为人工智能领域的前沿技术，特指基于超大规模语料库训练，参数量超过百亿级别的深度神经网络模型。其技术演进经历了三个关键阶段：基于N-gram的统计语言模型，依托分布式表示的神经网络模型[2]，以及当前基于Transformer架构的预训练语言模型(PLM)。其中预训练语言模型通过“预训练-微调”两阶段范式实现知识获取[3]：首先在自监督学习框架下完成通用语言表征建模，随后通过参数微调实现特定任务适配。而大语言模型作为参数规模和数据规模扩展至千亿量级的预训练语言模型，在文本分类[4]， 信度。因此，探索知识图谱与大语言模型的深度融合机制，已成为提升模型可解释性的重要研究方向。 本节将系统阐释大模型的核心概念与主流技术架构，知识图谱的类型，为后续探讨知识图谱与大模型的深度融合奠定必要的理论基础。 知识图谱作为符号主义范式的典型代表，与以深度学习为核心的联结主义存在显著的方法论差异。知识图谱本质上是一种基于图结构构建的语义网络，采用形式化方法对客观世界的实体(包含概念，人物，事件等)及其语义关系进行系统化表征。其核心特征在于采用(头实体，关系，尾实体)三元组作为基本知识单元，通过结构化存储实现事实性知识的显式表达与语义关联建模。其构建涵盖数据获取、知识抽取、融合推理等关键环节；根据知识表征形态和应用场景的差异，现有知识图谱体系可分为三类：通用知识图谱，领域知识图谱和跨模态知识图谱。通用知识图谱侧重构建大规模开放域知识体系，通过广谱的实体覆盖和丰富的语义关系满足普适性知识服务需求；领域知识图谱则聚焦垂直领域的专业知识建模，采用领域本体约束下的精细化知识表示方法，服务于专业场景下的智能决策支持；跨模态知识图谱突破了传统单模态知识表示的局限性，通过异构数据的模态对齐和联合表征，构建支持多模态交互的知识服务体系。 1.1大模型定义 大语言模型与预训练语言模型在模型架构与训练范式上具有继承性与扩展性关系，因而介绍先从预训练语言模型开始。 经典预训练语言模型[17]通常采用“预训练-微调”的两阶段训练范式，先是在大规模无标签数据集上以自监督方式进行训练，学习语言的丰富表示和结构，然后在小规模数据集上监督微调并用于具体的下游任务。预训练语言模型的这种训练过程可视为一种迁移学习，显著提升了模型在机器翻译[18]，情感分析[19]，问答系统[20]及文本摘要[21]等任务上的泛化性能。 大语言模型本质上是基于神经网络架构的参数密集型扩展模型[22]，其通过超大规模语料库训练与深层非线性变化实现语言理解的涌现特性和生成任务的泛化能力。在复杂语境推理，细粒度语义解析及跨领域任务迁移等方面表现出色，但也面临着计算资源耗费大，数据隐私泄露，模型幻觉与价值观对齐偏差以及知识产权归属等系统性风险。 知识增强型语言模型的研究可追溯至预训练语言模型发展的早期阶段，此时有研究基于知识类型的差异性特征，系统性地将事实知识、领域知识、常识知识、语义知识及专业知识融入模型架构中[11]，文献[12]根据模型结构从输入端，中间层和输出端分别融合知识进行模型增强，进一步地，针对自然语言处理任务范式的差异性，研究者从自然语言理解和自然语言生成的角度分别介绍知识增强的方法[13]，在语义知识融合方面，知识图谱因其结构化语义表征特征成为研究焦点。有研究者从预训练模型内部与外部协同的角度提出以隐式和显式两类方法对融合知识图谱到模型进行介绍[14]，还有研究突破单一技术路线，提出知识图谱与大模型优势互补的统一路线图[15]，更有研究人员将知识的粒度与知识注入方法和知识参数化程度相结合[16]，文章根据模型的结构特点和训练阶段从预训练，修改模型结构，以及微调阶段对融合知识图谱技术加以总结，图1所示意在清楚地论述融合知识图谱以增强大模型的准确路线。 1.2大模型主流架构介绍 经大规模语料库训练的大语言模型在各种自然语言处理任务中表现出色。当前主流架构均是基于Transformer模型的自注意力机制[23]，相较于传统神经网络模型如CNN[24]，RNN[25]，LSTM[26]等，2017年提出的Transformer通过摒弃循环结构、完全依赖多头自注意力机制实现序列建模、成为技术分水岭。此后出现的Bert[27]和GPT[28]系列均沿此架构演进，其中Bert模型通过双向Transformer-Encoder结构实现上下文深度表征，推动预训练模型参数规模的快速增长。现有大模型架构主要分为三类，分别是基于Encoder-Decoder架构的大模型，基于Encoder架构的大模型和基于Decoder架构的 大 模 型 ， 对 此 三 类 架 构 进 行 总 结 汇 总 之 前 先 了 解 下Transformer结构，如图2所示。 1相关工作 大模型与知识图谱作为人工智能领域的两大前沿技术，近年来呈现出蓬勃发展的态势。尽管二者在技术范式与研究路径上具有相对独立而清晰的发展脉络，但针对二者的基础理论和技术路线的深入研究具有重要的学术价值和应用意义。 利用WordNet的分类体系来构建本体。Wikidata[45]是使用和覆盖范围面最为广泛的知识图谱。 Transformer是一种基于自注意力机制的深度神经网络架构，主要由编码器(Encoder)和解码器(Decoder)组成，其核心工作原理是通过自注意力机制计算输入序列中每个元素与其他元素的关联权重来动态捕捉全局依赖关系，结合位置编码注入序列顺序信息，利用多头注意力并行提取多维度特征。编码器逐层抽象输入特征，解码器则基于编码结果和掩码注意力生成目标序列，所有计算通过残差连接[29]和层归一化[30]操作稳定训练，该架构完全摒弃循环结构实现并行化，从而高效处理长序列