文档分析中的图结构应用与挑战
文档分析概述
文档分析具有两大特点：处理文档级别的数据，着重信息抽取。其两大用途为语义理解和知识构建，常见应用场景包括新闻资料和邮件分析。文档级别数据通常输入文本较长，包含复杂的句子间关系和话题切换，分析时需关注信息的可靠性与完整性。
文档中的图结构
文档中的图结构主要包含四类关系：
- 句内关系：句子内部字词间的联系，如词共现关系。
- 句间关系：多句话之间的关系，如指代关系、篇章关系。
- 跨文档关系：多文档间的联系，如实体或事件的跨文档共指。
- 常识关系：通过常识知识连结的关系，如“黑衣服颜色越深吸热越快”。
图结构在文档分析中的应用案例包括：
- 文档分类：通过词共现、TF-IDF或位置关系构建图结构，分析医疗类文章摘要并判断23种疾病类别。
- 多文档摘要：通过句子间实体、事件或知识重合构建图结构，整合多文档信息生成摘要。
图结构的作用
图结构在文档分析中的有效性源于：
- 加强信息流通：图中的边代表信息通路，但每条通路承载量有限，需处理信息干扰。
- 引入外部知识：通过常识或知识图谱补充结构信息，提升模型理解能力。
- 补充结构信息：弥补BERT等模型在集合名词、组合词、地点、时间等结构化信息理解上的不足，同时结合SimCSE等模型提升句子间关系辨识能力。
挑战与机遇
文档分析中图结构面临的主要挑战包括：
- 长文档处理：需分段处理但可能损伤性能，且分段对性能有影响。
- 多文档差异：不同文档存在表达差异和信息冲突，如同一事件在不同文档中的矛盾描述。
- 无关话题：文档中常出现与任务无关的内容，需进行筛选。
- 信息碎片化：4096 token的计算量随文档规模几何级数增长，导致实体关系难以完整建模。
研究建议：
- 针对长文档需优化分段策略，平衡处理效率与性能。
- 多文档分析需引入对表达差异的鲁棒性机制，处理信息冲突。
- 结合外部知识图谱补充结构信息，提升模型对复杂关系的理解能力。
