本文提出了一种标签依赖感知序列生成模型(LDSGM),旨在解决现有方法独立训练多级标签模型而忽略标签间依赖关系的问题。主要贡献包括:
-
模型设计:LDSGM结合了互学习增强训练方法,通过编码器和解码器充分利用标签依赖性进行多级利用。编码器采用GCN获得更好的标签嵌入,并结合特定级别的上下文标记注意力机制提取信息;解码器基于RNN顺序生成标签,以降阶方式处理,即先预测高层标签再预测低层标签。
-
创新点:将多级隐式语篇关系识别(IDRR)视为标签序列生成任务,首次尝试以序列生成方式处理该任务。
-
实验结果:在PDTB数据集上,LDSGM与最新模型在多级标签预测一致性上表现一致。消融研究显示,特定级别的标签注意力机制(LA)、先前预测(PP)和相互学习增强训练(ML)均有效提升性能,而堆栈softmax的多任务学习(Softmax + MultiTask)效果相对较差。
-
研究结论:与独立预测不同级别标签的方法相比,LDSGM通过序列生成任务缓解了不同级别标签预测之间的不一致性。未来将更关注注释实例较少的标签性能提升。