“学海拾珠”系列之一百六十四：MemSum：基于多步情景马尔可夫决策过程的长文档摘要提取

——“学海拾珠”系列之一百六十四 主要观点： 分析师：严佳炜执业证书号：S0010520070001邮箱：yanjw@hazq.com ⚫不同尺度的特征提取器对于模型提取摘要的效果提升显著 MemSum模型中包含局部句子编码器、全局句子信息编码器和已提取历史信息编码器三种不同尺度、不同目的的编码器，经过消融实验验证，这三种编码器都显示出了卓越性能，其中全局上下文编码器和提取历史编码又比局部句子编码器的作用更显著。提取历史编码器是MemSum能够达到SOTA的核心因素之一，经过验证，提取历史信息显著地降低了提取出的摘要的冗余度。 ⚫独特的停止机制帮助模型输出合理长度的摘要 与之前的模型不同之处在于，在MemSum中，停止选择句子也被当作一个独立的决策行为，相比于规定固定的句子数量或文本长度，以及在源文本中添加特殊停止标记的方法等，这种停止机制使得模型能够学习智能地选择摘要长度。 1.《奇异值分解熵对股市的动态预测能力——“学海拾珠”系列之一百六十三》 2.《基金超额能力、规模报酬递减与价值创造——“学海拾珠”系列之一百六十二》 ⚫文献来源 核 心 内 容 摘 选 自Nianlong Gu，Elliott Ash和Richard H.R.Hahnloser在《Association for Computational Linguistics》上发表的文章 《MemSum: Extractive Summarization of Long Documents UsingMulti-StepEpisodic Markov Decision Processes》 3.《因子间相关性与横截面资产回报——“学海拾珠”系列之 一百六十一》 4.《交易量对波动率的非对称效应——“学海拾珠”系列之一百六十》 ⚫风险提示 文献结论基于历史数据与海外文献进行总结；不构成任何投资建议。 5.《基金定期报告中的文本语气能否预测未来业绩？——“学海拾珠”系列之一百五十九》 6.《因子投资中所蕴含的宏观经济风险——“学海拾珠”系列之一百五十八》 7.《基于隐含波动率和实际波动率的系统风险指标——“学海拾珠”系列之一百五十七》 8.《使用机器学习识别基金经理投资能力——“学海拾珠”系列之一百五十六》 正文目录 1简介..........................................................................................................................................................................................42相关工作..................................................................................................................................................................................53方法..........................................................................................................................................................................................53.1策略梯度方法.........................................................................................................................................................................53.2多步情节MDP策略..............................................................................................................................................................63.3模型框架..................................................................................................................................................................................63.4训练..........................................................................................................................................................................................74实验..........................................................................................................................................................................................85结果与讨论...........................................................................................................................................................................105.1结果比较................................................................................................................................................................................105.2消融实验................................................................................................................................................................................125.3提取历史信息对冗余的降低..............................................................................................................................................135.4人为评估结果.......................................................................................................................................................................156结论........................................................................................................................................................................................15风险提示：.............................................................................................................................................................................................16 图表目录 图表1模型迭代步骤..................................................................................................................................................................................................5图表2模型结构..........................................................................................................................................................................................................7图表3模型训练算法.................................................................................................................................................................................................8图表4数据集概述.......................................................................................................................................................................................................9图表5PUBMED和ARXIV测试集的结果..........................................................................................................................................................11图表6PUBMED-TRUNC和GOVREPORT的结果............................................................................................................................................11图表7PUBMED-TRUNC数据集中提取句子的位置分布................................................................