04 KGR ^ 4 对常识一代的检索 ， 回顾 ， 完善和反思

核心观点与框架

研报提出了 KGR（检索、回顾、精炼和重新思考）框架，旨在提升常识生成任务的性能。该框架的核心思想是通过检索外部语料库、回顾性增强和精炼编辑等步骤，生成更符合常识的句子。

任务定义与动机

常识生成任务要求模型根据给定的句子片段（如“手、水槽、洗、肥皂”），生成包含这些片段且符合常识的完整句子。例如，给定片段“手、水槽、洗、肥皂”，模型应生成类似“一个男人用肥皂在洗手池里洗手”的句子。

框架详解

1. 概念匹配与选择依据：框架通过概念匹配选择候选句子，并使用记分员（scorer）从生成器产生的句子中选择最佳句子。
2. 回顾性增强框架：包括检索、提取概念、检索输入输出和回顾性培训（编辑）等步骤。
3. 错误生成与扰动：根据两种类型的错误（重复错误和拼写错误）生成扰动的句子，用于训练基于 BART 的精细模型。
4. 得分与选择：在检索阶段使用得分机制，从多个生成器产生的句子中选择最佳句子。

实验与消融研究

1. 整体性能：通过实验验证了 KGR 框架的整体性能，包括超参数的影响和精炼阶段的影响。
2. 消融研究：分析了框架各组成部分对性能的影响，验证了框架的有效性。

研究结论

KGR 框架通过结合检索、回顾性增强和精炼编辑等步骤，显著提升了常识生成任务的性能。实验结果表明，该框架能够生成更符合常识的句子，并具有较高的鲁棒性和泛化能力。