2023年自然语言处理算法鲁棒性研究思考报告

自然语言处理算法发展现状与问题

• 各类自然语言处理算法快速发展，在多项任务上超越人类，但实际应用效果不尽如人意。
• 搜索引擎中，高精度（95%）条件下召回率低（小于20%），多数回答为原文匹配类型。
• 未经过鲁棒性评估的算法面临巨大风险，模型对测试数据微小变化敏感。

Winograd Schema Challenge (WSC) 与常识推理

• RoBERTa在WSC数据集变种上达到91.3%准确率，但引发疑问：自然语言模型是否真正掌握常识。
• Sakaguchi等人在AAAI 2020发表论文《An Adversarial Winograd Schema Challenge at Scale》，采用预训练神经网络嵌入表示实例，通过集成线性分类器评估答案选项。
• 研究发现数据集采样对模型训练和测试影响显著，ContrastSets通过局部扰动测试实例评估模型决策边界。

细粒度评测方法

• Fu等人在EMNLP 2020提出《Rethink CWS: Is Chinese Word Segmentation a Solved Task?》，通过Self-diagnosis和Aided-diagnosis评估模型在不同属性下的表现。
• EntityCoverage Ratio (ECR)衡量测试集实体在训练集中的覆盖程度。
• EXPLAINABOARD提供可解释性评测框架，分析模型决策依据。

模型可解释性研究

• Karpathy等人在2016年通过LSTM可视化解释模型激活，发现可解释的细胞单元。
• Clark等人在ACL 2019分析BERT注意力机制，发现部分注意力头与句法和指代关系相关。
• Integrated Gradients (IG)归因方法（Sundararajan等，2017）用于定位模型依赖的关键词，Mudrakarta等人在ACL 2018应用该方法分析BERT问题词。
• Han等人在ACL 2020提出Influence Functions，分析训练样本对模型参数的影响。
• Garg和Ramakrishnan在EMNLP 2020通过BERT-Attack生成对抗样本，发现多数攻击不保留语义。

鲁棒性评测与基准测试

• EMNLP 2020研究指出MRC模型存在过度敏感（对改写问题反应剧烈）和过度稳定（易陷入陷阱句）问题。
• Lin等人在EMNLP 2020发现NER模型在开放场景中表现下降，基准测试的优势可能失效。
• Ribeiro等人在ACL 2020提出CheckList行为测试框架，模拟软件测试方法评估NLP模型。
• Dynabench（NAACL 2021）采用动态数据收集，结合人类与模型交互优化基准测试。
• Eraser基准测试关注推理任务，Unified Multilingual Robustness Evaluation Toolkit (TextFlint)涵盖20种通用变形和60种任务特有变形，覆盖14种双语任务。

自然语言处理模型鲁棒性分析结果

• 2011-2021年ACL、EMNLP等会议研究显示，多数模型鲁棒性差，大厂商OpenAPI平台亦存在类似问题。
• 数据驱动难以学习任务特性，需根据任务特性驱动模型设计。

任务特性驱动模型设计

• 关系抽取与实体抽取联合训练（SCAPT），对情感倾向分析任务构建针对性预训练模型。
• 深度学习在推理任务中的局限性，需结合任务特性优化模型设计。