2023年从深度匹配到深度问答报告

从搜索到问答
用户需求强，难度大，约1/4用户查询是问答需求，且更偏向自然语言描述。搜索问答面临文档质量、文本长度差异大的挑战。

深度匹配

• 数据来源：用户输入与标准问法差别大，如“iPhone死机了怎么办”与“iPhone死机了怎么办”。
• 方法：
  • 基于句子表示的方法：三层QRNN提供语义编码，Attention机制建模Query和Doc的语义一致性。
  • 基于交互关系的方法：MatchPyramid结合QRNN和注意力机制，3倍加速于LSTM，引入词精确命中、模糊命中等强信息缓解数据不足问题。
• 表现：基于交互关系的方法优于基于表示的方法，多层模型表示学习效果随层数增加更明显。

机器阅读理解

• 发展历程：2015年前模型多为单词匹配、逻辑回归等；2015年后转向神经网络，如R-NET、Google QANET。
• 事实类问答：
  • 问题：现有模型假设文本存在答案，但真实场景中答案可能不存在，且少考虑外部知识导致推理效果差。
  • 方案：EK-RNet融合答案存在性判断和外部知识，召回率提升30%。
• 非事实类问答：
  • 问题：长文本中长距离依赖导致信息丢失，且易过召。
  • 方案：HM-LSTM引入句子级别注意力机制和ELMO词嵌入，联合学习答案存在性判断与提取。

语言模型预训练

• WordEmbedding缺陷：一词多义导致表示单一，如“apple”在不同语境中含义不同。
• 方法：
  • Embeddings from Language Models (ELMo)：双向LSTM语言模型生成上下文依赖词向量。
  • Generative Pre-Training：使用Transformer网络捕获长距离结构，微调时作为附属任务训练。
  • Bidirectional Encoder Representations from Transformers (BERT)：双向Transformer编码器，加入位置向量和句子切分向量。
• 优势：充分利用大规模语料，缓解任务依赖，部分解决一词多义问题。