2023年搜索引警中的智能问答报告

张奇 复旦大学 智能问答--从PC到移动 智能问答--无处不在的问答引擎 /%'!20,4.%*"/&/11 )65357 #-!/(4+$
7 智能问答--无处不在的问答引擎 智能问答--来自搜索的问题分布 智能问答--解决方案 基于社区的问题回答Community-basedQuestionAnswering 基于知识图谱的问题回答Knowledge-basedQuestionAnswering 阅读理解MachineReadingComprehension 智能问答--解决方案 基于社区的问题回答Community-basedQuestionAnswering 基于知识图谱的问题回答Knowledge-basedQuestionAnswering 阅读理解MachineReadingComprehension 智能问答--基于社区的问题回答 智能问答–语义匹配 Apple

iPhone&# 8-(&*50/. +7-("'!3,1 )2%4' 智能问答--语义匹配 小孩子发烧38度怎么办ßà小孩子发烧41度怎么办北京大学ßà北京的大学盐酸氯丙嗪ßà盐酸异丙嗪定金ßà订金!"#!"#$$)*+*%('&('& 失之毫厘，谬以千里! 智能问答--语义匹配 智能问答--语义匹配 智能问答--语义匹配
  智能问答--语义匹配 CNN-DSSM 智能问答--语义匹配 短文本蕴含信息不足，通过自适应注意力机制从外部知识中抽取信息，增强文本表示 智能问答--语义匹配 智能问答--语义匹配 智能问答--语义匹配 智能问答--语义匹配 Existing methods typically have framed thereasoning problem as a semantic matchingtask. The both sentences are encoded andinteracted symmetrically and in parallel. The role of the two sentences is obviouslydifferent. 智能问答--语义匹配 智能问答--语义匹配 智能问答--语义匹配 0!##'/,-07314 )$+07;5%.:*(62047&##98 智能问答--语义匹配 基于QRNN和注意力机制的表示学习序列表示，3倍加速于LSTM注意力机制加强Query-Doc的交互 智能问答--语义匹配 Query-问题匹配精度损失 （实际为不相同，模型判定为相同） 智能问答--语义匹配 Query-问题匹配召回损失 （实际为相同，模型判定为不相同） 智能问答--语义匹配 答案质量问题 智能问答--语义匹配 答案非所问 智能问答--语义匹配 答案权威性问题 智能问答--语义匹配 答案时效性问题 智能问答--语义匹配 语料库怎么构建 智能问答--语义匹配 智能问答–阅读理解  智能问答–阅读理解 
 
 智能问答--阅读理解的挑战 面临复杂的互联网文档，文档质量、文本长度千差万别，机器阅读理解难度更大，更具挑战性。 智能问答–阅读理解 智能问答–阅读理解 思路 问题 ①对答案存在性进行判断，避免错答；②充分利用外部知识，不仅有利于处理复杂推理问题，也有助于提高答案抽取的精度和置信度； ①模型假设文本中存在正确答案，而真实场景面临不存在答案的情况；②模型容易出现常识性错误，对于涉及推理的问题效果不好； 加入答案存在性判断 在字、词表示基础上加入外部知识表示（全局/局部词频、LexicalAnswerType、Entity类型、POS、网页质量特征等） 智能问答–阅读理解 问题：网页通常包含长文本，模型往往因为长距离依赖导致丢失重要信息 思路：以词为单位的表示和注意力机制基础上，融入以句子为单位的长距离信息传递和注意力机制 智能问答–阅读理解 问题：采用DistantlySupervised方法标注的数据噪声影响大 思路：更新LossFunction考虑全部文档的结果以及文档之间的相关性，并引入基于Bootstrapping的数据增强机制 智能问答–阅读理解 问题：采用DistantlySupervised方法标注的数据噪声影响大 思路：更新LossFunction考虑全部文档的结果以及文档之间的相关性，并引入基于Bootstrapping的数据增强机制 智能问答–阅读理解 ReCO:A Large Scale ChineseReadingComprehension Dataset onOpinion FactoidProblem ComprehensionàRetrieval 智能问答–阅读理解 智能问答–阅读理解 智能问答–阅读理解 智能问答–阅读理解 QuestionGenerationàCQA基于隐含答案信息的问题生成方法 问题：所生成的问题是否可以被回答没有考虑 训练：阅读理解语料集合包含答案应用：只有文档-问题信息 答案信息当做归纳偏置 智能问答–阅读理解 Paragraph Encoder Pivot Answer Predictor 智能问答–阅读理解 Training Auxiliary Pivot Prediction Straight-Through-Estimator Supervised Training with Golden Answers 智能问答–阅读理解 智能问答–阅读理解 https://github.com/sogou/SMRCToolkit 智能问答--挑战 •问答是验证自然语言处理技术发展的重要途径•目前面临的挑战： 1.如何利用知识和常识 2.如何进行推理3.如何快速低成本进行领域切换4.如何构造有效的置信度机制 谢谢！