OPPO知识图谱及其在小布助手中的应用 - 李向林 OPPO

背景介绍

• 小布助手：OPPO旗下AI助手，月活跃用户破亿。
• OPPO知识图谱：始于2020年，构建数亿实体和数十亿关系的高质量通用知识图谱，支持每日数百万次小布问答请求，并扩展至商品、健康、风控等垂类图谱。

知识图谱整体架构与构建算法

• 整体架构：包括实体分类、实体对齐、信息抽取等核心算法模块。
• 实体分类：采用规则+预训练语言模型文本分类方法，曾组织CCKS通用百科知识图谱实体类型推断评测任务。
• 实体对齐：通过Dedupe+BERT语义分类两阶段对齐算法，实现多源相同实体的合并与关系增加。
• 信息抽取：基于百度CASREL模型抽取常见属性，基于MRC模型抽取长尾属性。

知识图谱在小布助手中的应用

• 小布知识问答：涵盖对话、闲聊、知识问答等领域，采用检索式+生成式+Frame Semantics知识图谱阅读理解架构。
• 知识问答分类：分为结构化问题（KBQA）和非结构化（开放域）问题。
  • KBQA：支持单跳、两跳、多跳等查询，涉及实体关系查询、比较推理查询等。
  • KBQA整体算法架构：包括领域识别、意图分类、实体抽取、实体链接、属性识别、约束挂载、推理计算、语义匹配等步骤。
• 实体抽取：通过特征聚类和领域特征识别，解决别名和语音识别错误问题。
• 实体链接：采用热度、描述关系、属性标签等特征进行候选实体选取和消歧，曾获百度千言实体链接比赛第二名。
• Query解析：结合模板+查询图+语义匹配的pipeline方法，高效处理复杂问题。
  • 属性和模板挖掘：通过远程监督和语义匹配模型挖掘问答模板。
  • 在线模板匹配：解析查询路径并生成中间表示式。
  • 模板语义匹配：采用离线生成模板向量+在线向量召回解决长尾问题。
• 复杂问题解析：支持多约束和对比推理，通过ES多条件查询和推理计算实现。
• 非结构化问题问答：利用语义向量编码和MRC模型进行答案生成，并采用双塔模型精排排序。
• MRC模型优化：融合CMRC、Dureader等数据集，采用Macbert-large+rikinet模型，通过负样本增强提升效果。

总结与展望

• 总结：图谱构建算法是高质量知识图谱的关键，优先保证算法准确率；知识问答算法结合离线大模型和在线模板+小模型，兼顾服务效率。
• 展望：未来将扩展至常识推理图谱、多模态图谱、用户图谱、知识图谱预训练以及低资源条件下的信息抽取。