6-3 大模型推动的人机交互对话 - 鲍思琪_百度自然语言处理部

对话系统概览

• 任务型对话系统：完成特定任务，如定闹钟、播放歌曲等，代表有 Apple Siri、Amazon Alexa、Baidu Xiaodu。
• 开放域对话系统：在开放领域内进行有意义对话，代表有 Google Meena、Meta Blender、Baidu PLATO。

端到端对话生成

• 网络架构：Encoder 编码对话上文，Decoder 生成对话回复。
• 训练语料：人人对话语料。
• 训练目标：最小化 Negative Log-Likelihood。

开放域对话面临的挑战

• 内容空洞、缺乏信息。
• 知识滥用。

百度 PLATO 的解决方案

• 基于隐变量的预训练对话生成技术。
• 融合知识的弱监督对话生成模型，实现开放域下更合理、更多样化的生成，提升对话丰富度和知识准确率。

开放域对话“一对多”问题

• 对话语料背景复杂，导致对话成为一对多问题，传统神经网络容易产生安全回复。

PLATO-1 隐空间对话生成模型

• 效果示例展示其生成能力。

PLATO-2 基于课程学习的通用对话模型

• 网络规模：16亿参数，32层。
• 训练语料：深度清洗后中文语料12亿（千亿级Token），英文语料7亿（千亿级Token）。
• 关键技术：Unified Transformer、Curriculum Learning、Diverse Generation、Response Evaluation。
• 效果：在 DSTC-9 三个赛道6项任务中，取得5项冠军。

PLATO-XL

• 首个百亿参数中/英文对话生成模型。

PLATO 对话效果

• 中文多轮开放域聊天评估：PLATO 在合理性、丰富度、吸引度上优于百度小冰、小爱、天猫精灵、图灵。
• 英文多轮开放域聊天评估：PLATO 在合理性、丰富度、吸引度上优于 DialoGPT、Meena、Blender。

知识滥用问题

• 融合外部知识可改善知识滥用问题，但挑战在于大规模对话语料缺乏外部知识选择的标签信息。

PostKS 和 PLATO-KAG

• PostKS：基于后验指导的知识选择。
• PLATO-KAG：基于联合优化的无监督知识对话，联合建模知识选择和基于知识的回复生成，提升回复对知识的利用能力。

PLATO 全面知识增强对话

• 融合知识对话效果显著，但知识滥用问题仍需缓解。

开放域对话提升知识能力的几个关键点

• 外部知识的触发时机。
• 知识选择的准确性。
• 回复中知识利用的合理性及保真度。

对话大模型落地应用、挑战及展望

• 落地应用：领域内问答、特定任务处理、兜底。
• 挑战：
  • 推理性能：通过极致算子融合、计算精度优化、推理卡适配等降低模型推理耗时和GPU使用成本。
  • 对话安全性：涵盖有害言论、群体歧视、政治敏感、个人隐私等，通过语料清洗、安全判别模型、关键词表维护、对抗攻击训练等策略提升安全性。

展望

• 目标：实现连贯、流畅、丰富、跨领域的人设、情感、常识、专业知识，人格、思辨、缜密推理等能力。
• 挑战与未来：道阻且长，行则将至，行而不辍，未来可期。

Reference

• 列出相关研究论文和资料。