Agent技术在小爱同学中的应用

演讲人：杞坚玮小米小爱高级算法工程师 CONTENTS目 录 01智能语音助手的变革 02Agent技术在小爱中的成功实践 03 未来优化方向 智能语音助手的变革 智能语音助手的核心链路 Agent技术为语音助手带来新机遇 架构大幅精简多层分类架构，简化为一个模型80余个垂域，简化为10个垂直Agent 策略大幅精简去除大量文法、规则、模板由人力驱动转向数据驱动 Agent技术在小爱中的成功实践 Agent技术应用在语音助手的若干挑战 如何在语义理解中发挥AgentPlanning传统语义理解是判别任务，如何与生成任务结合 如何让Agent掌握各类功能使用方式上百个一方/三方API，如何保证产品质量 如何让Agent在交互中不断优化语音助手庞大的用户体量是Agent优化的宝贵财富 如何保证Agent在运行中的响应速度提升效果的同时需要保持良好的产品体验 语义理解与Planning能力的结合 传统语义表示：不适合作为Agent的理解方式 “今天北京的天气” 依靠人工预设、枚举的空间有限分类任务中类别预先定义，无法囊括长尾需求 Domain：WeatherIntent：SearchActionSlots：City:北京, Date:今天 意图槽位范式无法发挥Agent规划潜力无法支持复杂嵌套的逻辑关系 语义理解与Planning能力的结合 代码式语义表示：与人类语言相当的表示能力 发挥LLM在推理规划中的优势基于定义的动作与实体自由组合意图表示 发挥LLM在Coding任务的优势根据Instruction输出Code，是LLM的底层能力 语义理解与Planning能力的结合 语义理解与Planning能力的结合 分而治之、协同调度的多agent框架 提升Agent在垂直场景中的表现 垂直场景中包含多种功能与参数 提升Agent在垂直场景中的表现 LLM优化范式：数据是关键 高质量精细化微调 垂直场景的持续预训练 根据业务需求进行少量微调快速适应不同场景业务需求 在大规模业务数据上的无监督训练补充业务知识、熟悉业务定义 提升Agent在垂直场景中的表现 提升Agent在垂直场景中的表现 提升Agent在垂直场景中的表现 分阶段微调：从易到难逐步学习 头部表达学习定义+长尾表达增强泛化手机还有多少电这个电量还够用吗电量低了记得打开省电模式 Agent在与用户交互中成长 语音助手场景中的环境反馈 Agent在与用户交互中成长 Agent在与用户交互中成长 意向性：理解用户主观感受而非直述指令手机这么卡是不是后台程序太多了、玻璃雾气有点重 实体消歧：结合Context推断单个实体含义知否知否、播放西游记 提升Agent服务响应速度 提升Agent服务响应速度 提升Agent服务响应速度 提升Agent服务响应速度 Agent视角下的语音助手升级 数据驱动 各业务统一优化范式基于数据飞轮持续迭代 Agent升级带来的体验提升 未来优化方向 更主动智能的交互体验 当前小爱与用户的交互大多由用户主导，我们希望未来小爱能具备主动交互的能力 主动向用户确认信息“您提到的咖啡，想要什么甜度的呢”“从武汉到北京耗时最短的高铁有三趟，您希望什么时候出发” 根据用户行为习惯为其推荐执行操作“您加班辛苦了，离开公司时需要我为您叫车吗”“今天温度比较低，需要我提前打开座椅加热吗” 融合多模态能力，实现深度操控 Agent技术加持的智能语音助手 我们采用如下思路，将Agent技术应用于语音助手 如何让Agent掌握各类功能使用方式使用持续预训练与精细化微调如何保证Agent在运行中的响应速度在序列压缩、解码提效、模型压缩方向提升速度 如何在语义理解中发挥AgentPlanning使用代码式语义理解，多Agent协同的架构如何让Agent在交互中不断优化使用基于用户反馈的强化学习未来我们希望能继续优化的方向更加主动智能的交互体验 结合多模态信息的深度理解与控制 THANKS