2024华为云客服AI助手的大模型实践与思考

About me –郑岩，from华为云BP&IT团队 •山东人@深圳 •4年SAP，9年华为 •华为云数智使能团队负责人 •AI+知识+数据+TA •终身学习者 通过本次分享，你可以了解到： •华为云客服AI“养成之路”•华为云客服AI落地过程中，遇到的“三道坎”及解题方法•在企业中应用AI大模型的“避坑指南” 目录 1.探路篇：华为云客服AI助手工作复盘 2.避坑篇：在企业内部应用AI大模型的思考 华为云客服业务背景：最重要的客户触点之一，如何持续提升用户体验和问题闭环效率？ 作业数字化 •工单处理线上化 •官网智能客服（QA Bot） •知识库建设 阶段2：2019~2022年 核心诉求：AI大模型驱动生产力跃迁 核心诉求：借助知识及“传统”AI手段，沉淀经验资产，提升人效 阶段1：2017~2019年 核心诉求：业务作业过程线上化 客服AI助手的“养成之路”：跨过“三道坎”，依然还在路上… ①让AI大模型能“做事”，当前仅靠简单的R+A+G还远远不够，还需要3个关键配套 2、但是，RAG搞Demo容易、落地难，还需要几个关键配套 1、RAG是当下性价比最高的LLM落地方案，本质上是一种工程化“代偿”方案 •配套1：工程化实现•配套2：企业知识管理•配套3：全链路监控/评估 附：RAG工程化实现方案，初看是搜索，越做越是Agent ②只有让AI飞轮“低功耗”转起来，才能让“AI养成”这个游戏持续的玩下去 •企业场景用户量有限（k级），反馈率极低（<5%）；拿不到足够的反馈，就无法支撑AI持续迭代，怎么破？ ③持续提升领域AI大模型能力的“秘方”是什么？ •如何让AI大模型的能力提升符合预期：理解垂域知识，执行垂域任务，有更多数据和算力来持续投入训练 我们的解题思路： 1、一套企业级的L1大模型 •集中资源和精力，打磨一个“懂行”的企业级L1基模型（也可能是开源的行业大模型） 2、深刻理解数据，才能持续提升数据质量 •对训练数据集建模，本质上是在对业务任务建模（尝试弄清楚AI到底缺啥数据？缺多少？--“实习生测试”）•持续改进训练数据和提示词（多看数据+评测体系）•不断research（当然，得先做search） 最终，你会发现：AI大模型落地不仅仅是IT挑战，还是一场业务变革… 华为AI变革“3层5阶8步法”：以业务价值目标为牵引，流程+组织+数据+ IT，端到端变革 •业务专家•数据专家•技术专家 ⑤数据和知识工程第四阶：数据 1.高质量数据的采集清洗转换 初阶：模型选型，Prompt中阶：微调，外挂知识库，Botmaker高阶：AI数据集，领域模型训练 •数据工程师•知识工程师/专家•提示工程师（初阶）•AI训练师（中高阶）•AI研究员（高阶） 2.模式数据集的专家撰写和扩增 AI开发与交付 ⑧AI持续运营 ⑦AI融入业务应用 1.AI评测上线2.大小模型编排3.SAL治理 1.获得反馈2.对数据和知识刷新和修正。3.对模型持续校准和训练 •作业人员具备AI初阶技能和数据工程师•业务专家向AI高级训练师和Kmer转变 目录 1.探路篇：23年AI辅助华为云业务工作复盘 2.避坑篇：在企业内部应用AI大模型的思考 思考：在企业中应用AI大模型的几个“坑” 1.AI大模型的“代偿”一时爽，一直“代偿”能一直爽吗？ 2.我的IT团队能“适应”AI大模型应用时代吗？应该从哪儿开始搞起？ 3.AI大模型应用到底是“+AI”还是“AI+”？ 因地制宜，选择合适的“游戏模式”，组建GenAI应用团队，与AI大模型共同成长 GenAI应用团队与传统IT应用团队差异很大 •面向AI大模型的应用设计和开发•人才第一、数据第二、算力第三（英雄出少年，关注优秀GenAI团队的构成） 思考：与传统IT团队人员配置差异很大；从应用角度，用好ICL，辅以SFT，按需做增量预训练，是不错的选择 以终为始，用“AI+”思想设计，以“+AI”来逐步改变，当下正是“春耕时节” 思考：当下是与业务建立统一认知、组建团队、练兵的好时机；应当甄选“好”场景，小处着手，低垂的果子先摘 TAKE AWAY：春耕时节，大处着眼，小处着手 •我们的“探路”报告 ①为了让AI大模型能“做事”，RAG有用，但远远不够，需要三个配套（工程化实现、企业知识管理、全链路评测）②为了让AI飞轮“低功耗”转起来，重新设计业务流程和IT交互，让AI大模型融入作业（“作业即标注”）③为了持续提升领域AI大模型能力，需要建立企业级L1，并对训练数据建模，以改进数据质量④加餐：企业AI变革的“三层五阶八步”方法论（以业务价值目标为牵引，围绕组织、流程、数据和IT的变革落地） •我们的“避坑”指南 ①AI大模型未来会“更快、更准、更长、更便宜、更多模态”，别在前进的车轮下“绣花”②组建GenAI应用团队，从应用角度用好ICL，辅以SFT，按需做增量预训练③甄选“好”场景，小处着手，低垂的果子先摘，当下是非常好的机会窗来储备 Thank you.谢谢大家！ 把数字世界带入每个人、每个家庭、每个组织，构建万物互联的智能世界。 期待共同交流、成长~ Bring digital to every person, home andorganization for a fully connected,intelligent world. Copyright©2018 Huawei Technologies Co., Ltd.All Rights Reserved. The information in this document may contain predictivestatements including, without limitation, statements regardingthe future financial and operating results, future productportfolio, new technology, etc. There are a number of factors thatcould cause actual results and developments to differ materiallyfrom those expressed or implied in the predictive statements.Therefore, such information is provided for reference purposeonly and constitutes neither an offer nor an acceptance. Huaweimay change the information at any time without notice.