周梁伟-大模型在融合通信中的应用实践

网易云信周梁伟 关于我们 融合网易二十余年数字化与智能化技术积累和经验沉淀，面向娱乐、社交、零售、金融以及游戏等行业，提供数字内容风控、融合通信和云原生PaaS、服务营销一体化、全链路数据开发治理及分析、应用智能开发等解决方案，已累计服务超过百万家企业客户。 01云信PaaS架构 02应用场景 03解决方案和落地模式 PaaS+LLM PaaS + LLM 基于多年即时云通讯服务建设经验，结合对千行百业的落地场景实施理解，调研客户在协同办公、客服、营销、社交等场景需求，整合集团内部人才资源，面向企业开发者提出的低门槛低成本，安全可靠的“通讯场景+LLM”的解决方案 应用场景-客服 传统客服面临诸多问题 01知识库维护成本高 传统客服知识库维护成本高，新的产品上线后，往往需要相关人员手动更新校对源数据集，再结构化、更新不及时，使得机器人客服应答准确率低 02用户意图把握难 用户提问的方式和话术多样，针对一个问题问法＆习惯不同，导致语义识别的难度高，且传统客服缺乏上下文持续学习，使得机器人客服难以准确抓住意图、答非所问 03历史信息查阅繁琐 多次用户会话导致历史消息无法接续，客服人员需要反复查阅过去信息，效率低下 应用场景-客服 应用场景-客服 自动化知识库搭建 企业知识文档 将历史对话消息或知识库导入向量数据库，会自动抽取相关问题对答，并结构化呈现，支持手动导出、修改、删减等，帮助运营快速构建＆更新知识库。 应用场景-客服 精准识别提问意图 通过对上下文的分析，持续跟踪用户提问诉求并做出精准应答，保证对话连贯性；意图识别后会推送给知识库和模型共同分析，并根据结果选择匹配答案或生成答案 应用场景-客服 人工服务持续提效 随着对话推进，AI助理会实时给出答案建议，人工客服可以选择是否插入相关答案对话框里的内容可以润色文风，更加亲和干练插入的答案可以支持再次打标，以反哺知识库训练 应用场景-客服 人工与AI无缝协同 在人工对话中，单聊场景，都可随时@出AI，帮你回答问题，大幅减负提效需要多角色客服协同时，如销售客服无法解决技术问题，期望拉入技术售前一同解答，亦可在群聊中提供多角色+AI的服务，通过转发历史消息让AI延续会话历史 应用场景-客服 营销场景再升级 传统客服营销 繁琐的触达过程： 留资->加好友->了解需求->客群分类->私域推送->问询需要 算法推荐触达率低：成本高企的算法构建&较短的推荐链路 应用场景-虚拟世界群聊互动 强社交属性 应用场景-社交AI聊天 会话消息上下文平滑承续 用户与AI协同多样化、新颖化 难点挑战 业务融合难 选型难 训练难 找数难 企业开发者需要从零开始学习大模型的训练方法/策略，了解如何针对特定场景做好海量数据标记，学习训练工具的使用方法等 优质体验的AI服务，来源于优质的数据集，匹配行业/领域特征的数据集，短时间收集合适的“大规模”的数据也是一个门槛 深度融合业务AI，才是好用的AI，云信会贴合具体的业务情况，定义数据互通方案，如何将数据以特定的结构投喂AI，使LLM的定向学习 针对特定行业/领域场景，如何选择贴合自身业务所需的垂类大模型，需要对千百种大模型进行深度调研，并理解自身业务特性，保证选型精准，避免后续引入切换成本 优势亮点 大量垂类模型调研信息积累 融合度更高的IM底层能力 细分场景的脱敏精修大数据积累 丰富的IM行业场景实施经验沉淀 作为消息对话通讯服务厂商，云信已成功发送2万亿条消息，面向对话式LLM，脱敏精修过的消息类大数据为特定场景下的大模型训练提供有力保证；从AI热点发酵以来，云信通过多种合规渠道，持续丰富自己的场景数据集，旨在为客户落地更好的AI体验 当前市场大模型百花齐放，数千种大模型眼花缭乱，云信结合多年对行业场景的深刻理解，定向聚焦推进市场上通用大模型，垂类大模型的调研工作，摸底不同别类的模型特性优势，积累了在不同场景下应用哪种模型更贴合业务需要的前置信息 云信SDK/API已累计接入全球180万企业开发者，覆盖终端超224亿，对各行各业的场景落地有较其他厂商更深刻的理解，在支撑企业完成低成本、高安全、高体验的IM+AI的创新探索上有丰富的行业经验优势 作为IM厂商，云信已提前规划针对Ai的IM底层能力融合工作，包括消息流式打印，第三方大模型消息互通、AI聊等，旨在交付开发者功能融合度更高的产品能力，保证用户最佳体验，企业更低的集成研发成本 优势亮点 优势亮点 海量IM数据向量化解决当下场景的问题 优势亮点 功能示例 社交沟通中单聊等任何场景快速Q数字人互动辅助 数字人结合用户访问路径数据精准营销 聊天工具窗集成AI工具 Toast集成AI工具 功能示例 交付策略 优势说明 数据更安全，业务健康可控性更高 服务资源拓展更容易，无需管理物理机 业务快速部署落地，数据资产更安全 05 提供AI定义和功能拓展培训指导 提供长期运维辅助和支持 提供业务落地成本控制方案设计 交付配套SDK及操作台 训练师按调试打磨 深入客户场景发挥核心优势生态共建落地 Thanks！