电商大模型及搜索应用实践

演讲人：翟周伟京东/技术总监 CONTENTS目 录 01电商行业的发展和技术演进 02大模型在电商场景下的问题 04电商搜索大模型应用实践 03电商大模型关键技术 05下一代AI电商搜索 电商行业的发展和技术演进 •电商行业发展•电商场景问题分析•关键问题和技术挑战•技术演进洞察 电商行业发展 过去10年实物商品网上零售额高速增长，电商模式也从货架电商为主发展为和内容电商并存的局面 本质上都是通过技术驱动大幅降低了商品流通成本，显著提升了零售效率，而电商模式的发展变化背后也是技术演进的结果 电商场景分析 从电商用户的消费决策链出发，用户从需求的产生到最终决策下单可拆解为购前，购中，购后，这三个阶段： 在消费决策链路中用户购买需求产生后搜索是决策的关键环节，而电商搜索的核心就是基于用户需求的商品分发，电商搜索技术就是主要解决商品分发效率的问题，优化的目标就是GMV和UCVR，和一般的信息搜索（如百度）有很大的区别。 关键问题和技术挑战 产品形态：京东主站三大搜索产品形态 京东小程序 宏观目标：更低的成本，更高的效率，更好的体验关键问题：GMV：UV*UCVR*客单价 关键问题和技术挑战 优化目标：GMV=UV*UCVR*客单价，多目标优化难题，还要坚持宏观目标：更低的成本，更高的效率，更好的体验，从技术角度拆解存在以下技术挑战： 意图理解 交互引流 商品召回 相关性 1.复杂用户需求理解2.数千数万商品属性和类目精准识别3.用户画像等复杂上下文 1.文本+图像多模态匹配2.动态价格,促销,物流等3.权衡UCVR和长期GMV4.宏观流量调控和反作弊 1.提升交互效率同时考虑激发用户需求 1.多维度召回和融合2.商品和库存等动态变化3.个性化和多样性问题 2.时效性问题 3.丰富性问题 电商搜索技术演进洞察 技术演进本质上还是通过技术创新去实现更低的成本，更高的效率，更好的体验 AGI导购助手 1.完全AGI技术驱动2.完全多模态交互2.AI Agent式购物服务3.人格化数字虚拟助理 深度学习阶段 1.基于DNN的意图/商品精准理解提升分发准确率2.以文本+语音+图像的新搜索交互,3.ANN语义召回,多模态召回和DNN匹配技术3.个性化搜索，千人千面 机器学习阶段 1.统计NLP为核心的用户意图理解和商品理解2.基于ML的CTR/CVR建模3.LTR排序模型4.用户反馈数据学习 文本检索阶段 1.规则引擎的应用2.基础文本检索技术3.关键词的人货匹配 大模型电商场景下的问题•大模型的技术优势 •电商场景下的应用问题•电商大模型解决方案 大模型的技术优势 电商场景下的应用问题 成本和速度 时效性 效果和个性化 电商知识理解 安全性 •用户敏感数据泄露风险•生成商品相关内容的安全合规 •大模型本身更新很慢，知识陈旧•新商品，促销，价格等更新时效性很高 •直接应用没绝对效果优势•理解购物历史，偏好，评论，商品细节等个性化挑战 •训练和推理成本大，ROI低，很难大规模商用•在线推理速度很难满足实时性 •通用大模型商品知识专业性不足：商品类目,品牌,属性等•通用知识和商品的对齐问题•图像商品理解差 电商大模型解决方案 电商大模型关键技术•数据和预训练 •通用对齐和领域对齐•安全性•评估体系 数据和预训练-DataPipline •核心：站外和站内商品相关数据去噪音，提升专有数据的电商知识密度 数据和预训练-Continue Pretraining 人类学习模式 基于知识继承的增量学习框架•基于对知识学习的认知，成本和效率的考量 通用对齐和领域对齐学习 目标：通用指令遵循优化，同时在电商领域增强对齐 安全性 从潜在安全事件发生前后可以划分为被动安全和主动安全•被动安全：安全检测服务，从检测方向，对用户输入的prompt和大模型生成的内容进行安全检测 annotator•主动安全：大模型生成安全性，从生成方向，对于任何输入保证大模型生成的回复内容是安全可控的，包括幻觉，毒性，偏见等，主要通过SFT和RLHF技术实现 安全性-被动安全 目标：对用户输入的prompt和大模型生成的内容进行安全检测，输出安全分类标签，执行Action策略，除公司统一的安全审核服务外，同时构建了增强的被动安全审核。 •安全干预平台:目标是快速干预实现紧急安全问题•文法规则引擎:以句法分析模板+词典进行识别，侧重关键词特征明显的文本识别•分类模型：以NN为核心的小模型，例如基于bert的分类，保证一定泛化，同时满足实时要求•大模型安全检测：通过SFT等技术通过大模型来检测，为了满足低时延往往低于13B参数实现 安全性-主动安全 两种思路•融合路线：通用对齐+电商对齐+安全对齐在SFT和DPO阶段数据融合，PPO阶段模型融合 •两阶段对齐：最后单独进行二阶段的安全对齐 评估体系 •使用主流Benchmark：•MMLU,CMMLU,C-Eval,GSM8K，GAOKAO，SuperCLUE等 通用Benchmark •和电商应用任务对齐构建了电商Benchmark•自动评估+人工评估 电商Benchmark •CValues，Safety-Prompts，自建安全评估集•Score =安全回复数量/总回复数量或总prompt数量•FRR：错误拒答率 安全性Score 电商搜索场景下大模型应用实践•搜索交互 •电商用户意图理解•文案创意生成•电商搜索相关性 搜索交互 通过query引导，更好的获取满意结果，同时降低交互成本，提升搜索交互效率，通过引导有效提升转化，如下示意图： 难点和挑战•传统方法核心是基于召回+排序思路，SMT, NMT，优化链路长，噪音大 •歧义，多义，个性化等理解挑战•准确性，泛化效果很难进一步提升 搜索交互-以纠错/Sug等为例 大模型应用核心点•基于电商知识增强的电商大模型进一步结合业务任务对齐 电商意图理解 电商意图理解目标：解决用户需求表达和商品的语义对齐问题，提升商品召回的相关性和多样性，最终提升用户转化UCVR方向： •query理解：分词，实体识别，类目预测，品牌识别，改写，需求识别等•商品理解：商品SKU理解，商品图像理解，sku-to-query等 问题和挑战：•query理解:传统基于规则+基于bert的二分类或多分类,序列标注等算法,优化成本高,长尾难解 决•商品理解：商品理解泛化差，商品图像基于OCR准确率不高 电商意图理解 核心技术：•Instruction learning •搜索用户反馈用于DPO/PPO•RAG：知识图谱-RAG，用户画像-RAG 文案创意生成 目标：利用大模型的生成能力，降低商品素材的成本，提升营销转化效率 电商搜索相关性 •核心问题：用户需求和商品的匹配问题，最终会被转化为sim(query, sku)的相关性,同时优化考虑CRT和CVR为目标•主流模型：主流的基于NN的语义相关性模型分为两大类：孪生网络和交互式匹配 孪生网络也称双塔模型，特点：•完全独立编码，上层相关性交互•可离线计算编码，在线速度快典型代表：DSSM 交互式匹配网络也称单塔模型，特点：•在底层直接self-attention完成细粒度交互•不可离线计算，在线速度慢，效果相对好典型代表：Bert 问题挑战：长尾泛化效果存在瓶颈，超长上下文以来理解有限 电商搜索相关性 方案1：prompt工程应用+数据增强蒸馏 下一代AI电商搜索 下一代AI电商搜索 传统电商和新兴电商核心还是搜推技术驱动 颜色规范 THANKS 智能未来，探索AI无限可能Intelligent Future, Exploring theBoundless Possibilities of AI