电商行业的发展和技术演进
电商行业过去10年实物商品网上零售额高速增长,模式从货架电商发展为内容电商并存。技术驱动降低了商品流通成本,提升了零售效率,电商模式变化是技术演进的结果。
电商场景分析
用户消费决策链路分为购前、购中、购后三个阶段,搜索是购前决策的关键环节。电商搜索核心是商品分发,目标是提升GMV和UCVR,与一般信息搜索区别显著。
关键问题和技术挑战
京东主站三大搜索产品形态:京东主站、京东小程序。宏观目标是更低成本、更高效率、更好体验。关键问题为GMV=UVUCVR客单价,多目标优化难题,技术挑战包括:
- 意图理解:复杂用户需求、商品属性和类目识别、用户画像等上下文
- 交互引流:文本+图像多模态匹配、动态价格/促销/物流、UCVR和长期GMV权衡、流量调控和反作弊
- 商品召回:多维度召回和融合、商品和库存动态变化、个性化和多样性
- 相关性:时效性问题、丰富性问题
电商搜索技术演进洞察
技术演进通过技术创新实现更低成本、更高效率、更好体验:
- 文本检索阶段:规则引擎、基础文本检索、关键词人货匹配
- 机器学习阶段:统计NLP用户意图理解、CTR/CVR建模、LTR排序模型、用户反馈数据学习
- 深度学习阶段:DNN意图/商品精准理解、文本+语音+图像交互、ANN语义召回、多模态召回和DNN匹配、个性化搜索
- AGI导购助手:完全AGI技术驱动、多模态交互、AI Agent式购物服务、人格化数字虚拟助理
大模型在电商场景下的问题
大模型的技术优势
- 强大的自然语言处理能力
- 多模态交互能力
- 自动化生成内容
电商场景下的应用问题
- 成本和速度:训练和推理成本高,在线推理速度难满足实时性
- 时效性:通用大模型商品知识更新慢,电商领域知识时效性高
- 效果和个性化:直接应用效果优势不明显,理解购物历史等个性化挑战
- 电商知识理解:通用大模型商品知识专业性不足,通用知识和商品对齐问题,图像商品理解差
- 安全性:用户敏感数据泄露风险、生成内容安全合规
电商大模型解决方案
- 数据和预训练:站外和站内商品相关数据去噪音,提升专有数据的电商知识密度
- 继续预训练:基于知识继承的增量学习框架
- 通用对齐和领域对齐学习:通用指令遵循优化,电商领域增强对齐
- 安全性:
- 被动安全:安全检测服务,检测用户输入和生成内容
- 主动安全:大模型生成安全性,通过SFT和RLHF技术保证内容安全可控
- 评估体系:
- 通用Benchmark:MMLU, CMMLU, C-Eval, GSM8K, GAOKAO, SuperCLUE
- 电商Benchmark:CValues,Safety-Prompts,自建安全评估集
电商搜索场景下大模型应用实践
搜索交互
通过query引导提升搜索交互效率,降低交互成本,提升转化。难点包括传统方法优化链路长、噪音大,歧义、多义、个性化理解挑战,准确性、泛化效果提升难。
电商意图理解
目标提升商品召回相关性和多样性,最终提升UCVR。核心技术包括:
- Instruction learning
- 搜索用户反馈用于DPO/PPO
- RAG:知识图谱-RAG,用户画像-RAG
文案创意生成
利用大模型生成能力降低商品素材成本,提升营销转化效率。
电商搜索相关性
核心问题为用户需求和商品匹配,转化为sim(query, sku)相关性,优化CRT和CVR。主流模型:
- 孪生网络(DSSM):独立编码,可离线计算
- 交互式匹配(Bert):直接self-attention完成交互
方案:prompt工程应用+数据增强蒸馏
下一代AI电商搜索
传统电商和新兴电商核心仍是搜推技术驱动。