语义模型在小红书社区搜索的应用

分享人：甘道夫（李生）/gandalf@xiaohongshu.com OUTLINE •小红书搜索的问题是什么 •语义模型在搜索的应用•训练与评估 小红书的搜索问题 •多模：文本、图像、视频•异构：图文笔记、长/短视频、商品、用户、评论、etc.•个性化 OUTLINE •小红书搜索的问题是什么 •语义模型在搜索的应用 •语义模型的训练与评估 语义模型在搜索的应用-overview 语义模型在搜索的应用 语义模型在搜索的应用-QP •基础分析模块•分词、命名实体识别、词权重、紧密度 •Taxonomy:•类目和意图预测 •改写:•纠错、同义改写、省略改写、查询扩展 语义模型在搜索的应用-召回 •倒排召回•向量召回•召回聚合 语义模型在搜索的应用-召回 •倒排召回 查询语法：“艾尔登”and“法环”返回结果：笔记1，笔记3 语义模型在搜索的应用-召回 分词 语义模型在搜索的应用-召回 语义模型在搜索的应用-召回 •向量召回 语义模型在搜索的应用-召回 •召回聚合 语义模型在搜索的应用-排序 语义模型在搜索的应用-相关性 OUTLINE •小红书搜索的问题是什么•语义模型在搜索的应用•语义模型的训练与评估 语义模型的训练与评估-文本BERT stage1: preTrain•task: MLM •model: n-layer transformer•data:文本数据•training: unsupervised 语义模型的训练与评估-文本BERT stage2: postPreTrain•task: BCE (nsp) stage1: preTrain•task: MLM •model: n-layer transformer•data:用户数据•training: supervised •model: n-layer transformer•data:文本数据•training: unsupervised 语义模型的训练与评估-文本BERT stage2: postPreTrain•task: BCE (nsp) stage3: fineTune•task: regression (MSE) stage1: preTrain•task: MLM •model: n-layer transformer•data:用户数据•training: supervised •model: n-layer transformer•data:标注数据•training: supervised •model: n-layer transformer•data:文本数据•training: unsupervised 语义模型的训练与评估-在线推理 •蒸馏：soft-label •摘要 •query-dependent extractive summary•head-n important sentences•maxlength256 -> 160 •量化 •fp16•embedding&layer-norm保留fp32 语义模型的训练与评估-在线推理 •训练 •Megatraon-LM +Tensorflow•多机多卡；3D-Parallel (data/tensor/pipeline parallel) •推理 •TF serving +FasterTransformer 语义模型的训练与评估-多模相关性 •Bert +ViT•图文部分仅用右侧塔单独训练（image+query） THANK YOU欢迎 加 入 ！ 更多请联系：gandalf@xiaohongshu.com