登录
注册
个人信息
我的订单
我的报告豆
我的优惠券
我的笔记
我的阅读
我的收藏
我的下载
我的上传
我的订阅
在线客服
退出登录
回到首页
AI
搜索
发现报告
发现数据
发现专题
专题报告
专题百科
研选报告
定制报告
VIP
权益
付费社群
发现一下
行业研究
公司研究
宏观策略
财报
招股书
会议纪要
Token
低空经济
十五五
AIGC
大模型
当前位置:首页
/
行业研究
/
报告详情
MTGR:美团外卖下一代生成式推荐模型落地实践
信息技术
2025-07-15
-
美团
Mascower
背景与动机
大模型Scaling Law
:模型性能随规模、数据量和计算资源增加而提升,LLM(如GPT、LLama3.1、DeepSeek-R1)参数量快速上升。
推荐系统中的Scaling Law困境
:注意力机制虽早被引入,但工业界罕用超深注意力机制,核心挑战在于推荐模型训练数据量远超LLM,且线上推理延迟严格(~30ms)。
落后原因
:基建历史包袱(Tensorflow生态落后)、算法认知不足、算法与工程co-design处于初级阶段。
推荐系统中Scaling Law的突破
HSTU(Hierarchical Sequential Transduction Units)
:首次在业务中落地生成式推荐大模型,通过序列生成建模用户行为,颠覆传统建模方式。
HSTU优势
:在离线指标和在线AB实验中优于DLRM,展现良好的Scaling Law性质,为模型效果优化提供可持续发展路径。
DLRM与GR对比
DLRM局限
:无法高效处理全量用户行为,需序列检索、特征工程等方式提取信息,限制模型效果上限。
GR优势
:有效提升训练及推理效率,提升模型scaling规模上限;模型结构更优,无需负采样,支持更大规模模型,可利用KV Cache减少计算开销。
MTGR:美团生成式推荐落地实践
核心问题
:如何通过Causal Mask建模完整用户行为链,如何处理删除交叉特征带来的信息损失。
MTGR数据组织
:按用户聚合,取消负采样和长序列检索。
MTGR模型结构
:参考HSTU,序列由多种Token构成,采用Group LayerNorm和Dynamic Mask优化计算。
MTGR效果
:离线实验在宽度、深度、Token长度多方面观察到近似对数线性的Scaling Law;在线AB实验中,MTGR-large在首页推荐场景全量部署,训练成本持平,推理成本下降44%。
MTGRBoost:训推引擎建设
GR模型训练和推理挑战
:训练计算量和存储量激增,在线推理模型规模和计算量膨胀。
MTGRBoost组件
:MTGR-Training(支持低成本、高效率大规模分布式训练)和MTGR-Inference(支持低延迟、高吞吐大规模线上推理部署)。
MTGR-Training优化
:集成Nvidia Cutlass-based HSTU kernel,支持变长序列输入;引入动态BS和加权梯度聚合策略,解决负载均衡问题。
MTGR-Inference优化
:选择TensorRT和Triton Inference Server,通过算子融合、低精度量化、User Cache等技术提升性能。
总结与展望
总结
:MTGR和MTGRBoost以较低成本支持大规模GR模型训练和推理,实际业务线上AB实验取得收益,为下一代搜推广模型迭代打开算力天花板。
未来工作
:利用MTGR高效推理性能改变上下游漏斗迭代范式;利用MTGR异构建模特点建立跨业务Foundation model。
你可能感兴趣
美团外卖广告智能算力实践
文化传媒
全球软件开发大会
2022-10-08
申万计算机商汤2024年报速评生成式AI持续高增下一代模型即将发布
未知机构
2025-03-26
美团外卖广告智能算力实践
文化传媒
全球软件开发大会
2022-09-18
UE模型视角下政策规则变化对美团外卖的短期与长期影响
德邦证券
2021-06-20
国泰海通刘越男 推荐美团 外卖竞争趋缓 盈利持续修复
未知机构
2026-07-23
国泰海通刘越男推荐美团外卖竞争趋缓盈利持续修复 20
未知机构
2026-07-23
美团-W(3690.HK)2026年一季度业绩点评 外卖盈利修复超预期,持续推荐
国联民生证券
2026-06-04
AI 重塑生产力:生成式AI在质量和供应链场景中的落地应用实践
信息技术
未知机构
2025-08-01
美团 大规模k8s集群的成本和服务质量优化——美团容器平台降本运营落地实践
信息技术
美团
2023-10-14
基础模型驱动的推荐系统综述:从特征驱动、生成式到智能体范式
信息技术
新南威尔士大学&Adobe Research&佐治亚理工学院
2025-04-23