行业研究公司研究宏观策略财报招股书会议纪要 Token 低空经济十五五 AIGC 大模型

让算力不再成为瓶颈，小红书机器学习异构硬件推理优化之道

信息技术 2023-08-08 DataFunSummit2023：大模型与AIGC峰会 Good Luck

前言

演讲人杜泽宇为小红书商业化引擎团队负责人，汇报小红书商业化引擎的模型服务、GPU优化实践及未来规划。

背景

（正文未提供具体背景信息）

模型服务概览

小红书商业化引擎提供多种模型服务，包括：

推、搜、广大稀疏模型（CTR类）：用于推荐、搜索和广告的稀疏模型。
其它模型（CV，NLP）：用于图像和自然语言处理的模型。
通用模型服务：涵盖多种场景的模型服务。

GPU优化实践

小红书在GPU优化方面进行了系统优化和计算优化：

系统优化：
- 通过系统级优化提升GPU使用效率。
- 优化模型训练和推理过程，减少资源消耗。
计算优化：
- 优化模型计算过程，提升计算效率。
- 实现DL栈自动编译优化，进一步提升性能。

训练优化（1、2期）

通过多期优化，提升模型训练效果和效率。
优化模型训练和推理过程，减少资源消耗。

未来

持续优化模型服务和GPU使用效率。
探索新的模型和优化技术，提升商业化引擎性能。

让算力不再成为瓶颈，小红书机器学习异构硬件推理优化之道

点击免费查看完整报告

你可能感兴趣

推理机器学习：迈向人机协作视觉与语言模型

佐治亚理工学院2025-02-26

AI推理、机器学习编排与代理型AI工具及平台研究报告

信息技术CNCF2025-11-28

CNCF技术雷达：AI推理、机器学习编排与代理型AI工具及平台

信息技术SlashData&云原生计算基金会2025-10-01

机器学习or主动量化，突破壁垒的策略之道

国金证券2023-06-18

国产适配：异构算力管理与成本优化

腾讯2025-07-01

中金科技算力硬件上涨点评服务器将受益于推理需求繁荣截至午盘

未知机构2025-02-07

【九点特供】如何不再错过引力传媒和天威视讯？能作为公共大模型的入口，又能独立运行个性化的私有大模型，该AI 硬件设备即将迎来大规模出货，公司产品有望成为关键零部件

未知机构2023-11-23

小红书Will商业大会：让睡眠成为一件“简单“事

其他方案2024-12-26

2025小红书Will商业大会：让睡眠成为一件“简单“事

活动方案2026-07-14

2025小红书WILL商业大会PPT6亚朵星球-让睡眠成为一件“简单“事

活动方案2026-07-14