小红书多模态算法团队技术实践总结
小红书社区业务概述
- 定位：从旅游攻略分享平台发展为复合型生活方式社区，用户从小众需求转向大众生活。
- 核心业务问题：如何让创作更有趣、更简单，同时控制算力成本。
- 用户特点：普通用户占绝大多数，女性比例高，对内容精致度和创意要求高。
智能特效——让创作更有趣
- 业务挑战：差异化风格定制、局部细节控制、拓展创新玩法。
- AI绘画工具：满足用户自我表达需求，非炫技性质。
- 创作形式：图像为主，年轻人，分享外在，注重创意和细节。
深度生成原理
- VAE模型：基于变分下界约束的Encoder-Decoder模型，通过加噪和随机过程拟合数据分布。
差异化风格定制
- 主要挑战：开源风格集中，用户对细节要求高。
- 解法：
- 风格定义：人物（扁平、鲤鱼、喜鹊等）、动物、颜色质感、背景（国风、拼贴、赛博等）。
- 技术难点：笔触感优化、风格退化问题、高专业性细节打磨、算法鲁棒性。
- 解决方案：流程化（种子图设计/制作/扩图+LoRA定制）、LatentFeat消偏/控制模块微调、传统算法结合、多场景预处理。
- 案例：
- 风格化动图技术：用户输入一张图生成风格化动图，高效可复制，爆款出圈。
- 技术方案：基于AnimateDiff模型，文生图+运动模块建模，自研ControlNet动态衰减权重控制。
- 穿越漫画遇见自己：用户输入图片生成多种风格化合成视频，多风格定制化成本高，应用小样本定制。
局部细节控制
- 问题：崩坏类问题、ID类问题。
- 人像优化技术：
- 解法：构建facemodule，局部inpainting重绘，兼顾耗时和效果。
- 方案链路：局部重绘vs.全局重绘，模块可插拔。
- 更进一步：肢体优化技术、真人人像技术。
- 多图方案：摄影棚效果vs.真实感，训练ID LoRA+风格LoRA融合。
- 单图方案：写实类，缩放+旋转+脸部抠图，叠加光照、美颜等后处理。
- 案例：ID注入技术/个人数字分身，从解决人脸崩坏到像自己，实现自我表达。
拓展创新玩法
- 涂鸦生图：
- 挑战：低门槛、几何/风格一致性、颜色控制。
- 解法：多模态模型解析涂鸦内容，ControlNet/LoRA、多控制信息并行。
- 延伸AI世界：
- 挑战：视频稳定性、大场景切换。
- 解法：按主题设定故事线，自定义多场景，基础元素定制。
智能编辑——让创作更简单
- 核心问题：降低用户发布难度，提升发布链路转化率。
- 方案：素材优选-内容聚合-模板匹配-渲染成片。
- 提升成片效果：新增热门主题（冬季滑雪、夏日溯溪等）。
- 文案配图：
- 解决方案：使用大语言模型为用户文本进行联想。
- 技术难点：生成结果不可控、生成时效性。
- 解法：各环节审核，fastllm-50%，sd-30%，整体耗时2s左右。
算力成本控制
- 主要挑战：模型量化、特定卡型编译优化、算子graph优化、服务合并、潮汐扩缩容。
- 技术方案：AI编译优化+OP Fusion，比pytorch原版快30%倍的性能优化。
未来展望
