林玥煜-RWKV引领大模型架构变更的新型RNN

RWKV：引领大模型架构变更的新型RNN

项目历史

• RWKV 项目始于 2020 年初，由 Bo Peng 单人发起开源。
• 2022 年 11 月开源 RWKV-4 7B 模型，2023 年 3 月开源 14B 模型，同年 5 月公开论文。
• 2023 年 6 月成立元始智能，8 月获得首个商业客户，10 月代码开源，全球开发者超 2 万。
• 2024 年 1 月公开 RWKV-5 和 RWKV-6 论文，4 月开源 7B 模型，5 月推出首个 toC 端侧应用。

RWKV 要解决的问题

• Transformer 架构存在算力需求巨大、Scaling-law 失效等问题，RWKV 旨在引领大模型架构迁移。

RWKV 架构特点

• 结合 RNN 和 Transformer 的优点，兼具高效训练和推理。
• 时间复杂度 O(N)，内存占用恒定，适合长文本处理和多轮对话。
• 只做矩阵乘矢量运算，无 KV Cache，计算效率高，对芯片友好。

RWKV 架构演进

• RWKV-5 消除归一化项，引入矩阵值状态，提升效率。
• RWKV-6 引入 channel-wise 衰减率，动态生成 token-shift 量和衰减率。
• 通过 CUDA/FLA 扩展，实现 Time Mixer 模块的并行计算。

RWKV 性能表现

• 推理性能全球最佳，内存占用低，训练效率高。
• MQAR 测试中 RWKV-6 显著优于 Flash Attention，能耗仅为 LLaMa 的一半。
• 英文效果仅次于 LLaMA-8B 和 Mistral-7B，多语言能力最佳。

RWKV 生态与落地场景

• 元始智能推出 RWKV-Vision、RWKV-TTS、RWKV-ASR 等多模态模型。
• 生态涵盖视觉、语音、时序预测等多个领域，海外开发者活跃。
• 知名使用者包括 FFmpeg、ts_zip 等，海外创业团队 Recursal 和 MidRealpygmalion 正在开发端侧模型。

研究结论

• RWKV 架构有效解决了 Transformer 的瓶颈问题，展现出优异的性能和扩展性。
• 未来将持续演进，推动大模型架构向更高效、更灵活的方向发展。