RWKV:引领大模型架构变更的新型RNN
1. RWKV的历史
RWKV项目始于2020年初,旨在解决Transformer架构在长序列处理中的算力需求巨大和Scaling-law失效问题。目前正在研发RWKV-7版本,并正引领大模型的架构迁移。
2. RWKV的架构特点
- RNN与Transformer的改进:结合RNN的内存占用小和Transformer的并行计算能力,解决RNN梯度消失和并行化限制问题。
- 时间混合模块:通过递归形式实现,RWKV-5中的w是data-independent的,RWKV-6中的w是data-dependent的,通过动态生成token-shift量和衰减率提升性能。
- WKV模块改进:替代静态衰减率,实现更高效的通道衰减和并行计算。
3. RWKV的基础模型
- 架构改造:将Block拆分为并行计算模块,Time Mixer模块通过CUDA/FLA扩展实现Channel Wise+Head Wise并行处理。
- 训练效率:长上下文时训练速度比GPT+flash_attn更快,内存占用恒定。
- 推理性能:内存占用恒定,时间复杂度线性增加,优于Transformer的指数增长。
4. RWKV的落地场景
- 应用广泛:涵盖语音识别(RWKV ASR)、视觉语言模型(Visual-RWKV)、扩散模型(Diffusion-RWKV)、3D点云学习(PointRWKV)等。
- 知名使用者:压缩软件ts_zip使用RWKV-4,实现速度与压缩率的平衡。
- 创业项目:MidReal、pygmalion、Recursal等海外创业团队采用RWKV开发端侧模型和AI小镇。
5. RWKV的未来发展方向
- 开源开放:采用Apache 2.0协议,全球开源开放。
- 持续研发:研发RWKV-7,进一步提升性能和扩展性。
6. RWKV的评测结果
- 性能表现:英文效果仅次于LLaMA-8B和Mistral-7B,多语言能力最佳。
- 泛化能力:语言建模能力即压缩能力,新数据衡量泛化能力表现优异。
- MQAR测试:RWKV-6在MQAR测试中内存占用显著降低(比Flash Attention少40%),ctx4k训练的RWKV-6可适应到ctx20k以上。