开放和先进的大模型视频生成模型

Wan 是阿里巴巴集团万象团队开发的一系列开放和先进的大规模视频生成模型，旨在推动视频生成的边界。Wan 建立在主流扩散变压器范式之上，通过一系列创新（包括新颖的时空变分自动编码器（VAE）、可扩展的预训练策略、大规模数据整理和自动化评估指标）在生成能力方面取得了重大进展。

Wan 的关键特性：

• 领先性能： Wan 的 14B 模型在包含数十亿张图像和视频的庞大数据集上进行训练，展示了视频生成相对于数据和模型大小的扩展规律。它在多个内部和外部基准测试中始终优于现有的开源模型以及最先进的商业解决方案，表现出明显和显著的性能优势。
• 全面性： Wan 提供两个强大的模型，即 1.3B 和 14B 参数，分别用于效率和有效性。它还涵盖多个下游应用，包括图像到视频、指导式视频编辑和个人视频生成，涵盖多达八个任务。同时，Wan 是第一个可以生成中文和英文视觉文本的模型，极大增强了其实用价值。
• 消费级效率： 1.3B 模型展示出卓越的资源效率，仅需 8.19GB 的 VRAM，使其与各种消费级 GPU 兼容。

Wan 的创新点：

• 时空变分自动编码器（VAE）： Wan-VAE 专门设计用于视频生成，结合多种策略来改进时空压缩，减少内存使用量，并确保时间因果关系。
• 可扩展的预训练策略： Wan 采用流匹配框架进行预训练，通过多阶段联合优化图像和视频，并利用大规模数据整理和自动化评估指标。
• 模型设计和加速： Wan 采用扩散变压器（DiT）架构，并结合上下文并行和模型分片等技术来提高训练和推理效率。
• 提示对齐： Wan 通过增加训练数据中的字幕多样性和改写用户提示，使其与训练阶段的视频字幕分布保持一致，从而提高模型推断的有效性。
• 基准测试： Wan 提出了 Wan-Bench，一个自动化、全面且与人类感知对齐的基准测试套件，用于评估视频生成模型的动态质量、图像质量和指令遵循准确性。

Wan 的应用：

• 图像到视频生成（I2V）： Wan-I2V 模型可以有效地将各种类型的图像转换为高度逼真和动态的视频。
• 统一视频编辑： Wan 提供了一个统一的可控生成和编辑框架，支持多种输入格式和任务，如修补、扩展、深度调整、姿势调整等。
• 文本到图像生成： Wan 在图像数据集上联合训练，使其在图像合成方面也表现出色。
• 视频个性化： Wan 可以生成与用户提供的参考一致的视频，并通过人脸检测和分割来获取个性化身份信息。
• 摄像机运动可控性： Wan 可以通过利用摄像机轨迹准确匹配视频的运动和视角。
• 实时视频生成： Wan 通过结合 Streamer 和一致性模型（LCM）实现了实时视频生成，并通过量化技术优化模型以进行高效部署。
• 音频生成： Wan 可以生成与视频剪辑同步的配乐，包括环境声音和背景音乐。

Wan 的限制：

• 在涉及大幅度运动场景中保留细粒度细节仍然是一个挑战。
• 与大规模模型相关的计算成本仍然是具有限制性的。
• 仍然缺乏领域特定的专业知识。

Wan 的结论：

Wan 为视频生成建立了一个新的基准，并通过开源其模型和提供全面的设计细节和实验结果，为视频生成领域的进步做出了重要贡献。