核心观点
本文介绍了去噪扩散概率模型（Denoising Diffusion Probabilistic Models，DDPMs）的原理、训练算法、采样算法以及其在图像生成和其他领域的应用进展。
DDPMs 原理
DDPMs 通过逐步向图像添加高斯噪声，并训练模型学习逆向去噪过程，从而实现图像生成。模型学习的目标是重建原始图像，而不是直接从纯噪声中生成图像。
DDPMs 训练算法
DDPMs 的训练过程基于证据下界（Evidence Lower Bound，ELBO），重点关注正向扩散过程的后验分布与模型学习到的逆向扩散过程的KL散度。模型通过最小化KL散度来学习如何去除噪声，从而生成逼真的图像。
DDPMs 采样算法
DDPMs 的采样算法通过迭代地去除预测的噪声来生成图像。模型从纯噪声开始，逐步去噪，最终得到生成图像。
DDPMs 应用进展
DDPMs 在图像生成领域取得了显著的成果，并逐渐扩展到其他领域，例如：
- 视频生成：通过将模型扩展到5D数据（批次、时间、通道、高度、宽度），实现视频生成。
- 其他应用：3D渲染和重建、文本生成、音乐和音频生成、文本到语音等。
DDPMs 进步和改进
- 方差/噪声调度器：提出更渐进的正向扩散过程，提高图像生成质量。
- 学习逆向过程方差：模型学习逆向过程的方差，进一步提高图像生成质量。
- 更快采样：提出去噪扩散隐式模型（Denoising Diffusion Implicit Models，DDIMs），通过跳过步骤来加速采样过程。
- 条件生成：通过添加额外的数据（例如类别标签、文本提示、图像等）来控制生成图像的内容。
- 分类器引导：使用图像分类器来指导采样过程，使生成图像更符合目标类别。
- 分类器无关引导：避免训练单独的分类器，通过联合训练条件和无条件扩散模型来实现条件生成。
- 文本条件生成：通过文本提示来控制生成图像的内容，例如使用CLIP模型将文本嵌入到扩散模型中。
大型扩散模型
近年来，出现了一些大型扩散模型，例如：
- GLIDE：由Nichol等人提出，使用U-Net架构和Transformer文本编码器，实现文本到图像生成。
- DALL-E：由Ramesh等人提出，使用预训练的CLIP模型和多个扩散模型组件，实现文本到图像生成和图像编辑。
- Imagen：由Saharia等人提出，使用预训练的文本编码器LLM和Efficient U-Net，实现文本到图像生成。
- Stable Diffusion：由Rombach等人提出，使用LDM架构和CLIP文本编码器，实现文本到图像生成。
- Flux：由Black Forest Labs提出，使用Diffusion Transformer（DiT）和Flow Matching，实现文本到图像生成。
- Sana：由Xie等人提出，使用DC-AE和线性DiT，实现高效的高分辨率图像生成。
结论
DDPMs 是一种强大的生成模型，在图像生成和其他领域取得了显著的成果。随着技术的不断发展，DDPMs 将在未来发挥更大的作用。
