核心观点
文本到图像合成（T2I）技术专注于从文本描述中生成高质量图像，已成为人工智能生成内容（AIGC）的重要组成部分，并在人工智能研究领域扮演着变革性的角色。基础模型在T2I中扮演着关键角色，包括生成对抗网络（GANs）、自回归模型（AR）和扩散模型（DM）。
模型发展历程
- 生成对抗网络（GANs）：T2I领域的早期工作主要基于GANs，如文本条件GAN（cGAN）、AttnGAN、StackGAN、StackGAN++等。这些模型展示了GANs在生成高质量、细节丰富图像方面的优势，并不断改进生成图像的质量和可控性。
- 自回归模型（AR）：以DALL-E和CogView为代表，自回归模型利用Transformer架构，通过逐步生成序列来捕捉文本和图像之间的复杂语义关系，实现了与最先进的GAN模型相当的结果。
- 扩散模型（DM）：近年来，DM在T2I领域迅速得到重视，如GLIDE、Stable Diffusion、DALLE-3等。DM以其出色的生成性能而闻名，并通过潜扩散模型（LDM）和改进的扩散过程，显著提高了生成图像的质量。
最新研究方向
- 对齐和人类反馈：研究者们致力于提高生成图像与文本描述之间的一致性，并引入人类反馈机制，如RAHF、ImageReward等，以更好地对齐模型与人类偏好。
- 个性化生成：DreamBooth、PIA、HyperDreamBooth等模型实现了个性化图像生成，允许用户创建特定实体的图像，并在不同场景、姿态和视角下保持一致性。
- 可控T2I生成：ControlNet、DreamBooth、StyleGAN-T等模型增强了生成内容的灵活性和定制性，使用户能够对生成图像的内容和风格进行更加精确的控制。
- T2I样式转换：InST、FreeStyle、InstantStyle等模型实现了T2I样式转换，使用户能够通过输入文字描述和样式图像来创建特定的艺术风格图像。
- 文本引导的图像生成：Imagic、DisenDiff等模型实现了文本引导的图像生成，不仅包括创建全新图像的能力，还涵盖了对现有图像进行编辑和修改的功能。
- 性能和有效性：研究者们致力于平衡T2I的性能和效率，通过LoRA、SVDiff、投机雅可比解码等技术，提高模型的效率和生成速度。
- 安全问题：为了解决安全问题，研究者们提出了各种方法，如自我发现、人类反馈反转、可靠且高效的概念消除等，以确保生成的图像不包含偏见和不安全的元素。
- 版权保护措施：为了应对版权侵权问题，研究者们提出了各种技术和方法，如AdvDM、Mist、Anti-DreamBooth等，以保护艺术家的权利。
- 文本和图像内容的一致性：为了提高生成图像与输入文本之间的一致性，研究者们开发了多种方法，如GSN、Referring图像编辑、Scene TextGen等。
- 空间一致性：SPRIGHT数据集和MULAN数据集提供了实例分解和遮挡信息，帮助模型学习如何将文本转换成具有准确空间布局的图像。
- 专业化内容生成：EmoGen、宇宙人模型、Text2Human等模型实现了专业化内容生成，包括高保真的人像生成、情感表达和个人化图像生成等应用。
- 发电细粒度控制：连续的3D单词、FiVA、交互扩散等模型实现了细粒度控制，提高了生成图像的细节表现和个性化程度。
- LLM辅助T2I：LayoutGPT、AutoStory、SmartEdit等模型利用LLM的能力，提高了生成模型的准确性和灵活性。
数据集和评估指标
- 数据集：常用的T2I数据集包括COCO、Flickr30k、COCO标题、Pinterest40M、视觉基因组等。
- 评估指标：常用的T2I评估指标包括CLIPScore、CLIP-R-precision、NegCLIP、MosaiCLIP、C2ST、FID、MID、PRD等。
应用
T2I技术在艺术创作、广告营销、游戏开发、教育、医疗保健等领域具有广泛的应用价值，并推动了这些领域的创新和发展。
挑战和展望
T2I技术面临着数据和计算资源、版权与伦理问题、理解复杂文本、生成多样性和表示等挑战。未来，需要更加关注社会责任和伦理考虑，推动跨领域应用，并实现更高生成质量和增强的上下文理解。
