基于语境学习的图像扩散模型 In-context Diffusion Model

文本图像生成模型SuTI研究总结

背景知识

• 现有文本图像生成模型（如Imagen, Dalle2）已取得显著成果，生成的图像符合文本描述，具有想象力和高清晰度，但可控性较差，难以通过文字描述实现视觉信息的精确控制（如位置、角度、姿势）。
• 现有个性化生成方法包括DreamBooth（微调整个模型）和Textual Inversion（微调embedding），但均存在模型微调耗时、内存占用大、扩展性弱等问题。

动机

• 语境学习在自然语言处理中通过预训练实现，而图像生成模型缺乏类似能力，预训练仅基于单个（文本，图像）pair，无法连续适应新环境。
• 设计目标：通过适配网络架构和训练数据，使图像生成模型具备语境学习能力。

设计

• 网络架构：复用UNet的Encoder，通过额外的Attention Layer高效输入demonstration信息，将示例文本图像信息编码到同一空间。
• 训练数据：构建连续的（text, image）pair数据集，通过聚类和重新标注优化数据质量，形成图文ICL数据集v2，确保exemplar和target差异显著。

结果和展望

• 实验参数：使用500K训练数据，约1天训练时间，SuTI模型具备五种技能：风格化、重情境化、多视角合成、属性修改、配件添加。
• 输出样例：展示了模型在不同技能下的生成效果。
• 人类评估：通过详尽评估验证模型对Subject和Text的Alignment，以及生成图像的完整性。
• 局限性与展望：当前模型输出存在artifacts，尤其是人脸和文字细节；未来计划通过扩大模型规模和增加技能种类（如SuTI2）提升效果，并将所有技能打包为instruction-tuning格式，计划在Google Cloud上线。