标题: High-Resolution Image Synthesis with Latent Diffusion Models
作者: Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer
提交/修订日期: 2021年12月20日提交，2022年4月13日修订 (v2)
主题/分类: 计算机视觉与模式识别 (cs.CV)
会议: CVPR 2022
通过将图像形成过程分解为去噪自编码器的顺序应用，扩散模型 (DMs) 在图像数据及其他领域实现了最先进的合成结果。此外，其公式允许一种引导机制来控制图像生成过程而无需重新训练。然而，由于这些模型通常直接在像素空间中运行，优化强大的 DMs 通常需要数百个 GPU 天，并且由于顺序评估，推理成本高昂。
为了在有限的计算资源上实现 DM 训练，同时保持其质量和灵活性，我们在强大的预训练自编码器的潜在空间中应用它们。与之前的工作相比，在这种表示上训练扩散模型首次达到了复杂度降低与细节保留之间的近乎最优平衡，极大地提升了视觉保真度。通过在模型架构中引入交叉注意力层，我们将扩散模型转变为强大而灵活的生成器，适用于文本或边界框等通用条件输入，并且高分辨率合成可以以卷积方式实现。
我们的潜在扩散模型 (LDMs) 在图像修复任务上达到了新的最先进水平，并在各种任务上表现出极具竞争力的性能，包括无条件图像生成、语义场景合成和超分辨率，同时与基于像素的 DMs 相比，显著降低了计算需求。
代码地址: https://github.com/CompVis/latent-diffusion