Inf-DiT – 清华联合智谱 AI 推出的超高分辨率图像生成模型

什么是Inf-DiT

Inf-DiT是由清华大学和智谱AI联合开发的一种基于扩散模型的图像上采样方法，旨在生成超高分辨率图像。该方法创新性地引入了单向块注意力机制（UniBA），将生成过程中的空间复杂度从O(N^2)降低到O(N)，有效解决了传统扩散模型在处理大尺寸图像时所面临的内存消耗问题。Inf-DiT利用扩散变换器（DiT）框架，能够灵活应对各种形状和分辨率的图像上采样任务，并通过多种技术手段提升生成图像的局部和全局一致性。实验结果显示，Inf-DiT在超高分辨率图像生成和超分辨率任务中均达到了领先的性能。

Inf-DiT的主要功能

• 生成超高分辨率图像：Inf-DiT能够生成高分辨率图像，突破了传统扩散模型在高分辨率图像生成过程中的内存限制，适用于需要细致细节和丰富纹理的复杂设计、广告、海报及壁纸等应用场景。
• 灵活的图像上采样：该方法支持各种形状和分辨率的图像上采样任务，为不同需求的图像质量提升提供强大的技术支持。
• 增强局部和全局一致性：Inf-DiT通过全局图像嵌入和邻近低分辨率块的交叉注意力机制，有效增强生成图像的局部和全局一致性，确保生成的图像在细节和整体结构上均符合预期。
• 零样本文本控制能力：具备零样本文本控制功能，能根据用户提供的文本提示引导和调整生成的图像，提升生成图像的多样性与可控性。

Inf-DiT的技术原理

• 单向块注意力机制（UniBA）：该机制将图像分割成多个块，在每个扩散步骤中顺序生成这些块，每个批次同时生成部分块，并可根据内存允许并行生成任意数量的块，极大降低了生成过程的空间复杂度。
• 扩散变换器（DiT）结构：Inf-DiT采用扩散变换器结构，结合了Vision Transformer（ViT）的优势，以注意力机制作为图像块之间交互的主要方式，提升了模型的性能和扩展性。
• 全局图像嵌入：为了增强生成图像的全局语义一致性，Inf-DiT通过预训练的CLIP模型从低分辨率图像中提取全局图像嵌入，并将其融入到扩散变换器的时间嵌入中，让模型能更好地利用高层语义信息。
• 邻近低分辨率块的交叉注意力机制：在生成高分辨率图像时，为了减少图像不连续的情况，Inf-DiT在变换器的第一层引入了邻近低分辨率块的交叉注意力机制，使每个块能够关注周围的3×3低分辨率块，提升局部一致性。

Inf-DiT的项目地址

• GitHub仓库：https://github.com/THUDM/Inf-DiT
• arXiv技术论文：https://arxiv.org/pdf/2405.04312

Inf-DiT的应用场景

• 设计与创意领域：用于生成高分辨率的建筑效果图，以展示建筑细节和整体布局，帮助客户和设计师更好地理解设计方案。
• 娱乐与媒体产业：提升影视画面的分辨率与清晰度，增强视觉效果，以满足不同播放媒介的需求。
• 印刷与出版行业：将低分辨率的书籍插图和封面图像上采样到适合印刷的高分辨率，确保印刷质量。
• 科技与研究领域：提高医学影像的分辨率，帮助医生更准确地进行诊断与分析。

常见问题

• Inf-DiT适用于哪些类型的图像？：Inf-DiT可以处理各种形状和分辨率的图像，适用于多种应用场景。
• 如何使用Inf-DiT生成图像？：用户可以通过提供低分辨率图像和文本提示，利用Inf-DiT进行图像上采样和生成。
• Inf-DiT的性能如何？：根据实验结果，Inf-DiT在超高分辨率图像生成及超分辨率任务中表现出色，达到了领先的性能。