MaskGIT: Masked Generative Image Transformer

MaskGIT（Masked Generative Image Transformer）是一种新型的图像合成范式，它使用双向变换器解码器，通过掩码预测进行训练，并在推理时采用迭代解码过程。

特点

• 双向性：与以往的生成模型不同，MaskGIT在训练和推理过程中都使用了双向变换器解码器，使得模型能够同时利用图像中的所有上下文信息。
• 迭代解码：在推理过程中，MaskGIT采用一种新颖的非自回归解码方法，通过逐步减少掩码比率来生成图像。
• 掩码设计：掩码设计在MaskGIT中起着至关重要的作用。通过使用余弦函数作为掩码调度函数，模型能够更好地控制掩码比率，从而提高生成质量。

实验结果

在ImageNet数据集上，MaskGIT在类条件图像生成任务中显著优于当前的自回归变换器模型，并加速了自回归解码过程高达64倍。此外，MaskGIT还展示了在图像编辑任务（如图像修复、外推和图像操作）上的灵活性。

应用

MaskGIT可以直接应用于各种图像编辑任务，如类条件图像编辑、图像修复和图像外推。在类条件图像编辑中，MaskGIT可以替换选定的对象，同时保持上下文不变。在图像修复中，MaskGIT可以生成高质量的结果，优于其他GAN方法。在图像外推中，MaskGIT可以生成多样化的结果，优于其他GAN和自回归方法。

总结

MaskGIT通过引入双向变换器解码器和新颖的掩码设计，显著提高了图像生成的质量和效率。其在各种图像编辑任务上的灵活性和竞争力的性能使其成为未来研究的有希望的方向。

迭代解码在图像生成中的作用主要体现在以下几个方面：

1. 逐步细化：通过迭代解码，模型可以逐步细化图像的细节。在每个迭代步骤中，模型可以根据当前的掩码情况，预测出最可能的像素值，然后根据这些预测结果更新掩码，使得更多的像素被揭示出来。这样，模型就可以在每次迭代中逐渐生成更精细的图像。

2. 并行计算：传统的自回归模型在生成图像时，需要按照像素的顺序依次生成每个像素的值。而迭代解码则可以在每个迭代步骤中并行地预测所有未掩码的像素值，从而利用了现代硬件的并行计算能力，提高了生成速度。

3. 多尺度生成：通过控制掩码比率和迭代次数，迭代解码可以实现多尺度的图像生成。例如，在初始的迭代步骤中，可以只保留少量的像素，从而生成一个低分辨率的图像。然后，在后续的迭代步骤中，逐渐增加像素的数量，从而生成更高分辨率的图像。

4. 鲁棒性：由于迭代解码在每次迭代中只更新了部分像素的值，因此它对初始条件和中间结果的鲁棒性更强。即使某些像素的预测结果不准确，也不会对整个图像的生成造成太大的影响。

综上所述，迭代解码在图像生成中的作用是逐步细化图像、提高生成速度、实现多尺度生成以及增强模型的鲁棒性。

迭代解码与Gibbs采样的异同

迭代解码和Gibbs采样都是用于生成模型的推理方法，它们在原理和应用上有一些相似之处，但也存在一些差异。

相同点

1. 马尔可夫链：迭代解码和Gibbs采样都基于马尔可夫链的原理，通过迭代地更新模型的参数或隐变量，逐渐逼近真实分布。
2. 局部更新：在每次迭代中，迭代解码和Gibbs采样都只更新模型的一部分参数或隐变量，而不是同时更新所有参数。
3. 并行性：由于每次迭代只更新部分参数，迭代解码和Gibbs采样都可以在现代硬件上实现高效的并行计算。

不同点

1. 更新方式：迭代解码在每次迭代中，根据当前的掩码情况，使用模型的预测结果来更新掩码，从而逐步生成图像。而Gibbs采样在每次迭代中，根据当前的参数或隐变量值，使用Gibbs分布来更新参数或隐变量。
2. 应用场景：迭代解码主要用于基于变换器的图像生成模型，如MaskGIT。而Gibbs采样在各种生成模型中都有应用，包括但不限于基于能量的模型、隐马尔可夫模型等。
3. 收敛性：迭代解码的收敛性通常与掩码设计和迭代次数有关，需要仔细调整以达到最佳效果。而Gibbs采样的收敛性通常与模型的参数设置和采样策略有关，需要满足一定的条件才能保证收敛到真实分布。