Transformer也能生成图像，新型ViTGAN性能比肩基于CNN的GAN( 三 )

研究者先研究了多种生成器架构，发现它们都比不上基于CNN的生成器。于是他们遵循ViT的设计原理提出了一种全新的生成器。图2(c)展示了这种ViTGAN生成器，其包含两大组件：Transformer模块和输出映射层。
为了促进训练过程，研究者为新提出的生成器做出了两项改进：
自调制型层范数（SLN）。新的做法不是将噪声向量z作为输入发送给ViT ，而是使用z来调制层范数运算。之所以称这样的操作为自调制，是因为该过程无需外部信息；用于图块生成的隐式神经表征。为了学习从patch嵌入到patch像素值的连续映射，研究者使用了隐式神经表征。当结合傅里叶特征或正弦激活函数一起使用时，隐式表征可将所生成的样本空间约束到平滑变化的自然信号空间。研究发现，在使用基于ViT的生成器训练GAN时，隐式表征的作用尤其大。需要指出，由于生成器和判别器的图像网格不同，因此序列长度也不一样。进一步的研究发现，当需要将模型扩展用于更高分辨率的图像时，只需增大判别器的序列长度或特征维度就足够了。
实验结果

表1：几种代表性GAN架构在无条件图像生成基准的结果比较。 Conv和Pool各自代表卷积和池化。 ↓表示越低越好；↑表示越高越好。
表1给出了在图像合成的三个标准基准上的主要结果。本论文提出的新方法能与以下基准架构比肩。 TransGAN是目前唯一完全不使用卷积的GAN ，其完全基于Transformer构建。这里比较的是其最佳的变体版本TransGAN-XL 。 Vanilla-ViT是一种基于ViT的GAN ，其使用了图2(A)的生成器和纯净版ViT判别器，但未使用本论文提出的改进技术。
表3a中分别比较了图2(B)所示的生成器架构。此外， BigGAN和StyleGAN2作为基于CNN的GAN的最佳模型也被纳入了比较。

图3：定性比较。在CIFAR-1032×32、CelebA64×64和LSUNBedroom64×64数据集上， ViTGAN与StyleGAN2、Transformer最佳基准、纯净版生成器和判别器的ViT的结果比较。

图4：(a-c)ViT判别器的梯度幅度（在所有参数上的L2范数）， (d-f)FID分数（越低越好）随训练迭代的变化情况。
可以看到，新提出方法的表现与使用R1惩罚项和谱范数的两个纯净版ViT判别器基准相当。其余架构对所有方法来说都一样。可见新方法能克服梯度幅度的尖峰并实现显著更低的FID（在CIFAR和CelebA上）或相近的FID（在LSUN上）。

【Transformer也能生成图像，新型ViTGAN性能比肩基于CNN的GAN】表3：在CIFAR-10数据集上对ViTGAN执行的控制变量研究。左图：对生成器架构的控制变量研究。右图：对判别器架构的控制变量研究。