CV圈对决：谷歌提出ViTGAN，用视觉Transformer训练GAN( 二 )

设计生成器

设计一个基于ViT架构的生成器并不简单。一个挑战是将ViT从预测一组类别标签转换为在一个空间区域内生成像素点。
在介绍实验模型之前，作者先讨论两个可信的基线模型，如Fig.2(A)和2(B)所示。这两个模型交换ViT的输入和输出，从嵌入物中生成像素，特别是从潜伏向量w ，即w=MLP(z)（Fig.2中称为映射网络），由MLP从高斯噪声向量z中导出。
这两个基线生成器在输入序列上有所不同。 Fig.2(A)将一个位置嵌入序列作为输入位置嵌入序列，并在每个位置嵌入中加入中间特征向量w.
实验结果

△ViTGAN与基线架构关于图像合成的主要结果对比
TransGAN是现有唯一一个完全建立在Transformer架构上的无卷积GAN ，其最佳变体是TransGAN-XL 。
Vanilla-ViT是一种基于ViT的GAN ，它使用图2（A）中所示的生成器和一个vanillaViT鉴别器。
为公平比较，该基线使用了R1penalty和bCR+DiffAug 。
此外， BigGAN和StyleGAN2也作为最先进的基于CNN的GAN模型加入对比。
从上述表格可以看出， ViTGAN模型大大优于其他基于Transformer的GAN模型。这是在Transformer架构上改进的稳定GAN训练的结果。它实现了与最先进的基于CNN的模型相当的性能。

这一结果提供了一个经验证据：Transformer架构可以在生成对抗训练中与卷积网络相媲美。

如上图所示， ViTGAN模型（最后一列）显着提高了最佳Transformer基线（中间列）的图像保真度。即使与StyleGAN2相比， ViTGAN生成的图像质量和多样性也相当。
总结
这篇论文介绍了ViTGAN ，利用GAN中的视觉Transformer（ViTs），并提出了确保其训练稳定性和提高收敛性的基本技术。
在标准基准（CIFAR-10、CelebA和LSUNbedroom）上的实验表明，提出的模型实现了与最先进的基于CNN的GAN相媲美的性能。
至于限制， ViTGAN是一个建立在普通ViT架构上的新的通用GAN模型。它仍然无法击败最好的基于CNN的GAN模型。
这可以通过将先进的训练技术纳入ViTGAN框架得到改善。希望ViTGAN能够促进这一领域未来的研究，并可以扩展到其他图像和视频合成任务。
参考资料：
https://arxiv.org/abs/2107.04589