一张图像百般变化，英伟达用GAN实现高精度细节P图

机器之心报道
编辑：杜伟
在实现复杂且高精度图像编辑效果的同时， EditGAN还能保持较高的图像质量和对象身份，英伟达在图像处理领域果然「出手不凡」。
当前， AI驱动的照片和图像编辑技术有助于简化摄影师和内容创作者的工作流程，并赋能更高水平的创意和数字艺术。基于AI的图像编辑工具也已经以神经照片编辑过滤器（filter）的形式应用在消费级软件上，并且深度学习研究社区积极地开发新的技术。其中，各式各样基于生成对抗网络（GAN）的模型和技术层出不穷，在实现原理上，领域研究人员要么将图像嵌入到GAN的隐空间，要么直接使用GAN生成图像。
大多数基于GAN的图像编辑方法分为以下几类。一些工作依赖于GAN在类标签或像素级语义分割注释上发挥作用，不同的条件会使输出结果出现变动；另一些工作使用辅助的属性分类器来指导图像的合成和编辑。然而，训练这种条件式GAN或外部分类器需要大规模的标注数据集。因此，这些方法目前仅适用于拥有大规模标注数据集的图像类型，如肖像等。即使拥有足够注释的数据集，大多数方法也仅能提供有限的编辑控制，这是因为这些注释通常仅包含高级的全局属性或者比较粗糙的像素级分割。
另一些方法专注于对不同图像的特征进行混合和插值，因此需要参照图像作为编辑目标，通常也无法提供微调控制。还有一些方法仔细剖析GAN的隐空间，找出适合编辑的解耦隐变量或者控制GAN的网络参数。但遗憾的是，这些方法无法实现精细的编辑，速度也通常较慢。
近日，英伟达、多伦多大学等机构在论文《EditGAN:High-PrecisionSemanticImageEditing》中克服了这些局限，并提出了一个全新的基于GAN的图像编辑框架EditGAN——通过允许用户修改对象部件（objectpart）分割实现高精度的语义图像编辑。
相关研究已被NeurIPS2021会议接收，代码和交互式编辑工具之后也会开源。

论文地址：https://arxiv.org/pdf/2111.03186.pdf
项目主页：https://nv-tlabs.github.io/editGAN/
具体而言， EditGAN在最近提出的GAN模型基础上构建，不仅基于相同的潜在隐编码来共同地建模图像及其语义分割，而且仅需要16个标注示例，从而可以扩展至很多目标类和部件标签。研究者根据预期编辑结果来修改分割掩码，并优化隐编码以与新的分割保持一致，这样就可以高效地改变RGB图像。
此外，为了实现效率，他们通过学习隐空间中的编辑向量（editingvector）来实现编辑，并在无需或仅需少量额外优化步骤的情况下直接在其他图像上应用。因此，研究者预训练了一个感兴趣编辑的库以使得用户可以在交互工具中直接使用。
研究者表示， EditGAN是首个同时实现以下目标的GAN驱动的图像编辑框架：
提供非常高精度的编辑；
仅需极少量的标注训练数据，并且不依赖额外的分类器；
实时交互运行；
多个编辑的直接语义合成；
在真实的嵌入式、GAN生成的甚至域外（out-of-domain）图像上运行。
研究者在包括汽车、猫、鸟和人脸等在内的广泛图像上应用了EditGAN ，最终都展现出了前所未有的高精度编辑。他们还将EditGAN与多个基准方法进行定量比较，并在身份和质量保持、目标属性准确性等指标上胜过它们，同时需要的标注训练数据少了数个量级。
在项目主页中，研究者展示了多个EditGAN相关的Demo视频，如下动图（左）为编辑向量插值效果，图（右）为在域外图像上应用EditGAN编辑向量的效果。