一张图像百般变化，英伟达用GAN实现高精度细节P图( 二 )

下图（左）为交互demo工具中使用EditGAN的效果，图（右）为使用EditGAN时可以实现多个编辑和预定义编辑向量。

使用EditGAN如何完成高精度语义图像编辑？
下图2（1）为训练EditGAN的流程；图2（2&3）分别为编辑分割掩码和利用编辑向量的实时编辑，其中用户可以修改分割掩码，并由此在GAN的隐空间中进行优化以实现编辑；图2（4）为在隐空间中学习编辑向量，用户通过应用以往学习到的编辑向量进行编辑，并可以交互式地操纵图像。

通过分割编辑在隐空间中找出语义
EditGAN的核心思想是在实现高精度图像编辑中利用图像和语义分割的联合分布p(x,y) 。给定一张待编辑的新图像x ，我们可以将它嵌入到EditGAN的W^+隐空间中。然后，分割部分将生成相应的分割y ，这是因为分割和RGB图像共享相同的隐编码w^+ 。使用简单的交互式数字绘画或标注工具，即可根据预期的编辑手动修改分割。研究者将编辑的分割掩码表示为了y_edited 。
例如，当修改右侧汽车照片中的车轮时， Q_edit将包含轮胎、辐条和轮毂等所有与车轮相关的零件的标签：

推理过程中不同的编辑方法
总的来说，我们可以通过以下三种不同的模式使用EditGAN进行图像编辑：
使用编辑向量进行实时编辑。对于局部解耦良好的编辑，仅通过应用先前学习的具有不同尺度的编辑向量即可进行编辑，并以交互式速率（interactiverate）操纵图像；
利用自监督细化的向量编辑。对于未与图像其他部分完美解耦的局部编辑，可以通过测试过程中的额外优化去除编辑伪影，同时使用学习到的向量初始化编辑；
基于优化的编辑。特定图像和大规模的编辑不能通过编辑向量迁移到其他图像。对于此类操作，则可以从零开始进行优化。
实验结果
在实验部分，研究者在四种不同类别的图像上对EditGAN进行了广泛的评估，它们分别是：
汽车（空间分辨率384×512）
鸟（512×512）
猫（256×256）
人脸（1024×1024）
其中，人脸示例的注释细节如下图7所示：

【一张图像百般变化，英伟达用GAN实现高精度细节P图】当仅基于优化或通过学习编辑向量完成编辑时，研究者通常使用Adam执行100steps的优化。对于汽车、猫和人脸，他们使用DatasetGAN测试集中的真实图像，使用这些非GAN训练数据的图像是为了验证编辑功能；对于鸟，他们在GAN生成的图像上展示编辑功能。
定性结果
首先来看域内（in-domain）结果。在下图4中，研究者展示了当在新图像上应用以往学习到的编辑向量并执行30steps的优化细化时， EditGAN框架的图像编辑效果。结果显示，使用EditGAN的编辑操作保持了高图像质量并对所有类别的图像实现了良好的解耦。
研究者表示，以往没有任何一种方法可以做到像EditGAN那样复杂且高精度的编辑，同时还能保持较高的图像质量和对象身份。

如下图8所示，使用EditGAN ，研究者甚至可以实现极高精度的编辑，例如旋转汽车的轮辐（左）或者扩大人的瞳孔（右）。 EditGAN可以对那些像素极少对象的语义部分进行编辑，同时还能实现大规模的修改。