机器之心专栏字节跳动-智能创作团队字节跳动 - 智能创作团队提出了一种用于学习轻量级 G...|字节跳动提出面向GAN压缩的在线多粒度蒸馏算法，算力降至1/46( 二 )

2.多粒度蒸馏
OMGD进一步从两个角度将在线蒸馏策略扩展为多粒度方案。
一方面，其采用基于不同结构的教师生成器来捕获更多的互补的信息，从更多样化的维度提高视觉逼真度。具体来说，从深度和宽度两个互补维度将学生模型扩展为教师模型。给定一个学生生成器，通过扩展学生生成器的通道来获得更宽的教师生成器。接着在学生生成器每个下采样层和上采样层之后插入几个Resnetblock构建一个更深的教师生成器。该研究直接将互补教师生成器的两个蒸馏损失合并为多教师设置中的知识蒸馏损失。

另一方面，除了输出层的概念外， OMGD还将中间通道的粒度信息作为辅助的监督信号进行蒸馏优化。具体地说， OMGD计算在通道维度上的注意力权重来衡量特征图中每个通道的重要性，并将注意力信息迁移到学生模型中。通道蒸馏损失的定义如下所示：

综上所述，整个在线多粒度蒸馏的损失函数定义：

实验
在Pix2Pix的结果表明， OMGD对U-Net和Resnet两种类型的GAN都显著优于当前最先进的方法，且计算成本减少许多。

在CycleGAN的结果表明， OMGD以更小的计算成本获得了更好的性能表现。

可视化结果表示， OMGD能够在压缩过程中保持图像的细节信息。

总结
论文提出了一种用于学习轻量级GAN的在线多粒度蒸馏算法OMGD 。大量实验表明， OMGD能够将Pix2Pix和CycleGAN压缩到极低的计算成本，而不会造成明显的视觉保真度损失，这为在资源受限的设备上部署实时GAN提供了一个可行的解决方案。
【机器之心专栏字节跳动-智能创作团队字节跳动 - 智能创作团队提出了一种用于学习轻量级 G...|字节跳动提出面向GAN压缩的在线多粒度蒸馏算法，算力降至1/46】来源：机器之心Pro