定“睛”一看，果然是GAN生成的！华人团队利用瞳孔形状判断“真假”人像

文章图片
新智元报道
来源：arXiv
编辑：好困
【新智元导读】定「睛」一看，就能区分照片真假？近日，来自纽约州立大学的华人研究员提出了一种全新的检测方法，可以根据眼睛形状判断人像的真假。不过，前提是你能把图放得了这么大才行。
现在，利用GAN生成的人脸几乎真实到让「肉眼」检测都达到了瓶颈。
比如说， https://thispersondoesnotexist.com/ ，在这上每刷新一次都会生成一幅让你真假难辨的人脸。
不过，既然这些人脸是基于深度学习生成的，那我们就用魔法去打败魔法！

文章图片
真实的人像（左）， GAN生成的人像（右）
最近的研究表明，基于深度学习模型的检测方法确实可以提供了不少可行的方案。
然而，这些方法通常面临两个挑战：
检测结果缺乏可解释性；
由于过拟合导致在不同的合成方法中，泛化的稳健性很低。
为了消除这些限制并探索一个更稳健的模型，来自纽约州立大学奥尔巴尼和布法罗分校的华人研究员提出了一种全新的方法，通过不规则的瞳孔形状检测出GAN生成的人脸。

文章图片
论文地址：https://arxiv.org/pdf/2109.00162.pdf
结果表明，从两只眼睛中提取瞳孔并分析它们的形状，可以有效区分GAN生成的人脸和真实的人像照片。

文章图片
真实的人眼（左4）， GAN生成的人眼（右4）
论文的主要贡献有三个方面：
发现不规则的瞳孔形状广泛存在于高质量的StyleGAN生成的人脸中，这与真实的人类瞳孔不同。
提出了一种新的基于生理学的方法，可以使用不规则的瞳孔形状作为检测GAN生成的人脸的依据，并且简单而有效。
提出的方法不仅可以用于设计自动检测方法，而且也给利用「肉眼」区分GAN生成的人脸提供了一个新的线索。
眼睛不会骗人
作者从人眼的主要解剖部位着手进行研究，眼睛的中心是虹膜和瞳孔，而白色区域是巩膜。

文章图片
对于一个普遍意义上健全的人来说，瞳孔的形状是近乎圆形的。然而，在GAN生成的眼睛部分，可以观察到明显的伪影和不一致，如瞳孔的边界不是椭圆形的。
人眼的解剖结构

文章图片
真实的眼睛（左），瞳孔为明显的圆形或椭圆形（黄色）；GAN生成的眼睛（右），瞳孔为不规则的形状（红色）
这种现象普遍存在于GAN生成的人脸上，其中一个根本原因是，目前的GAN模型缺乏对人眼解剖学的理解，特别是瞳孔的几何形状。
方法实现
作者利用模型对两只眼睛的瞳孔进行自动提取，并在之后评估这些瞳孔的形状是否为椭圆形。
1.瞳孔分割和边界检测
首先通过人脸检测器来定位人脸，然后用提取器获得人脸的landmark 。
在对两只眼睛对应的区域进行适当裁剪之后，使用EyeCool提取瞳孔的掩码及其边界。

文章图片
(a)输入的高分辨率人脸图像；(b)裁剪的眼睛图像；(c)图像(b)的预测瞳孔掩码；(d)对(c)进行椭圆拟合后的瞳孔掩码
EyeCool是一个改进的基于U-Net的模型，可以同时对瞳孔和虹膜、内部和外部边界进行分割。