定“睛”一看，果然是GAN生成的！华人团队利用瞳孔形状判断“真假”人像( 二 )

其中Ef?cientNet-B5被用作编码器，并在解码器中添加了一个边界注意块，以提高模型关注物体边界的能力。
此外， Dice损失和MSE损失都被用来训练模型，其中Dice损失被用来评估分割部分， MSE被用来计算边界热图的回归损失。
2.椭圆拟合的瞳孔
利用基于最小平方的椭圆拟合方法可用于预测瞳孔掩码的外部边界，以估计椭圆拟合的瞳孔边界。
u为预测的瞳孔掩码的外边界上的点的坐标，利用最小二乘法找到一组参数θ ，使数据点和椭圆之间的距离测量最小：

文章图片
并通过最小化N个数据点上的代数距离平方之和来确定椭圆的大小：

文章图片
3.测量不规则瞳孔的形状
BoundaryIoU（BIoU）可以用来对边界质量敏感的图像分割。
相比于平等对待所有像素的MaskIoU ， BIoU计算的是预测和基准真相之间的边界轮廓在一定距离内掩码像素的IoU 。
因此，作者使用BIoU来评估距离瞳孔外边界d像素范围内的瞳孔掩码像素。
其中P表示预测的瞳孔掩码， F表示椭圆的瞳孔掩码，参数d是距离边界的距离，控制测量对边界的敏感性。

文章图片
左：预测的瞳孔掩码P和椭圆的瞳孔掩码F；
中：Pd和Fd是距离边界d以内的掩码像素（蓝色和黄色）；
右：预测的瞳孔掩码和椭圆修正的瞳孔掩码的距离参数d之间的边界IoU计算。
此外，当把d放大到足以包括掩码内的所有像素时， BIoU就等于掩码IoU 。为了使BIoU对边界质量更加敏感，可以减少参数d以忽略掩码内部像素。
预测的瞳孔掩码和椭圆的瞳孔掩码之间的BIoU得分的范围是[0,1] ，较大的值表明瞳孔的边界与椭圆的形状更相似，那么人脸也更可能是真实的；否则就是用GAN模型生成的。
结果分析
数据集
真实人脸图像来自FlickrFaces-HQ（FFHQ）数据集， GAN生成的人脸由StyleGAN2创建。每个类别有1000张图像，分辨率为1024×1024 。
结果
真实的人的瞳孔是清晰的椭圆形，这可以从预测的瞳孔掩码和椭圆的瞳孔掩码之间较高的BIoU分数中反映出来。然而，不规则瞳孔形状的伪影导致BIoU得分明显降低。

文章图片
真实的人眼

文章图片
GAN生成的人眼
此外，真实的人脸和GAN生成的人脸在BIoU得分的分布上有明显的区别。

文章图片
真实的人脸和GAN生成的人脸在边界IoU上得分的分布情况
接收者操作特征（ROC）曲线，对应的AUC（ROC曲线下的面积）为0.94 。

文章图片
ROC曲线是基于边界IoU的得分， d=4
由此表明，不规则的瞳孔形状能有效地识别GAN生成的人脸，并用来与真实的人脸进行区分。
超参数分析
BIoU测量法有一个基本参数d ，它表示与边界的距离。当d足够大时， BIoU将减少到MaskIoU ，从而对边界不那么敏感，这就是为什么AUC分数随着d的增加而减少。

文章图片
x轴表示超参数d的变化， y轴为AUC得分
局限性
当真实面孔的形状为非椭圆形时，可能会出现假阳性。例如瞳孔和虹膜区域的疾病。