知识|知识蒸馏在工业缺陷检测轻量模型中的应用｜陈鹏光主讲回顾( 三 )

文章插图
所以，结合之前做的那些小实验，我们设计了如上图所示的一个结构图，就是说学生网络在做第三步的时候，我不仅学习第三步的做法，还要去复习前两步是怎么做的。
经过一系列的优化，我们根据之前所说的复习机制，得到了这样一种的蒸馏结构。大家如果想去深入的理解具体的一些表达形式和一些计算方法，可以去看我们的论文，包括我们的代码也是都已经公开了的。

文章插图
接下来介绍我们在ICCV 2021的工作:Deep Structured Instance Graph for Distilling Object Detectors，即基于一个知识图结构的检测器的证明，大概示意图如上图所示。这里我们做的一个工作，是一种针对性的蒸馏方式。大家可以看到我们之前的蒸馏方法其实是做了分类、检测和实例分割三个任务，但我们大家都知道目标检测是一个非常重要的任务，在各个领域都会有很多的应用。所以说我们接下来考虑针对这种最重要的一个任务，针对性的设计一种蒸馏方式，这种蒸馏方式只针对于目标检测这个任务。
【知识|知识蒸馏在工业缺陷检测轻量模型中的应用｜陈鹏光主讲回顾】在我们之前，也有一些针对检测器做蒸馏的论文，但是之前这些方法他们的设计里面还存在着很多问题，我们这里主要提出来两点，第一个是特征的不平衡问题，不平衡的问题主要是指前景特征和背景特征的不平衡；第二个问题在于它缺少了一种instance level的一个relation，目标之间的一种关系。之前的一些方法，像分类上，其实都是点对点的蒸馏，因为在分类上没有instance这个概念。但在目标检测这个任务上，我们更关注的是instance这个概念，就是一些物体，这些物体之间的关系其实在我们做检测的时候是很关键的。
针对这两个问题，我们就提出了一些改进的方案。首先对于前景和背景应该怎么选？其实我们很巧妙的就选用了RPN网络，他们所提出的一些proposal，作为我们要检测的区域，每一个proposal其实就对应了一个点。接下来，既然它缺少了一个instance level的关系，我们就在我们图结构里面把这个关系给它形式化的model出来。我们设计了一种前景之间的关系，同时我们也设计了一些前景和背景之间的关系，因为前景和背景的目标其实是不一样的，所以我们会区别的对待前景点和背景点。这些关系就形成了我们这个图里面的一些边，而这个点的设计和边的设计共同结合在一起，就是我们最开始题目里面所说的知识图结构。

文章插图
我们比较详细的说一下点和边的设计，首先是这个点的设计，在之前已经提到了，即使用proposal区域作为我们的点，这些区域它其实在训练过程中，它是不断的被网络所学习的，也是不断的在变化的，它代表了网络所关注的一个重点。它比起我们之前所说的那些一些人工的设计基于前景区域的一些mask，其实是要更加合适的，因为它天然的就代表了网络的一个关注点。接下来是一个边的设计，这个图里面它边的含义就是两个点之间的一个相似度，就是similarity的一个函数，怎么衡量相似度呢？其实我们非常简单的选择了一种简单又高效的余弦相似度的一个形式。最终的蒸馏就是在教师模型和学生模型的知识图之间进行的。更见具体的一些细节信息欢迎大家去阅读我们的论文。
03
思谋计算机视觉领域算法平台SMAP及知识蒸馏工具
接下来我们来到了第三个部分，介绍一下我们公司所使用的一个缺陷检测算法平台，以及其中所用到的知识蒸馏的一些工具。