知识|知识蒸馏在工业缺陷检测轻量模型中的应用｜陈鹏光主讲回顾

文章插图
前言
作为一种十分实用的提升轻量级模型精度的训练技巧，知识蒸馏最早在2015年被Hinton等人提出，核心思想是使用大模型作为“教师”模型，来指导小模型（即“学生”模型）的训练，从而提升小模型的精度。现阶段在学术领域，知识蒸馏已经有了很多研究成果，然而如何将这些前沿成果应用在实际的工业项目中，也是所有企业需要考虑的问题。
思谋科技（SmartMore）是一家行业领先的全链条前沿科技公司，致力于研发新一代AI技术，打造软硬件一体化产品，推动传统行业数字化、智能化转型升级。思谋科技由香港中文大学终身教授、IEEE院士贾佳亚创立，核心团队深耕计算机视觉领域20余年。
在知识蒸馏这一领域中，思谋科技不仅在CVPR 2021和ICCV 2021上发表了多篇论文成果，更是将在针对工业场景搭建的计算机视觉算法平台SMAP(SMoreAI Platform）中构建了一个知识蒸馏工具，将知识蒸馏实际应用到产业项目中。
9月2日，在思谋科技工业视觉AI专场第1讲：工业缺陷检测轻量模型专场中，思谋科技高级算法研究员陈鹏光以《知识蒸馏在工业缺陷检测轻量模型中的应用》为主题，对思谋科技在知识蒸馏的前沿研究和工业应用上的探索进行了深入讲解。
讲师介绍

文章插图
陈鹏光，思谋科技高级算法研究员
香港中文大学计算机科学与工程学院在读博士，本科毕业于南京大学计算机科学与技术系；主要研究领域包括目标检测、语义分割、AutoML、知识蒸馏、自监督学习等；曾在国际顶级会议发表数篇学术论文；目前在思谋科技负责算法平台的搭建，熟悉各个不同的计算机视觉领域，对于模型的优化算法有较深研究。
主题：知识蒸馏在工业缺陷检测轻量模型中的应用提纲：
1、知识蒸馏的背景及其代表性工作
2、思谋发表于CVPR2021和ICCV2021的研究成果
3、思谋计算机视觉领域算法平台SMAP及知识蒸馏工具
4、知识蒸馏在缺陷检测轻量模型实现中的作用
讲解实录
大家好，我是今天的讲师，来自思谋科技的陈鹏光，很高兴在这里和大家分享一些研究中的心得。我们今天的主题是《知识蒸馏在工业缺陷检测轻量模型中的应用》。今天的内容主要分为以下四个部分。
01
知识蒸馏的背景及其代表性工作
神经网络的一种趋势是越高的精度就需要越大的计算量，更大的神经网络可以带来更高的精度，但同时也会带来一系列的问题。比如说当项目的速度要求比较高，或者说我们需要把模型部署到终端时，高计算量会带来很多的问题，如何在保证速度的前提下提升模型的精度？一直以来都是研究领域的一个热点问题。
这其中包括了多种解决方案，比如可以设计更优秀的网络结构，或者利用网络剪枝、网络量化以及知识蒸馏，而我们今天主要要关注的就是知识蒸馏这个方法。这个方法有很多优势，像可以适用于各种不同的任务，而且它和其他前面几种方式其实都是兼容的，是一种非常好的网络训练技巧。
接下来我们简单介绍知识蒸馏的流程，如果没有特殊说明，下面我们都以图片分类这个任务为例。首先介绍下一个神经网络的训练过程，一张图片经过神经网络的处理得到一些结果，和ground truth的label做loss，然后再进行反向传播更新。知识蒸馏的流程也很简单，首先我们需要单独训练一个大网络作为教师网络，假设这个就是我们训练好的教师网络。接下来我们需要训练学生网络，通常来说，我们学生网络就是要用到的那个轻量级模型，在训练轻量级模型的过程中，它不仅仅学习ground truth的label，同时还会学习教师模型的预测结果。相当于是说学生模型同时在教师模型的预测结果，和ground truth label下的监督下进行训练。