知识|知识蒸馏在工业缺陷检测轻量模型中的应用｜陈鹏光主讲回顾( 四 )

文章插图
我们公司的算法平台是简称SMAP，即SmartMore AI platform的意思，它的设计核心是一种面向交付的算法平台。和网上的一些开源算法库是不同的，主要有四个特点，第一个特点是工具化，希望它能够快速的被不同的工程师给利用起来，一个工程师所实现的一些功能，也可以快速的在不同的工程师之间进行迁移，它本身就可以作为一种知识沉淀、知识传播的一个载体。
第二个是平台化，这个主要是指我们建立了不同任务之间的一个联系。大家都知道对于计算机视觉来说有分类、分割、检测，还有各种各样关键点什么各种任务，我们是把这些所有的不同的任务都放在了统一的一个平台上。这样做的好处是在于一些工具的设计和使用可以在不同的任务之间进行共享，比如说我们的知识蒸馏，其实你写一遍之后就可以在分类、分割、检测等各种任务上就可以进行复用。

第三个是范式化，我们希望在各种各样繁杂的项目中找到一个范式，实现模型的自动化生产。在新的任务来的时候，我们就可以快速的完成迭代与交付。
最后一个是产品化，我们的平台是可以完全和工程侧进行打通的，通过一些配置文件就可以自动化的把SDK给组装起来，得到可以直接去部署和推理的SDK，同时我们也会把内部使用的算法平台和提供给客户的产品完全打通，可以更快、更简洁的把我们最新的技术传递给客户。
接下来我们详细介绍一下我们蒸馏代码库的一些优势。这个优势在这里主要总结了5方面：全面、高性能、应用、拓展性和针对性。

文章插图
首先第一点是全面。对于一些开源的代码库来说，其实它很难做到真覆盖各种计算机数学任务，它们通常都是只针对一种认证任务进行蒸馏，但是我们的蒸馏工具，它可以实现多个任务共同的一个覆盖。就是说无论我们有什么样的任务，即使你新加一个任务，它也可以直接使用我们之前的蒸馏这样一个工具；全面的第二个方面指的是它包含了多种蒸馏函数；全面的第三点是指我们可以在多个位置进行蒸馏。通过这些不同的组合，我们最终可以产生数十种蒸馏方式，可以涵盖各种各样的项目中所遇到的各种各样的情况。
第二个优势是高性能了，我们可以利用不同的蒸馏算法，在各种标准任务上都取得一个最前沿的结果。
第三个优势是易用，这个和我们之前讲的SMAP的4个设计理念就非常相关了。就是说我们的工具是一种配置文件驱动的工具，算法工程师在使用的时候，他不需要修改任何的代码，只需要定义一份合理的配置文件，就可以得到想要的效果。让我们的算法工程师用起来很方便，不需要去阅读代码，也不需要去修改代码，只需要通过修改配置文件就可以达成这样一个效果。

文章插图
第四个优势在于拓展性很强，这一点同样得益于我们的平台的设计。拓展性这里也是从三个方面来说，第一个是说对于新的蒸馏算法的兼容性下，算法研究员可以很容易地去添加新的蒸馏方式；第二个拓展性强指的是对于新的应用场景拓展性强，就说如果你有新增的任务，你不需要修改蒸馏的代码就可以直接用；最后一个兼容性强指的就是说和其他工具的兼容性强，其实这个之前也有提到，它可以无缝地和SMAP的工具相结合。比如说我可以把蒸馏和网络结构搜索一起用，或者说让蒸馏和HPO启用，让我们的超参数优化系统自动地去选择最优的一种蒸馏方式等。