国科大|国科大提出首个CNN和Transformer双体基网模型准确率高达84.1%( 二 )

参数量为37.7M，计算量为10.6GFlops的Conformer-S超过了参数量为86.6M，计算量为17.6GFlops的DeiT-B 约1.6%的准确率。
当Conformer-S增大参数量到83.3M，准确率则是达到84.1%。

不同基网在分类速度和准确率上的对比

目标检测和实例分割结果的对比
运行帧率为：

目标检测和实例分割帧率对比
在使用FPN+Faster Mask R-CNN框架时，Conformer-S/32在帧率/参数/计算量可比的情况下，目标检测精度超过Faster RCNN 3.7%，实例分割超过Mask R-CNN 3.6%。
分析总结Conformer是第一个并行的CNN和Transformer混合网络，通过提出的特征耦合模块FCU在每个阶段的局部特征和全局特征都会进行交互，使得Conformer兼具两者的优势。
在分类上，能够以更小的参数和计算量取得更高的准确率，在目标和实例分割上也能一致地取得大幅度的提升。
目前Conformer只是在ImageNet1K数据集合上训练，其结合更大预训练数据（如ImageNet21K）集合以后将成为一种很有潜力的基网结构。
作者介绍彭智亮、黄玮，中国科学院大学在读硕士生
顾善植，鹏城实验室工程师
王耀威，鹏城实验室研究员
谢凌曦，华为公司研究员
焦建彬、叶齐祥，中国科学院大学教授
参考资料：
https://arxiv.org/abs/2105.03889
—完—
欢迎点赞~ 关注及时了解人工智能新动态~

国科大|国科大提出首个CNN和Transformer双体基网模型 准确率高达84.1%( 二 )

国科大|国科大提出首个CNN和Transformer双体基网模型准确率高达84.1%( 二 )