【【目标检测】|MicroNet】低秩近似分解卷积以及超强激活函数
论文地址：https://arxiv.org/abs/2011.12289
论文提出应对极低计算量场景的轻量级网络MicroNet，包含两个核心思路Micro-Factorized convolution和Dynamic Shift-Max，
1.Design Principles 要想实现低FLOPs，主要是要限制网络宽度（通道数）和网络深度（网络层数）。
如果把一个卷积层抽象为一个图，那么该层输入和输出中间的连接边，可以用卷积核的参数量来衡量。
因此作者定义了卷积层连通性（connectivity）的概念，即每个输出节点所连接的边数。
因此，连接数等于输出通道数和连通性的乘积。
文章图片
如果我们把一个卷积层的计算量设为固定值，那么更多的网络通道数就意味着更低的连通性（比如深度可分离卷积，具有较多的通道数但是有很弱的连通性）。
作者认为平衡好通道数目和连通性之间的关系，避免减少通道数，可以有效地提升网络的容量。除此之外，当网络的深度（层数）大大减少时，其非线性性质会受到限制，从而导致明显的性能下降。因此，作者提出以下两个设计原则：
通过降低节点连接性来避免网络宽度的减小
作者是通过分解points-wise卷积以及depth-wise卷积来实现如上原则。
增强每一层的非线性性质来弥补网络深度减少所带来的损失
作者是通过设计了一个全新的激活函数来实现如上原则，称为Dynamic Shift-Max
Micro-Factorized convolution 通过低秩近似保持输入输出的连接性并降低连接数,对pointwise convolution和depthwise convolution进行低秩近似。
Dynamic Shift-Max通过动态的组间特征融合增加节点的连接以及提升非线性，弥补网络深度减少带来的性能降低。从实验结果来看，，仅需要6M MAdds就可以达到53.0%准确率，比12M MAdds的MobileNetV3还要高。
文章图片
Micro-Factorized Pointwise Convolution ref
https://zhuanlan.zhihu.com/p/337107958
https://www.tuicool.com/articles/BJJbqeE
推荐阅读
- 晓飞的算法工程笔记|MicroNet: 低秩近似分解卷积以及超强激活函数，碾压MobileNet | 2020新文分析
- 论文分享|CVPR 2022 | 未知目标检测模块STUD（学习视频中的未知目标）
- 基于深度卷积神经网络的目标检测研究综述
- #yyds干货盘点#借助AI模型目标检测打标签工具 （Makesense.ai , 解放双手 ! ! !）
- 深度学习|论文阅读《Meta-FDMixup（Cross-Domain Few-Shot Learning Guided by Labeled Target Data》）
- 深度学习|yolov5之可视化特征图和检测结果
- 计算机视觉|Faster rcnn 训练自己的数据集 解决方案
- YOLO|Ubuntu18.04配置darknet环境实现YOLOv4目标检测(五)——darknet YOLOv4和YOLOv4-tiny模型转ONNX转TensorRT部署
- YOLO-Darknet|YOLO-Darknet实战（一）（Darknet安装与测试）