深度学习|轻量化网络结构MobileViT 神经网络|机器学习|深度学习

论文： MOBILEVIT: LIGHT-WEIGHT, GENERAL-PURPOSE, AND MOBILE-FRIENDLY VISION TRANSFORMER
Github：https://github.com/chinhsuanwu/mobilevit-pytorch

2021，苹果公司

文章图片

传统的视觉 transformers（ViTs），主要是在transformer中嵌入cnn，而本文基于在cnn中嵌入transformers，即在mobilenetv2中嵌入transformer，提出了轻量化的网络结构MOBILEVIT。最终在 ImageNet-1k 上达到78.4%的top-1准确性，比 MobileNetv3高出 3.2%，比 DeIT高出6.2%。在 MS-COCO检测任务上， MobileViT比MobileNetv3高出5.7%。

is it possible to combine the strengths of CNNs and ViTs to build a light-weight and low latency network for mobile vision tasks?

传统的ViTs需要大量的训练数据，大量的数据增强（data augmentation）以及正则化（L2 regularization），在分割类型任务需要比较昂贵的解码模块。而本文提出的MobileViT只需要正常简单的数据增强即可，不需要 CutMix，MixUp，Mosaic，DeIT-style等数据增强方式。
MobileViT主要的设计思想包括

轻量化light-weight
通用general-purpose
低延迟low latency

文章图片

a表示传统的ViT设计结构，b表示本文提出的MobileViT，主要改进在于将MobileNetv2中的残差block替换为MobileViT block。
传统的cnn具有更好的局部特征能力，transformer具有更好的全局特征能力，将cnn和transformer进行结合，可以获得全局能力+局部能力，可以更好的解决transformer缺乏空域归纳偏置（spatial inductive bias）的问题。