先简单读个abstract占个位(之后会更新)
文章图片
网络模型具有较低计算量(MFLOPs),但是低开销的网络通常性能表现不会很好。因此本文设计了计算量(FLOPs)超级无敌少的图像识别网络MicroNet,同时还具有较好的性能表现。主要的遵循以下两个设计原则:
降低网络节点(神经元)之间的连通性
使用更复杂的非线性激活函数来弥补通性网络深度的减少所带来的精度损失
这篇文章的结构不是很传统,这其实还是给造成了比较大的速读困难。
最重要的一幅图:
文章图片
- Micro-Factorized convolution 将MobileNet中的point-wise卷积以及depth-wise卷积分解为低秩矩阵,从而使得通道数目和输入输出的连通性得到一个良好的平衡。
- Dynamic Shift-Max 使用一种新的激活函数,通过最大化输入特征图与其循环通道偏移之间的多重动态融合,来增强非线性特征。之所以称之为动态是因为,融合过程的参数依赖于输入特征图。
现在都过了十个小时了
好了我回来了,好好看看这个abstract发现其实写得挺好的、、
先等等
xml又有感想了
(少说一点)做人啊,一定要守住自己的底线!永远记得你很重要,不要迁就任何人。
回来了。赶快进摘要,又要没有时间了QAQ。
abstract FLOPs,p.s.计算资源的计量单位(floating point operations per second (FLOPS, flops or flop/s) is a measure of computer performance)
在计算资源比较少的情况下,性能大幅度下降(一开始理解错了QAQ)
有两种解决方式,(sparse connectivity and dynamic activation function)稀疏的链接和动态的激活函数。
所以这篇论文提到了两个点:
- micro-factorized convolution
- Dynamic Shift Max
introduction &… 说实话这篇不是很常规,把introduction和Micro-Factorized Convolution当做同等标题
文章图片
intro没有总结部分,先跳
先看有一个标题叫Micro-Factorized Convolution,大体看看。
Micro-Factorized Convolution主要是对MobileNet的深度分离卷积进行改造,分为pointwise convolution和depthwise convolution
上面那个图分成三个部分(细读的时候可以把那些公式好好看看)
激活函数也没有图?!?!
那就看看那个网络
文章图片
可以看到abc三层,每个都说了它的作用
(不过这个地方的文字基本上也在说这几个的原理)
conclusion 这个总结说实话写得真不错!!!!!
基本上把我看到的都有啦!~(bushi)
【论文|MicroNet: Improving Image Recognition with Extremely Low FLOPs(速读)】在低计算量的情况下,用micronet解决一下性能问题,注意是提出了一个卷积和一个动态的激活函数。
推荐阅读
- Python|【Kay】机器学习之XGBoost——鸢尾花数据集
- 晓飞的算法工程笔记|MicroNet: 低秩近似分解卷积以及超强激活函数,碾压MobileNet | 2020新文分析
- ELT.ZIPOpenHarmony啃论文俱乐部——轻翻那些永垂不朽的诗篇
- OpenHarmony啃论文成长计划——浅谈中间件
- #|语谱图(四) Mel spectrogram 梅尔语谱图
- 算法|扩散模型在图像生成领域大火,风头超过GAN()
- k8s学习总结|穷人安装ubuntu1.18.4+docker+kind+k8s-1.19.1+kubeflow-1.3
- 机器学习|AI圈真魔幻!谷歌最新研究表明卷积在NLP预训练上竟优于Transformer(LeCun暧昧表态...)
- Scikit-Learn集成机器学习(boosting(4万字详解,收藏))