网络学习系列（七）Squeeze-and-Excitation|网络学习系列（七）Squeeze-and-Excitation Networks
要解决的问题：
CNN是通过融合局部感受野与通道的信息来提取特征，现在许多工作已经证明增强空间编码，即增强空间信息之间的依赖关系可以增强网络的表示能力。本论文所做的工作不涉及空间信息，只针对通道，研究如何对通道之间的依赖关系进行显式的建模，自适应的重新校准通道间的响应关系。
相关信息：
1、卷积神经网络通过卷积核来融合局部感受野与通道的信息，通过下采样的过程来获取全局感受野的信息。许多的工作已经表明，通过引入学习空间关系的学习机制可以改善网络的性能，那么进而想到，能否引入通道间关系来改善网络性能。
2、注意力机制使得网络关注输入图像信息最丰富的区域，借鉴这个思想到通道上去。
3、给定一个变换，我们将其看做卷积操作的话，则有：
文章图片
可以看出，通道的依赖性被隐式的嵌入了学习到的滤波器中，同时还与空间信息纠缠在一起。所以决定显式的建模通道间的依赖性，在众多的通道中，提高有效的特征图的权重，降低无效特征图的权重。
网络设计：
文章图片
1、卷积核只是对局部区域进行信息的融合，没有得到全局信息，所以论文考虑使用全局信息，这里是一种Squeeze的操作过程，即：
文章图片
【网络学习系列（七）Squeeze-and-Excitation|网络学习系列（七）Squeeze-and-Excitation Networks】这其实就是个全局平均池化的过程，将一个多个通道的特征图压缩到一个向量，向量的维度就是通道数，这样操作之后就完全排除了空间信息的干扰。
2、Excitation的操作过程是一个生成不同通道的权重的过程：
文章图片
这里使用了两层的全连接层、，一层的relu，一层的sigmoid，具体操作如图所示：
文章图片
这里全连接层导致的通道数的变化，是一种降维减小运算量的操作。至于为什么要使用全连接，则是因为这样操作可以进行端到端的学习，能够进行反向传播，充分学习到不同通道的依赖关系。
3、生成权重后即可加到不同的通道上，其公式形式为：
文章图片
推荐阅读
- parallels|parallels desktop 解决网络初始化失败问题
- 猎杀IP
- 由浅入深理解AOP
- 继续努力，自主学习家庭Day135(20181015）
- python学习之|python学习之 实现QQ自动发送消息
- 【欢喜是你·三宅系列①】⑶
- 一起来学习C语言的字符串转换函数
- 定制一套英文学习方案
- 漫画初学者如何学习漫画背景的透视画法（这篇教程请收藏好了！）
- 《深度倾听》第5天──「RIA学习力」便签输出第16期