SE Squeeze-and-Excitation Networks
se 模块在 feature maps 上不同通道 上加权平衡。他通过权重强调了哪个通道更重要，哪个不太重要。
CBAM Squeeze-and-Excitation Networks
cbam 模块在 feature maps 上不同点上加权平衡，每个通道使用相同的权重。他通过权重强调了feature maps上哪个点重要哪个不重要。
Non-Local Non-local Neural Networks
Non-Local 表述了feature maps 上的一个点对其他点的重要程度/相关程度（反过来也可以说是，所有点对某个点的重要程度），体现的是feature maps 上不同位置之间的关系。更准确的说是所有点对某一特定点的综合影响。
这种结构类似《Attention is All You Need》中的 multi-heads 的其中一个 head。
【CNN 不同Attention 的内在含义】注： 这里说的点/位置的含义是： 假设一个Tensor a with shape (B, C, H, W)， a[0, m, n, :] 表示第0个样本上的一个点，位置是（m, n）,他是一个维度等于通道数的向量。
推荐阅读
- 深度学习|深度学习笔记总结
- tensorflow|vgg16 finetune tensorflow实现
- 基于全局误差重构的深度卷积神经网络压缩方法
- 故障诊断|基于FFT频谱与小波时频图的双流CNN轴承故障诊断模型
- 故障诊断|基于小波时频图与CNN的轴承故障诊断