CA（用于移动端的高效坐标注意力机制|CA：用于移动端的高效坐标注意力机制

论文提出新颖的轻量级通道注意力机制coordinate attention，能够同时考虑通道间关系以及长距离的位置信息。通过实验发现，coordinate attention可有效地提升模型的准确率，而且仅带来少量的计算消耗，十分不错
来源：晓飞的算法工程笔记公众号

论文: Coordinate Attention for Efficient Mobile Network Design

CA（用于移动端的高效坐标注意力机制|CA：用于移动端的高效坐标注意力机制 | CVPR 2021）

文章图片

论文地址：https://arxiv.org/abs/2103.02907
论文代码：https://github.com/Andrew-Qibin/CoordAttention

Introduction ?目前，轻量级网络的注意力机制大都采用SE模块，仅考虑了通道间的信息，忽略了位置信息。尽管后来的BAM和CBAM尝试在降低通道数后通过卷积来提取位置注意力信息，但卷积只能提取局部关系，缺乏长距离关系提取的能力。为此，论文提出了新的高效注意力机制coordinate attention，能够将横向和纵向的位置信息编码到channel attention中，使得移动网络能够关注大范围的位置信息又不会带来过多的计算量。
?coordinate attention的优势主要有以下几点：

不仅获取了通道间信息，还考虑了方向相关的位置信息，有助于模型更好地定位和识别目标。
足够灵活和轻量，能够简单地插入移动网络的核心结构中。
可以作为预训练模型用于多种任务中，如检测和分割，均有不错的性能提升。

Coordinate Attention ?Coordinate Attention可看作增强移动网络特征表达能力的计算单元，接受中间特征$X=[x_1,x_2,\cdots,x_C]\in\mathbb{R}^{C\times H\times W}$作为输入，输出与$X$大小相同的增强特征$Y=[y_1,y_2,\cdots,y_C]$。

文章图片

Coordinate Attention Blocks ?Coordinate Attention基于coordinate information embedding和coordinate attention generation两个步骤来编码通道关系和长距离关系。

Coordinate Information Embedding?channel attention常用全局池化编码全局空间信息，将全局信息压缩成一个标量，难以保留重要的空间信息。为此，论文将全局池化改造成两个1维向量的编码操作。对于输入$X$，使用池化核$(H,1)$和$(1,W)$来编码水平方向和垂直方向特征，即第$c$维特征的输出为：

文章图片

文章图片

?上面的公式从不同的方向集成特征，输出一对方向可知的特征图。对比全局池化的压缩方式，这样能够允许attention block捕捉单方向上的长距离关系同时保留另一个方向上的空间信息，帮助网络更准确地定位目标。

Coordinate Attention Generation?为了更好地利用上述的coordinate infomation，论文提出了配套的coordinate attention generation操作，主要基于以下三点准则进行设计：
足够简单和轻量。
能完全利用提取的位置信息。
能同样高效地处理通道间的关系。

?首先将公式4和公式5的输出concatenate起来，使用$1\times 1$卷积、BN和非线性激活进行特征转化：

文章图片

?$f\in\mathbb{R}^{C/r\times(H+W)}$为包含横向和纵向空间信息的中间特征，$r$为缩减因子。这里两个方向的特征没有做激烈的融合，concatenate的主要目的我觉得是进行统一的BN操作。随后将$f$分为两个独立的特征$f^h\in\mathbb{R}^{C/r\times H}$和$f^w\in\mathbb{R}^{C/r\times W}$，使用另外两个$1\times 1$卷积和sigmoid函数进行特征转化，使其维度与输入$X$一致：

文章图片

?将输出$g^h$和$g^w$合并成权重矩阵，用于计算coordinate attention block输出：

文章图片

?coordinate attention block与se block的最大区别是，coordinate attention block的每个权重都包含了通道间信息、横向空间信息和纵向空间信息，能够帮助网络更准确地定位目标信息，增强识别能力。
Implementation

文章图片

?将coordinate attention block应用于MobileNetV2和MobileNeXt上，block结构如图3所示。
Experiment

文章图片

?基于MobileNetV2进行模块设置的对比实验。

文章图片

?不同注意力结构在不同主干网络上的性能对比。

文章图片

?对目标检测网络的性能对比。

文章图片

?对语义分割任务的性能对比。
Conclusion ?论文提出新颖的轻量级通道注意力机制coordinate attention，能够同时考虑通道间关系以及长距离的位置信息。通过实验发现，coordinate attention可有效地提升模型的准确率，而且仅带来少量的计算消耗，十分不错。
?
?
?