【语义分割】双流操作Gated-SCNN 【语义分割】双流操作Gated-S

论文：Gated Shape CNNs for Semantic Segmentation(2019.07)
地址：https://arxiv.org/abs/1907.05740
来自：英伟达

文章图片

简述这篇文章提出two-stream CNN架构，two-stream包括经典网络结构regular stream和处理边界信息的shape stream。这两个处理流并行处理不同的任务，相互协调工作。regular stream可以帮助shape stream只关注边界信息而不被一些无用的噪声干扰；shape stream可以辅助regular stream做更精确的识别。并且该架构在微小物体上有着明显提升。

文章图片

细节描述 Shape Stream是如何工作的
作者在Shape Stream中添加了门控结构Gated Convolutional Layer，让Shape Stream将注意力放在它该处理的任务上即边界信息。
其中attention map 的公式为：

1. 与分别对应regular and shape streams;
2. ||表示的是与concatenating;
3. 最后对1x1卷积添加sigmoid卷积。至此一个attention map就形成了。
GCL 的计算公式为:

文章图片

【【语义分割】双流操作Gated-SCNN】表示的是：逐像素与attention map点乘，取得感兴趣区域信息。再通过加权值为wt的残差网络。
多任务学习损失函数：
1. 预测边界信息使用的是BCE，用来监督更新both the regular and shape streams的参数；
2. 预测语义信息使用的是CE，监督更新所有的网络参数。

这里的是用来控制两种损失权重的超参。
Dual Task Regularizer：
最后对two-stream的误差函数加入正则化项。

其中

1. 表示指定像素是否属于输入图像的某个语义信息，通过对分割输出求空间导数即可。
2. 表示的是真值与预测值都非零的像素坐标。
3. 都是权重超参。
4. ，置信度阈值，论文中定为0.8。
成绩在用 Cityscapes 基准测试中，这个模型的 mIoU 比 DeepLab-v3 高出 1.5%，F-boundary 得分比 DeepLab-v3 高 4%。在更小的目标上，该模型能够实现 7% 的 IoU 提升。