【语义分割】双流操作Gated-SCNN

论文:Gated Shape CNNs for Semantic Segmentation(2019.07)
地址:https://arxiv.org/abs/1907.05740
来自:英伟达
【语义分割】双流操作Gated-SCNN
文章图片


简述 这篇文章提出two-stream CNN架构,two-stream包括经典网络结构regular stream和处理边界信息的shape stream。这两个处理流并行处理不同的任务,相互协调工作。regular stream可以帮助shape stream只关注边界信息而不被一些无用的噪声干扰;shape stream可以辅助regular stream做更精确的识别。并且该架构在微小物体上有着明显提升。
【语义分割】双流操作Gated-SCNN
文章图片


细节描述 Shape Stream是如何工作的
作者在Shape Stream中添加了门控结构Gated Convolutional Layer,让Shape Stream将注意力放在它该处理的任务上即边界信息。
其中attention map 的公式为:

1. 与分别对应regular and shape streams;
2. ||表示的是与concatenating;
3. 最后对1x1卷积添加sigmoid卷积。至此一个attention map就形成了。
GCL 的计算公式为:
【语义分割】双流操作Gated-SCNN
文章图片


【【语义分割】双流操作Gated-SCNN】表示的是:逐像素与attention map点乘,取得感兴趣区域信息。再通过加权值为wt的残差网络。
多任务学习损失函数:
1. 预测边界信息使用的是BCE,用来监督更新both the regular and shape streams的参数;
2. 预测语义信息使用的是CE,监督更新所有的网络参数。

这里的是用来控制两种损失权重的超参。
Dual Task Regularizer:
最后对two-stream的误差函数加入正则化项。

其中



1. 表示指定像素是否属于输入图像的某个语义信息,通过对分割输出求空间导数即可。
2. 表示的是真值与预测值都非零的像素坐标。
3. 都是权重超参。
4. ,置信度阈值,论文中定为0.8。
成绩 在用 Cityscapes 基准测试中,这个模型的 mIoU 比 DeepLab-v3 高出 1.5%,F-boundary 得分比 DeepLab-v3 高 4%。在更小的目标上,该模型能够实现 7% 的 IoU 提升。
【语义分割】双流操作Gated-SCNN
文章图片


(完)
【语义分割】双流操作Gated-SCNN
文章图片

    推荐阅读