论文笔记|论文主要要点记录《Rethinking BiSeNet For Real-time Semantic Segmentation》每天学习8h|计算机视觉|深度学

摘要 1. bisenet是流行的实时分割双流网络，但是其：

2. 本文，降低特征维数并聚合在一起进行特征表示，

介绍 1. 许多学者设计出来了低延迟，高精度的高效的cnn模型。

实时语义分割
DFANet[18]和BiSeNetV1[28]选择了轻量级的骨干，使用特征融合或者聚合来提升准确性。这些模型都基于图像分类任务的轻量级主干进行训练，可能存在任务差异性设计的不足，对图像分割的结果产生一定影响。
限制图像的输入分辨率大小，会使得模型容易忽略边界和小物体的细节信息。
BiSeNet采用双流框架，聚合底层细节以及高层语义信息，但是这种额外增加路径的方式耗时较高，且辅助路径缺乏底层的信息引导
本文提出了一种新的手工设计的网络，具有更快的推理速度，可解释的结构以及更好的性能。
STDC模块(short - density Concatenate module)，利用少量的参数得到不同的可扩展接收域。
然后，将STDC模块无缝集成到U-net架构中，形成STDC网络

2. 串联多个连续层的响应图，每个层对输入图像进行不同尺度的编码，得到多尺度特征表示
3. 通过逐层减小滤波器大小来加速？
4. stdc采用细节引导模块来引导底层学习空间细节

5. stdc通过将浅层空间细节和深层语义信息融合，获得语义分割结果
6. 重要贡献点：

相关 1. 高效网络设计

模型设计在计算机视觉任务中起着重要的作用。SqueezeNet[16]采用了火模块和一定的策略来降低模型参数。MobileNet V1[13]利用深度可分离卷积来减少推理阶段的FLOPs。ResNet[9][10]采用了残余物建筑层，实现了卓越的性能。MobileNet V2[25]和ShuffleNet[29]使用组卷积来降低计算成本，同时保持相当的精度。这些工作是专门为图像分类任务而设计的，其扩展到语义分割应用应谨慎调整。

2. 语义分割

传统的分割算法,如。、阈值选择、超像素，利用手工制作的特征对图像中的像素级标签进行赋值。随着卷积神经网络的发展，基于FCN[23]的方法[3,1,32,14]在各种基准上都取得了令人印象深刻的性能。Deeplabv3[3]采用了一个atrous空间金字塔池模块来捕捉多尺度的上下文。SegNet[1]利用编码器-解码器结构来恢复高分辨率的特征图。PSPNet[32]设计了一个金字塔池来捕获扩张主干上的局部和全局上下文信息。扩展主干和编解码器结构都能同时学习底层细节和高级语义。然而，由于高分辨率的特征和复杂的网络连接，大多数方法都需要较大的计算量。在本文中，我们提出了一个高效和有效的架构，以达到良好的速度和精度之间的平衡。

3. 实时语义分割

是设计有效分割方法的两大主流。(我)轻量级的骨干。DFANet[18]采用轻量级骨干网来降低计算成本，并设计了跨层特征聚合模块来提高性能。DFNet[21]利用“偏序剪枝”算法获得了轻量级的骨干和高效的解码器。(2)多分支结构。ICNet[31]设计了多尺度图像级联，实现了良好的速度和精度权衡
BiSeNetV1[28]和BiSeNetV2[27]提出低级细节信息和高级上下文信息的双流路径。
提出了一种有效的轻量级主干来提供可扩展的接收域。此外，我们设置了单路径解码器，使用细节信息引导来学习底层细节
本文提出
- 轻量级主干提供有效可扩展接收域
- 单路径解码器，使用细节信息引导（语义提取的过程中）底层细节的学习

模型方法

文章图片

每个Convx包含一个卷积层、BN层、RELU层
除输入层和预测层外，共分为6个阶段。
阶段1 ~ 5分别对输入的空间分辨率以2为步长进行下采样，而阶段6通过一个ConvX、一个全局平均池化层和两个全连接层输出预测结果
阶段1-2，是特征提取底层，为了效率，只使用1个卷积块
阶段3-5中第一个stdc模块步长维，为了下采样，之后的stdc模块输入与输出大小相同，保持空间分辨率不变
在STDC模块中，第一个块的内核大小为1，其余块的内核大小简单设置为3。
给定STDC模块输出的信道数N，卷积层第i块的滤波器个数N/(2^i),除最后一个卷积层滤波器大小与其前一个大小相同。
图像分类任务通常更高的层上使用更多的通道。
语义分割任务关注的是可变换的接受域和多尺度信息。底层接收域较小需要足够的通道来编码更多的细粒度信息，而接收域较大的高层更注重高层信息的归纳，与底层设置相同的通道可能会导致信息冗余。
只有Block2中存在下采样。
为了丰富特征信息，本文通过跳路径连接STDC模块的输出每一个的特征图。
在特征级联前，通过3×3池化大小的平均池化操作将STDC模块中不同块的响应图下采样到相同的空间大小
在四个块中使用了stdc模块