深度学习|Two-Stream Consensus Network论文阅读机器学习|人工智能

介绍
方法
- 特征提取
- 双流网络
- 伪标签生成及帧级监督
消融实验
- 损失
- 伪标签
- 视频级标签和帧级伪标签

论文下载地址：https://arxiv.org/abs/2010.11594
介绍本文是双流网络在弱监督时间动作定位任务上的应用。与动作识别上的双流网络不同，本文的双流网络是针对于弱监督时间动作定位来改造的，最终解决作者提出的在动作定位任务上难以解决的两个问题：

消除 false positive的动作提议
生成有更精确的时间边界的动作提议

为了解决上面两个问题，作者提出的 Two-Stream Consensus Network（TSCN）有两种解决方法：

迭代细化的训练方法，通过生成帧级伪标签，进行帧级监督训练，迭代更新帧级伪标签，来达到类似于强监督的效果，以消除false positive的动作提议。
提出 attention normalization loss 使得文中所说的attention的值趋向于0或1，进行更精确的选择，以达到生成精确时间边界的效果。

方法

文章图片

特征提取在特征提取部分，一般是用预训练的Untrimednet或者I3D来直接对视频snippet进行特征提取，本文采用预训练的I3D来提取视频的RGB和optical flow特征。与其他论文一致，针对snippet也是采样不重叠的帧。最后得到的特征就是图中的 { fi }Ti=1，上面的模型是光流的特征，下面的是RGB特征。
双流网络首先需要考虑用双流模型进行分类，之后使用双流模型的attention来生成伪标签，进行进一步细化。
上面的两个双流网络模型结构是一致的，但参数不共享。具体流程如下：

{ fi }Ti=1特征的shape是（T，D），经过1D 时间卷积，得到{ xi }Ti=1
它的shape是（T，D’）
之后经过一个FC+Sigmoid ，得到文中所说的attention，Ai,其shape为T
对特征序列进行注意力加权池化，以生成单个前景特征xfg,其shape为D’

文章图片
由前景特征产生分类得分，并计算分类损失

文章图片

文章图片
除了分类损失之外，文章提出attention normalization loss，使得Ai的值趋向于0或1，产生更有区分度的attention

文章图片
将分类损失与attention损失求加权和

文章图片

伪标签生成及帧级监督在细化迭代0时，只使用视频级标签用于训练。细化迭代n+1时，在细化迭代n时生成一个帧级的伪标签，并为当前的Ai提供帧级的监督。文章的直觉是，仅仅通过RGB或者光流其中之一，高激活度的位置可能是false positive 动作提议，或者可能是只有一个检测到的真实动作实例。因此需要同时考虑两个部分。
为了得到伪标签，需要先聚合两部分的 Ai ，如下，其中β取值【0,1】

文章图片

得到了Afuse 之后，就可以正式得到伪标签了，文中对此又做了两种方案：

软伪标签，软伪标签包含了一个snippet作为前景动作的概率，也增加了模型的不确定性。说白了就是直接拿Afuse当作伪标签。
硬伪标签，与attention normalization loss的思想近乎一致，是为了得到具有区分度的伪标签

文章图片

最后使用伪标签与两个模型中的Ai 计算损失，迭代细化Ai

文章图片

文章图片

总结：本文的核心其实就是Ai，文中提出的两个创新点(伪标签进行帧级监督，attention loss)全部都是为了让Ai的值趋向于0或1，就是为了让attention产生更具区分度的值，来更精确的选择出前景动作。

消融实验损失

文章图片

此消融通过对比证明了背景分类损失虽然可以起正面作用，但也会带来一些负面影响，比如同时使用背景分类损失和attention loss时，结果是不如只使用attention loss好的。
伪标签

文章图片

硬伪标签与软伪标签相比更胜一筹，这在直觉上也是说得通的，硬伪标签消除了模型的不确定性。
在相同的标签监督下，光流的性能远大于RGB，我认为是光流对动作的识别度过高导致的，并且光流和RGB聚合后的同时考虑两方面影响，达到了最佳的性能。文中如果再多一个RGB+flow upper bound，我觉得会更好。
视频级标签和帧级伪标签 【深度学习|Two-Stream Consensus Network论文阅读】