神经网络|DCFNET: DISCRIMINANT CORRELATION FILTERS NETWORK FOR VISUAL TRACKING matlab|图像处理|目标跟踪|Open

这个工作是中科院王强博士的工作，也是第二个将特征提取网络和协同滤波网络级联到一起进行端到端训练的文献，在后续先后出现了CREST、FlowNet with temporal and spatial atttention等。

文章图片

1. 论文的意义判别滤波器目前是在线目标跟踪领域非常主流的方法。当前的发展方向主要是：

在传统DCF基础之上进行多核等研究
融合深度学习，从最开始的训练深度特征提取器到目前的基于网络的end-to-end设计
更加细致的研究spatial-temporal regularization

王强博士这篇文章对理解end-to-end的DCF设计具有很好的参考意义。
在这片文章中，作者设计了如图一的轻量级的网络机构，同时完成卷积特征提取过程和在线协同滤波跟踪。特别之处在于，在一个孪生网络中Siamese network，作者将判别协同滤波器看陈特殊的协同滤波器层 special correlation layer，王强博士也给出了详细的反向传播推导过程。因为推导仍然在傅里叶空间中进行，所以DCFNet保留了非常好的跟踪时效性（>60pfs）。
2.作者提出的网络框架首先回顾了判别相关滤波器的基本原理，然后详细推导传播过程，最后作者介绍了在线跟踪过程，并从RNN的角度给出了一个合理的解释。
2.1. 判别式相关滤波器在标准的判别式相关滤波器中，我们根据目标区域φ(x)∈M*N*D的特征和期待的高斯分布响应 y∈M*N训练一个判别式的回归函数。那么，期待的滤波器w可以通过最小化脊损失（ridge loss）获得：

文章图片

【神经网络|DCFNET: DISCRIMINANT CORRELATION FILTERS NETWORK FOR VISUAL TRACKING】☆代表循环相关，正是因为循环相关可以在傅里叶空间内进行快速运算，所以DCF才会具有非常高的时间性能。λ是正则化系数。
上面的公式可以求解，为：

文章图片

^代表傅里叶空间，*代表复共轭，圈点代表hadamard product。
一旦我们构建好了滤波器就可以直接用于检测了，在后续过程只需要关注滤波器的跟新就好了（如何更新也是DCF研究的重点方向）。在检测过程中，我们首先在新的一帧中剪裁寻找区域search patch，然后提取这个patch的特征φ(z)，通过定位滤波器的最大响应就可以估计目标在前后两帧的平移，具体为：

文章图片

2.2 DCFNet 推导：反向传播过程传统的基于DCF的跟踪器只能试探性的精修超参数，而本文提出的网络结构可以同时精修特征提取部分的超参数和DCF部分的超参数。就像图一的网络结构图所示，本文通过级联特征提取网络和DCF模块得到目标的位置响应。当给定搜索区域patch的特征φ(z)，目标响应~g应该在真实的目标位置得到一个更高的响应，所以目标函数可以设计为：

文章图片

文章图片

很明显，下面的公式是成立的：

文章图片

因为前向通路的操作仅包含Hadamard乘积和除法，我们就可以按元素求偏导：

文章图片

所以，检测阶段网络传播为：

文章图片

文章图片

学习阶段的网络传播为：

文章图片

文章图片

因为相关滤波层中的传播操作仍然是在傅里叶空间中进行的，我们可以保留DCF的快速跟踪特性。离线使用大量数据集进行测试，就可以得到一个功能定制的特征提取器为DCF在线跟踪。
2.3 在线模型更新：一种RNN的解释在线跟踪过程中，我们只需要更新滤波器空间的傅里叶变换系数。所以传统的DCF优化问题可以写为一个增量模式：