Compressed Video Action Recognition(CVPR 2018)
最近在研究Action recognition 方面的算法，Compressed Video Action Recognition 提出了一个比较新颖的算法
也是 CVPR2018 action recognition方面比较有代表性的文章。
代码可详见github.
首先看一下，作者于文中列出的第一张图
文章图片
图中作者简要的对比了传统的RGB作为输入和提出的使用I-frame、motion vectors、residual
作为输入方法；
作者在文中详细阐述了提出的输入和网络结构：
1、输入
I-frame 了解视频编码的都清楚;
motion vectors 包含于P-frame中，作者拜托其依赖性对其进行了改进
文章图片
【Compressed Video Action Recognition(CVPR 2018)】上面列出了原文公式，主要思路是根据motion vectors 逐帧向前追溯图片中每个像素点，
但，代码实现时是以I-frame为起始点逐帧向后追溯的。
residual: 通过I-frame和P-frame解码后的帧和实际帧之间的差值，
2、网络结构
作者提出的网络结构
文章图片
将I-frame输入至ResNet-152中，由于motion-vector和residual相对于I-frame包含的信息较少
故将其输入至ResNet-18中；并且都是在ImageNet上进行的预训练。
对于最后的输出分类评分，作者使用了简单的求和平均。
最后看一下性能
文章图片
在UCF-101上获得了90.4%的增益，在HMDB-51上获得了59.1的增益，效果还是比较不错的。
推荐阅读
- 【译】Rails|【译】Rails 5.0正式发布（Action Cable，API模式等）
- 大众点评(redux架构)
- Android播放视频--VideoView
- transformer|Swin-Transformer代码讲解-Video Swin-Transformer
- #|Multimedia
- iOS|iOS 利用VideoToolBox对视频进行编解码
- html5 video视频播放时自动全屏，播放完时自动退出全屏
- @Transactional 导致报错 Lock wait timeout exceeded
- [RocksDB剖析系列]|[RocksDB剖析系列] Remote Compaction
- AnnotationTransactionAttributeSource is only available on Java 1.5 and higher