MoViNets系列模型,手机端实时分类视频的好帮手

需要视频理解,但是嫌模型太重、耗时太久?轻量动作识别模型再次升级,由谷歌研究院在2021年提出的 MoViNets 系列能够更加高效地在现推理流媒体视频,并支持实施分类移动设备端捕获的视频流。MoViNets 在视频动作识别的通用数据集 Kinetics、Moments in Tme 和 Charades 上均获得了先进的精度和效率,证明了其高效性和广泛适用性。
MoViNets系列模型,手机端实时分类视频的好帮手
文章图片

|MoViNets: Streaming Evaluation vs. Multi-Clip
EvaluationMoViNets 是一个卷积神经网络系列,对 2D 视频分类器和 3D 视频分类器取长补短,兼容它们的关键优势,并减轻各自的局限性。该系列模型通过神经结构搜索获得丰富的高效视频网络结构,引用流缓冲技术使得3D卷积能够接受任意长度的流视频序列,再简单地集成多个模型用于提高精度,最终有效地平衡计算量、内存开销、精度。
相关资料:
模型用例:action-classification/movinet
论文:MoViNets: Mobile Video Networks for Efficient Video Recognition
更多资料:MoViNets:让实时视频理解成为现实
更多项目更新及详细内容请关注我们的项目( https://github.com/towhee-io/...) ,您的关注是我们用爱发电的强大动力,欢迎 star, fork, slack 三连 :)

【MoViNets系列模型,手机端实时分类视频的好帮手】

    推荐阅读