注意力机制更详细的可以被称为资源分配机制,神经网络的计算能力是有限的,因为我们为了在有限的资源下提高神经网络的准确性,因此我们要对识别对象的重要特征,增加更多的资源(在神经网络中叫做权重)用来提高识别的准确率。
卷积神经网络特征的提取,越来越成为大家研究的重点,由于卷积神经网络提取特征时对于每部分特征的提取都是相同权重,并不能专注于有效特征的提取,反而提取了很多无用的特征,增大运算量,因此跟人类相似的注意力机制(专注有效特征提取的方式)得到了发展。
注意力机制思想的引入主要在于使得卷积神经网络提取有效的特征,删掉无用的特征。事实上卷积神经网络并不能算是人工智能,我用一个简单的例子来形容就是:假如我们要识别一个人,卷积神经网络更像是一个扫描仪,对着当前的图像进行扫描,根据胳膊,腿,身材等部分综合判断(每部分占的权重一样),然后得出结论这是我们要识别的那个人,但是真正的人我们在现实生活中识别人的时候往往是这个人的脸是占更大权重的,比如说一个人他瘦了好多,我们也能认出来他,因为只要他没整容,他的脸对于我们对他的身份进行识别就占决定性作用。因此在我们对人进行识别的过程中,我们需要更在意他的脸,身材等其他部分占的权重非常少,这就是注意力机制的思想。
注意力机制极大的提高了人处理图像的效率,准确性和速度,深度学习的注意力机制跟人类的注意力机制类似,或者说深度学习中注意力机制的发展就是借鉴了人类注意力机制的思想。
在寒假接下来的日子会对视觉注意力机制的各个经典网络和代码进行讲解并且开源代码....
【网络|视觉注意力机制概述】
推荐阅读
- pytorch深度学习实战|Mask R-CNN详解(图文并茂)
- 笔记|tensorflow框架搭建问题解决
- 神经网络|[经典网络](Mask R-CNN 网络结构详解 : R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN, FCN)
- python|计算机网络-基于python的TCP套接字编程
- 计算机网络|计算机网络---TCP/IP网络编程实验
- 深度学习|粗读Active Boundary Loss for Semantic Segmentation
- 深度学习|基于Pytorch的强化学习(DQN)之 Baseline 基本概念
- 笔记|TransGAN代码复现—九天毕昇平台
- 计算机网络|计算机网络----网络通信协议TCP&UDP