深度学习的人工神经网络及卷积神经网络原理是什么？ _经验知识

一、神经网络。也指人工神经网络（Artificial Neural Networks 。简称ANNs）。是一种模仿生物神经网络行为特征的算法数学模型。由神经元、节点与节点之间的连接（突触）所构成。如下图：
【深度学习的人工神经网络及卷积神经网络原理是什么？】

文章插图
每个神经网络单元抽象出来的数学模型如下。也叫感知器。它接收多个输入（x1 。x2 。x3...）。产生一个输出。这就好比是神经末梢感受各种外部环境的变化（外部刺激）。然后产生电信号。以便于转导到神经细胞（又叫神经元）。

文章插图
单个的感知器就构成了一个简单的模型。但在现实世界中。实际的决策模型则要复杂得多。往往是由多个感知器组成的多层网络。如下图所示。这也是经典的神经网络模型。由输入层、隐含层、输出层构成。

文章插图
人工神经网络可以映射任意复杂的非线性关系。具有很强的鲁棒性、记忆能力、自学习等能力。在分类、预测、模式识别等方面有着广泛的应用。
二、卷积神经网络是近年发展起来的。并引起广泛重视的一种高效识别方法。20世纪60年代。Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性。继而提出了卷积神经网络（Convolutional Neural Networks-简称CNN）。现在。CNN已经成为众多科学领域的研究热点之一。特别是在模式分类领域。由于该网络避免了对图像的复杂前期预处理。可以直接输入原始图像。因而得到了更为广泛的应用。K.Fukushima在1980年提出的新识别机是卷积神经网络的第一个实现网络。随后。更多的科研工作者对该网络进行了改进。其中。具有代表性的研究成果是Alexander和Taylor提出的“改进认知机” 。该方法综合了各种改进方法的优点并避免了耗时的误差反向传播。
这听起来像是一个奇怪的生物学和数学的结合。但是这些网络已经成为计算机视觉领域最具影响力的创新之一。2012年是神经网络成长的第一年。Alex Krizhevsky用它们赢得了当年的ImageNet竞赛（基本上是计算机视觉年度奥运会）。把分类错误记录从26％降到了15％。这个惊人的提高从那以后。许多公司一直在以服务为核心进行深度学习。Facebook使用自动标记算法的神经网络。谷歌的照片搜索。亚马逊的产品推荐。Pinterest的家庭饲料个性化和Instagram的搜索基础设施。
一般的。CNN的基本结构包括两层。其一为特征提取层。每个神经元的输入与前一层的局部接受域相连。并提取该局部的特征。一旦该局部特征被提取后。它与其它特征间的位置关系也随之确定下来；其二是特征映射层。网络的每个计算层由多个特征映射组成。每个特征映射是一个平面。平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数。使得特征映射具有位移不变性。此外。由于一个映射面上的神经元共享权值。因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层。这种特有的两次特征提取结构减小了特征分辨率。
CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。该部分功能主要由池化层实现。由于CNN的特征检测层通过训练数据进行学习。所以在使用CNN时。避免了显式的特征抽取。而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同。所以网络可以并行学习。这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性。其布局更接近于实际的生物神经网络。权值共享降低了网络的复杂性。特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。
下面将以图像识别为例子。来介绍卷积神经网络的原理。
案例
假设给定一张图（可能是字母X或者字母O）。通过CNN即可识别出是X还是O 。如下图所示。那怎么做到的呢

文章插图
1）图像输入
如果采用经典的神经网络模型。则需要读取整幅图像作为神经网络模型的输入（即全连接的方式）。当图像的尺寸越大时。其连接的参数将变得很多。从而导致计算量非常大。而我们人类对外界的认知一般是从局部到全局。先对局部有感知的认识。再逐步对全体有认知。这是人类的认识模式。在图像中的空间联系也是类似。局部范围内的像素之间联系较为紧密。而距离较远的像素则相关性较弱。因而。每个神经元其实没有必要对全局图像进行感知。只需要对局部进行感知。然后在更高层将局部的信息综合起来就得到了全局的信息。这种模式就是卷积神经网络中降低参数数目的重要神器：局部感受野。