深度学习|人工智能发展史——卷积神经网络

1、卷积神经网络发展史(convolutional neural networks,CNN) CNN是针对图像领域任务提出的神经网络,经历数代人的发展,在2012年之后大部分图像任务被CNN统治,例如图像分类,图像分割,目标检测,图像检索等
深度学习|人工智能发展史——卷积神经网络
文章图片

CNN结构受视觉系统启发
1962年,生物学家TorstenWiesel 和 David H.Hubel(1981年的诺贝尔医学奖)对猫的视觉系统进行研究,首次发现猫的视觉系统中存在层级机构,并且发现了两种重要的细胞
simple cells和complexcells,不同类型细胞承担不同抽象层次的视觉感知功能。
深度学习|人工智能发展史——卷积神经网络
文章图片

猫的视觉系统实验
1.在猫脑上打开3mm,插入电极
2.让猫看各种形状、位置、亮度和运动的光条
3.观察大脑视觉神经元激活情况
深度学习|人工智能发展史——卷积神经网络
文章图片

1.神经元存在局部感受区域(receptive field),也称感受野 深度学习|人工智能发展史——卷积神经网络
文章图片

2.细胞对角度有选择性
深度学习|人工智能发展史——卷积神经网络
文章图片

3、细胞对运动方向有选择性
深度学习|人工智能发展史——卷积神经网络
文章图片

对CNN启发
(1)视觉系统是分层、分级的进行处理,从低级到高级的抽象过程→堆叠使用卷积和池化
(2)神经元实际上是存在局部的感受区域的,具体说来,它们是局部敏感→神经元局部连接
第一个卷积神经网络雏形: 1980年,日本学者福岛邦彦(KunihikoFukushima)借鉴猫视觉系统实验结论,提出具有层级结构的神经网络――新认知机,堆叠使用类似于S细胞和C细胞的两个结构。S细胞和C细胞可类比现代CNN的卷积和池化
缺点:没有反向传播算法更新权值,模型性能有限。
第一个大规模商用卷积神经网络―-Lenet- 5 1989年,Lecun等人已开始研究Lenet,1998年,Lecun等人提出Lenet-5,并成功在美国邮政系统中大规模应用于手写邮政编码识别
缺点:无大量数据和高性能计算资源。
第一个技惊四座的卷积神经网络―—AlexNet 2012年,Alex Net以超出第二名10.9个百分点的成绩夺得ILSVRC分类任务冠军,从此拉开卷积神经网络统治图像领域序幕。
深度学习|人工智能发展史——卷积神经网络
文章图片

2、卷积层 【深度学习|人工智能发展史——卷积神经网络】图像识别特点:

  • 特征具有局部性:老虎重要特征“王字”仅出现在头部区域
    深度学习|人工智能发展史——卷积神经网络
    文章图片
  • 特征可能出现的任何位置
  • 下采样图像不会改变图像目标深度学习|人工智能发展史——卷积神经网络
    文章图片

    原因:
  • 卷积核每次连接K * K区域
    深度学习|人工智能发展史——卷积神经网络
    文章图片

    通过局部连接会大大减少数据量。
  • 卷积核通过在特征图中进行滑动,卷积核参数重复利用,参数共享
  • 深度学习|人工智能发展史——卷积神经网络
    文章图片

    卷积核:具可学习参数的算子,用于对输入图像进行特征提取,输出通常称为特征图(feature maps)
    深度学习|人工智能发展史——卷积神经网络
    文章图片

    其他详细讲解见卷积神经网络入门基础知识

    推荐阅读