锐客网

  1. 首页 > it技术 > >

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks

深度学习


深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks

  • 作者
  • 摘要
  • 引言
  • 数据集
  • 架构
    • Relu非线性
    • 多GPU训练
    • 局部响应归一化
    • 重叠池化
    • 整体架构
  • 减少过拟合
    • 数据增强
    • 随机失活
  • 训练细节
  • 结果
  • 定性评估
  • 讨论

论文的题目就是标题啦，想必大家都听说过它的大名！介绍了一个经典的卷积神经网络
这里有几点要提醒大家
  • 不要带入当下的环境
  • 尽量把自己带入当时论文创作的环境下思考他为什么能脱颖而出
  • 不要纠结论文里的深度两个字！
作者 深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

看到作者，想必大家学深度学习的都有听说过，都是巨头啊~！质量一定不错，可以学到好多东西！所以大家跟着我一起研读吧！
摘要 深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

大概意思是：我们训练了一个大型深度卷积神经网络来将ImageNet LSVRC-2010竞赛的120万高分辨率的图像分到1000不同的类别中。在测试数据上，我们得到了top-1 37.5%, top-5 17.0%的错误率，这个结果比目前的最好结果好很多。这个神经网络有6000万参数和650000个神经元，包含5个卷积层（某些卷积层后面带有最大化池化层）和3个全连接层，最后是一个1000维的softmax。为了训练的更快，我们使用了非饱和神经元并对卷积操作进行了非常有效的GPU实现。为了减少全连接层的过拟合，我们采用了一个最近开发的名为dropout的正则化方法，结果证明是非常有效的。我们也使用这个模型的一个变种参加了ILSVRC-2012竞赛，赢得了冠军并且与第二名 top-5 26.2%的错误率相比，我们取得了top-5 15.3%的错误率。
引言 深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

  • 介绍了一下论文用的数据集
  • 指出因此，与具有层次大小相似的标准前馈神经网络，CNNs有更少的连接和参数，因此它们更容易训练，而它们理论上的最佳性能可能仅比标准前馈神经网络差一点。
  • GPU训练
数据集 深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

架构 深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

Relu非线性 深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

  • 提出了Relu的优势，除了我们熟知的可以规避一些和sigmoid那样的梯度消失问题还可以缩短训练时间
多GPU训练 深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

当时是网络过大才放到多GPU，但是随着==“科技的进步”==现在一般是不同模型放到不同gpu上测试模型效果，或者多gpu训练数据
局部响应归一化 深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

重叠池化 深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

整体架构 深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

减少过拟合 深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

数据增强 深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

随机失活 深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

训练细节 深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

结果 深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

定性评估 深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片


深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

讨论 【深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks】深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks
文章图片

    推荐阅读


    上一篇：疏通血管，其实是心血管领域最大的谎言！不添堵才是关键！

    下一篇：百度飞桨架构师手把手带你零基础实践深度学习——卷积神经网络