CNN网络学习（1）：Lenet，Alexnet，NIN，GooLeNet，VGGNet，ResNet 目录
CNN网络学习（1）：Lenet，Alexnet，NIN，GooLeNet，VGGNet，ResNet
1、Lenet（1986）：
2、Alexnet（2012）：
3、NIN（2013）：
4、GooLeNet：
（1）2014.09 -- Inception v1
（2）2015.02 -- Inception v2
（3）2015.12 -- Inception v3
（4）2016.02 -- Inception v4
5、VGGNet（2014）：
6、ResNet（2015）：
文章图片
1、Lenet（1986）： 网络解析（一）：LeNet-5详解
文章图片
2、Alexnet（2012）： AlexNet详解2
深度学习论文随记（一）---AlexNet模型解读
文章图片
贡献：
① 数据增强 data augmentation，增加训练的数据量
② RELU激活函数，ReLU(Wx+b) = max(Wx+b,0)
③ 重叠池化 overlap pooling，在训练过程中不容易产生过拟合
④ 局部响应归一化 LRN, Local Response Normalization
⑤ Dropout，减少过拟合
3、NIN（2013）： 关于 Network-in-network理解和实现
Network In Network——卷积神经网络的革新
[翻译]Network In Network
文章图片
贡献：
① 提出了 mlpcon 结构，用多层感知器（multilayer perceptron，MLP）来替代传统的卷积神经网络（通用线性模型，generalized linear model ，GLM)）中的加权求和，提高网络的非线性、特征的抽象性，适用更复杂的情况
② 去掉卷积神经网络最后的全连接层，采用全局平均池化层（Global Average Pooling，gap）代替，且在gap前通道数（feature maps）已经减少到分类的个数
4、GooLeNet：
（1）2014.09 -- Inception v1
深度学习论文随记（三）GoogLeNet-2014年
GoogLeNet的心路历程（二）
文章图片
贡献：
① 发明了Inception Architecture（简称IA，多尺度特征融合）
② 使用average pooling层替代全连接层，减少参数，精简网络
③ 增加了两个辅助的softmax（auxiliary classifiers）用于向前传导梯度，避免梯度消失，加速网络收敛，起正则化作用
（2）2015.02 -- Inception v2
GoogLeNet的心路历程（三）
《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》阅读笔记与实现
论文笔记-Batch Normalization
文章图片
贡献：
① 分解大filters，使其小型化、多层化，学习VGG用2个连续的3x3卷积层(stride=1)组成的小网络来代替单个的5x5卷积层
② 提出了Batch Normalization（BN），可以选择较大的初始学习率提高训练速度，提高了网络泛化能力从而省去或减小过拟合中dropout、L2正则项参数所占权重，不再需要使用局部响应归一化层
（3）2015.12 -- Inception v3
GoogLeNet的心路历程（四）
非对称卷积—Asymmetric Convolutions
深度神经网络Google Inception Net-V3结构图
深度学习卷积神经网络——经典网络GoogLeNet(Inception V3)网络的搭建与实现
TensorFlow实战：Chapter-5（CNN-3-经典卷积神经网络（GoogleNet）)
贡献：
① 提出了非对称卷积结构拆分，任意nxn的卷积都可以通过1xn卷积后接nx1卷积来替代，例如将7×7卷积拆分成1×7卷积和7×1卷积，比拆成3个3×3卷积更节省参数
② 优化inception v1的auxiliary classifiers
③ 提出一种更复杂的pooling层，缩小特征图大小
④ 使用Label Smoothing Regularization（LSR）方法，在输出y中加噪声，以权重加入某一概率分布到原始标签中构成新的标签，防止把模型预测值过分集中在概率较大的类别上，会对小概率类别增加更多的关注。起到了正则化的作用，实现对模型进行约束，降低模型过拟合
（4）2016.02 -- Inception v4
GoogLeNet的心路历程（五）
卷积神经网络的网络结构——Inception V4
【深度学习】GoogLeNet系列解读 —— Inception v4
文章图片
贡献：
① 在Inception v3的基础上发明了Inception v4，v4比v3更加复杂
② 结合ResNet与GoogLeNet，加入了残差（Residual Connections），发明了Inception-ResNet-v1、Inception-ResNet-v2，加快了网络的训练速度。其中Inception-ResNet-v2效果非常好，但相比ResNet，Inception-ResNet-v2的复杂度很高，在网络复杂度相近的情况下，Inception-ResNet-v2略优于Inception-v4。Residual Connections貌似只能加速网络收敛，真正提高网络精度的是更大的网络规模
5、VGGNet（2014）： 深度学习之基础模型-VGG
【深度学习】VGGNet原理解析及实现
深度学习VGG模型核心拆解
文章图片
贡献：
① 证明了使用小卷积核（3*3）、增加网络深度可以有效提升模型的效果，通过反复堆叠3*3的小型卷积核和2*2的最大池化层，成功构筑了16-19层深的CNN。 VGGNet有A-E七种结构，从A-E网络逐步变深，但是参数量并没有增长很多，D和E是常说的VGGNet-16和VGGNet-19
② LRN层无性能增益
③ 1x1卷积核的非线性变化增加决策函数的非线性能力
④ 参考了OverFeat的工作，在测试阶段把网络中原本的3个全连接层依次变为1个conv7x7，2个conv1x1，共三个卷积层，使网络可以处理任意大小的输入
6、ResNet（2015）： ResNet解析
经典分类CNN模型系列其四：Resnet
文章图片
贡献：
【CNN网络学习（1）（Lenet，Alexnet，NIN，GooLeNet，VGGNet，ResNet）】两种mapping：一种是identity mapping；另一种是residual mapping。提出残差学习的思想，最后的输出是 y=x+F(x)。通过直接将输入信息绕道传到输出，保护信息的完整性，整个网络只需要学习输入、输出差别的那一部分，简化学习目标和难度
