僧旅|神经网络模型LeNet-5学习

知识点

  • 卷积
  • 池化
  • 全连接与连接表
    僧旅|神经网络模型LeNet-5学习
    文章图片
僧旅|神经网络模型LeNet-5学习
文章图片

模型结构
僧旅|神经网络模型LeNet-5学习
文章图片

C1层
  • 卷积层
  • 卷积核: 6组5*5
  • 输入 32*32灰度图像
  • 输出 6 组 28*28 特征图
  • 神经元数量 6* 28*28 = 4704
  • 可训练参数 6*(5 *5+1)= 156
  • 连接数 156 * 28*28 = 122304
S2层
  • 池化层
  • 采样窗口:2*2
  • 输入 6 组 28*28 特征图
  • 输出 6 组 14*14 特征图
  • 神经元数量 6* 14*14 = 1176
  • 可训练参数 6*(1+1)= 12
  • 连接数 6 * (4+1)* 14*14 = 5880
C3层
  • 卷积层
  • 卷积核:60组 5*5
  • 输入 6 组 14*14 特征图
  • 输出 16 组 10*10 特征图
  • 神经元数量 16 * 10*10 = 1600
  • 可训练参数 60 * (5 * 5)+16= 1516 (注意这里是60而不是全连接6*16)
  • 连接数 1516 * 10*10 = 151600
S4层
  • 池化层
  • 采样窗口:2*2
  • 输入 16 组 10*10 特征图
  • 输出 16 组 5*5 特征图
  • 神经元数量 16 * 5 * 5 = 400
  • 可训练参数 16*(1+1)= 32
  • 连接数 16 * (4+1)* 5 *5 = 2000
C5层
  • 卷积层
  • 卷积核: 120组 5*5
  • 输入 16 组 5*5 特征图
  • 输出 120 组 1*1 特征图
  • 神经元数量 120
  • 可训练参数 120*(16 * 5 * 5 + 1) = 48120
  • 连接数 120 * (16 * 25 + 1) = 48120
F6层
  • 全连接层
  • 正切函数
  • 输入 120 组 1*1 特征图
  • 输出 84 组 1*1 特征图
  • 神经元数量 84
  • 可训练参数 84 *(120 + 1) = 10164
  • 连接数 84*(120 + 1) = 10164
输出层
  • RBF函数(径向欧式距离函数)
    僧旅|神经网络模型LeNet-5学习
    文章图片

  • 输入 84 组 1*1 特征图
  • 输出 10 组 1*1 特征图
  • 神经元数量 10
  • 可训练参数 10 * 84 = 840
  • 连接数 10 * 84 = 840
【僧旅|神经网络模型LeNet-5学习】僧旅|神经网络模型LeNet-5学习
文章图片

学习资料来源:
  1. 卷积神经网络的网络结构——以LeNet-5为例
  2. 以LeNet-5为例理解CNN
  3. LeNet-5网络结构及训练参数计算
  4. LeNet-5网络结构解析

    推荐阅读