深度学习|【原创】深度学习学习笔记（四）-信息处理单元(神经元）神经网络|深度学习

文章目录

空间信息处理单元
- 1. 卷积层
- 2. 池化层
时间信息处理单元
- RNN循环神经网络
- LSTM神经元

空间信息处理单元 CNN卷积神经网络，输入层、卷积层、池化层、全连接层
1. 卷积层输入：特征图[h,w,d,n],h，w为图长宽，d为深度（通道数），n批量大小，k个尺寸为[a,a,d]的滤波器（卷积核）
卷积运算：加权求和，对应相乘，乘积之和作为中心像素新值。
输出尺寸：[h,w,d,n]
其中s为滑动步长，p为填充大小（0填充尺寸）
调整p来保证输出尺寸为整数
感受野（超参数），就是滤波的尺寸空间a

局部连接
权重共享（参数共享）

2. 池化层通常在卷积层后面加一个池化层，是一种非线性下采样的一种形式
分最大池化，平均池化
通过减少网络参数来减少计算量
( 1 0 2 3 4 6 6 8 3 1 1 0 1 2 2 4 ) \left(\begin {matrix} 1&0&2&3\\ 4&6&6&8\\ 3&1&1&0\\ 1&2&2&4\\ \end{matrix}\right) ?????1431?0612?2612?3804??????
【深度学习|【原创】深度学习学习笔记（四）-信息处理单元(神经元）】最大池化结果：
( 6 8 3 4 ) \left(\begin {matrix} 6&8\\ 3&4\\ \end{matrix}\right) (63?84?)
平均池化结果：
( 3 5 2 2 ) \left(\begin {matrix} 3&5\\ 2&2\\ \end{matrix}\right) (32?52?)
时间信息处理单元 RNN循环神经网络输出可以在下一时刻直接作用到自身，存在同层自连接
RNN可理解成某时刻输出是之前所有输入共同作用的结果，但实际上某时刻输入对后面时刻影响只能维持若干时刻
LSTM神经元解决RNN时间上梯度消失问题