神经元模型是一个包含什么的模型深度学习神经网络之神经元模型( 三 ) _经验知识

1.网络结构：自动编码器: 自动编码器神经网络是一种无监督机器学习算法。有三层的神经网络：输入层、隐藏层（编码层）和解码层。该网络的目的是重构其输入。使其隐藏层学习到该输入的良好表征。其应用了反向传播。可将目标值设置成与输入值相等。自动编码器属于无监督预锻炼网络（Unsupervised Pretained Networks）的一种。常用来预锻炼初始化网络权重。限制波尔兹曼机(RBM)：用来对数据进行编码提供给监督学习方法进行分类或者是回归。另外就是得到权重矩阵和偏移量。供BP神经网络初始化锻炼。卷积神经网络CNN: 卷积神经网络在计算机视觉, 人脸识别。物体检测。图像分类, 图像分割。风格迁移。谷歌围棋AlphaGo等被广泛应用。常用的网络结构有：AlexNet, GoogleNet, VGG, ResNet, DenseNet等。以及这些网络结构的变种。循环神经网络RNN 循环神经网络常被用于自然语言处理NLP 。机器翻译。语音语义识别。图像描述生成等。例如：递归神经网络。长短期记忆神经网络LSTM生成对抗网络GAN 用途：自然语言处理NLP, 图像处理。图像生成等。脉冲神经网络Spiking neural network：脉冲神经网络（SNN）属于第三代神经网络模型。被誉为第三代人工神经网络。实现了更高级的生物神经模拟水平。除了神经元和突触状态之外。SNN 还将期间概念纳入了其操作之中。2. 效果增加更多的层次有什么好处？更深入的表示特征。以及更强的函数模拟能力。
更深入的表示特征可以这样理解。随着网络的层数增加。每一层对于前一层次的抽象表示更深入。在神经网络中。每一层神经元学习到的是前一层神经元值的更抽象的表示。例如第一个隐藏层学习到的是“边缘”的特征。第二个隐藏层学习到的是由“边缘”组成的“形状”的特征。第三个隐藏层学习到的是由“形状”组成的“图案”的特征。最后的隐藏层学习到的是由“图案”组成的“目标”的特征。通过抽取更抽象的特征来对事物进行区分。从而获得更加好的区分与分类能力。
五、锻炼过程选择数据集：根据锻炼任务的特征空间。选择锻炼集和考证集。测试集。确定网络结构：根据锻炼任务的特征空间, 选择合适的网络结构:卷积层, 池化层, 归一化处理等。预锻炼: 相关性预处理。数据量预处理。可以使用一些自动编码器等预锻炼方法来初始化网络权重和一些参数。选择恰当的唤醒函数：sgn, sigmoid, tanh, ReLU, Softmax, Linear等。唤醒函数每个都有自己的特性。唤醒函数的选择会影响到网络的收敛速度和锻炼速度。最终导致锻炼效果是否理想。隐层单元和隐层的数量：隐层每层神经元网络结构。神经元数量以及隐层的数量都不是固定的。一般来探讨为了过滤出更多的特征信息。通过增加隐层的数量。模型会得到需求的灵活性和更多的特征信息。例如：GoogLeNet, 2014年ILSVRC挑战赛冠军。将Top5 的错误率降低到6.67%. 一个22层的深度网络(如果考虑pooling层是27层）。有500万的参数量。2012年。AlexNet有8层。但是它需要学习的参数有6000万个参数量。权重初始化：权重初始化对于高效的收敛非常重要。如果权重初始化为很大的数字。那么唤醒函数会饱和（最底部位置), 导致死神经元（dead neurons）。如果权重特别小。梯度也会很小。一般用小的随机数字初始化权重。以打破不同单元间的对称性（symmetry）, 最好是在中间位置选择权重。均匀分布（uniform distribution ）是比较好的选择。调参：人工对部分经常可以看见超参数调参。比如学习率、隐层数目。选用随机搜索（random search）或者随机采样。来选择最优超参数梯度下降：在机器学习算法中。在最小化损失函数时。可以通过梯度下降法来一步一步的迭代求解。得到最小化的损失函数。和模型参数值。梯度下降相关介绍：监控。特征图片生成等。

文章插图
（2）使用matplotlib图像处理库自己绘制

文章插图

文章插图
过拟合：即学习过度。主要表现在两个方面：第一。在现有的锻炼数据上模型已经不能更加优化了。但是整个学习过程仍然在学习；第二。对于局部数据噪声（noise）学习过度。导致模型“颠簸” 。所谓对局部噪声学习过度表现在对于给定的锻炼数据。模型过度学习了局部的噪声。而这些噪声对于模型的泛化并没有实际用处。六、云端锻炼平台百度云：/