神经元模型是一个包含什么的模型深度学习神经网络之神经元模型 _经验知识

深度神经网络是一种模拟人脑的神经网络以期能够实现类人工AI智能的机器学习技术。人脑中的神经网络是一个非常复杂的组织。成人的大脑中估计有1000亿个神经元之多。

文章插图
【神经元模型是一个包含什么的模型深度学习神经网络之神经元模型】图1 人脑神经网络

文章插图
图2 人脑神经网络回路扫描图

文章插图
图3 人脑神经网络回路扫描图
一、神经元1.生物神经元一个神经元通常具有多个树突。主要用来接受传入信息；而轴突只有一条。轴突尾端有许多轴突末梢可以给其他多个神经元传递信息。轴突末梢跟其他神经元的树突产生连接。从而传递信号。这个连接的位置在生物学上叫做“突触” 。
人脑中的神经元形状可以用下图做简单的说明：

文章插图
图4 生物神经元
在生物神经网络中。每个神经元与其他神经元相连接。当它"兴奋"时就会向相连的神经元发送化学物质。从而改变这些神经元内的电位；如果某个神经元内的电位超过了"阈值threshold", 那么它就会被唤醒。即"兴奋"起来。向其他神经元发送化学物质。
1943年。心理学家McCulloch和数学家Pitts参考了生物神经元的结构。发表了抽象的神经元模型MP 。
2. 神经元结构（1）M-P神经元模型
M-P神经元模型是一个包含输入。输出与计算功能的模型。输入可以类比为神经元的树突。而输出可以类比为神经元的轴突。计算则可以类比为细胞核。
注意中间的箭头线。这些线称为“连接” 。每个上有一个“权值” 。

文章插图
图6 M-P神经元模型
在M-P神经元模型中。神经元接收来自n个其他神经元传递过来的输入信号。这些输入信号通过带权重(weight)的连接(Connection)进行传递。神经元接接到的中输入值将与神经元的阀值进行比较然后通过"唤醒函数"(activation function)处理以产生神经元的输出。
一个神经网络的锻炼算法就是让权重的值调整到最佳。以使得整个网络的预测效果最好。
（2）神经元结构：
输入：神经元的输入即特征。X1, X2......Xn 即为输入的特征。权重：神经元之间的连接即权重weight, 在神经网络锻炼的过程中。不断的调节每个神经元连接的权重。来使模型达到一个最优权重状态。唤醒函数：神经元唤醒函数用于将输入特征值映射到输出值"0"和"1", "1"对应于神经元兴奋。"0"对应于神经元抑制。常用的唤醒函数有：符合函数sgn, 对数S形函数sigmoid, 双曲正切S形函数tanh, ReLU, Softmax, Linear等。唤醒函数较简单。没有太多种类型。阀值：神经元是一个多输入单输出的非线性单元。输入之和需要超过一定数值时(θ) 。输出才会有了一定的反应。输出：神经元的输出可以看做是对所有输入特征值的一个预测结果（3）神经元数学模型：

文章插图
神经元数学模型
一个神经网络可以看做是内含了许多参数的数学模型。这个模型是若干个函数, 例如上式相互(嵌套)代入而得。
二、单层神经网络（感知机）由两层神经元组成的神经网络。称之为"感知机"（Perceptron）, 输入层接收外面的世界信号后直接传输给输出层。输出层是M-P神经元
感知机能非常的容易的实现与。或。非运算。解决线性分类问题。

文章插图

文章插图
单层神经网络---感知机模型
如果仔细看输出的计算公式。会看到这两个公式就是线性代数方程组。因此可以用矩阵乘法来表示这两个公式。
例如。输入的变量是[a1 。a2 。a3]T（代表由a1 。a2 。a3组成的列向量）。用向量a来表示。方程的左边是[z1 。z2]T 。用向量Z来表示。
系数则是矩阵W(2行3列的矩阵。排列形式与公式中的一样）
于是。输出公式可以改写成：
g(W * a) = z;
这个公式就是神经网络中从前一层计算后一层的矩阵运算。这也是目前大多数深度学习框架使用矩阵向量计算原因。