物理或数学意义人工神经网络的本质是什么？

作者曾经写过系列文章《神经网络与深度学习概述》。其中在《第二章神经网络的概念及感知机模型》。从生物和数学方面都有一定介绍。
神经网络全称人工神经网络（Artificial Neural Network, ANN）。与之相对应的是生物神经网络（Biological Neural Network, BNN）。将模拟生物神经网络的数学模型统称为人工神经网络模型。
生物神经系统与生物神经元
大量生物神经元的广泛、复杂连接。形成生物神经网络
实现各种智能活动
智能（intelligence）
观察、学习、理解和认识的能力
理解和各种适应性行为的能力
智能是个体有目的的行为、合理的思维、以及有效的适应环境的综合能力。也可以说是个体认识客观事物和运用知识解决问题的能力
生物神经元(neuron)是基本的信息处理单元
生物神经系统
生物神经元是基本的信息处理单元。

文章插图
生物神经元
树突(dendrites)：接收来自外接的信息
细胞体(cell body)：神经细胞主体。信息加工
轴突(axon)：细胞的输出装置。将信号向外传递。与多个神经元连接
突触（synapsse)：神经元经突触向其它神经元（胞体或树突）传递信号
生物神经元的基本特征
神经元之间彼此连接
神经元之间的连接强度决定信号传递的强弱
神经元之间的连接强度可以随训练改变：学习、遗忘、疲劳
神经网络中各神经元之间连接的强弱。按外部的激励信号做自适应变化
兴奋与抑制
信号可以起兴奋作用。也可以起抑制作用
一个神经元接受信号的累积效果（综合大小。代数和）决定该神经元的状态(兴奋、抑制)
每个神经元可以有一个“阈值”
人工神经网络的组成与结构
人工神经网络是由大量处理单元经广泛互连而组成的人工网络。用来模拟脑神经系统的结构和功能。而这些处理单元我们把它称作人工神经元。
人工神经网络可看成是以人工神经元为节点。用有向加权弧连接起来的有向图。在此有向图中。人工神经元就是对生物神经元的模拟。而有向弧则是轴突—突触—树突对的模拟。有向弧的权值表示相互连接的两个人工神经元间相互作用的强弱。

文章插图
神经元及神经网络模型
感知机模型
感知机模型。其基础就是单个神经元模型
感知机的学习是有监督的学习。学习的问题归结为求权重系数W = (w1, w2, …, wn)和阈值θ 的问题
基本思想：逐步将训练集中的样本输入到网络中。根据当前输出结果和理想输出结果之间的差别来调整网络中的权重值

文章插图
感知机模型
感知器模型无法解决“异或”（XOR）问题。即感知器模型无法解决非线性可分问题。
设激活函数f(x)为阶梯函数：

文章插图
阶梯函数
由于单层感知器的输出为：
y(x1,x2) = f(ω1×x1+ω2×x2-θ)
用感知器实现简单逻辑运算的情况如下：
“与”运算（x1∧x2）
令ω1= ω2=1 。θ=2 。则 y=f(1×x1+1×x2-2)
显然。当x1和x2均为1时。y的值1；而当x1和x2有一个为0时。y的值就为0 。
“或”运算（x1∨x2）
令ω1= ω2=1, θ =0.5 。则y = f(1×x1+1×x2-0.5)
显然。只要x1和x2中有一个为1 。则y的值就为1；只有当x1和x2都为0时。y的值才为0 。
“非”运算（～X1）
令ω1 =-1 。ω2=0 。θ=-0.5 。则 y = f((-1)×x1+1×x2+0.5))
显然。无论x2为何值。x1为1时。y的值都为0；x1为0时。y的值为1 。即y总等于～x1 。
“异或”运算（x1 XOR x2）
如果“异或”（XOR）问题能用单层感知器解决。则ω1、 ω2 和θ 必须满足如下方程组：
ω1+ω2-θ＜0
ω1+0-θ≥0
0+0-θ＜0
0+ω2-θ≥0
显然。该方程组是无解。这就说明单层感知机是无法解决异或问题。
神经网络模型（多层感知机Multi-Layer Perception）
在单层感知器的输入部分和输出层之间加入一层或多层处理单元。就构成了二层或多层感知器
多层感知器克服了单层感知器的许多缺点。原来一些单层感知器无法解决的问题。在多层感知器中就可以解决。例如。应用二层感知器就可以解决异或逻辑运算问题