在iOS系统上创建并运行一个简单的BP神经网络(上) 在iOS系统上创建并运行一个简

关于神经网络
第一次写，如有不足之处还请多多包涵。
闲话不多说了，进入正题。首先介绍一下什么是神经网络。人们口中常说的“神经网络”有两种：第一种，生物方面的，一般指生物的大脑神经元，细胞，触点等组成的网络，用于产生生物的意识，帮助生物进行思考和行动（摘自度娘）；第二种，人工方面的，也称人工神经网络（Artificial Neural Networks，简写为ANNs），是一种模仿生物神经网络行为特征，进行分布式并行信息处理的算法数学模型。
生物神经网络初中、高中生物就学的不怎么样，所以对生物神经网络也就不怎么深究了。抱歉，直接上个图，只要明白长啥样就行（偷个懒）。

文章图片
人工神经网络现在才是我们重点要讨论的内容：MP神经网络和BP神经网络。
一、MP神经网络

文章图片
上图就是一个基本的MP神经网络。其中，Layer L1被称为神经网络的输入层，何为输入层？就是类似于咱们人类的感官接收到的声波、光波等等。Layer L2被称为隐藏层，就是类似于咱们将接收到的声波、光波传输到大脑皮层相应区域的过程。Layer L3被称为输出层，就是类似于咱们大脑将数据接收转换的过程，比如，将声波转换成语言、将光波转换成一个苹果......等等。
在MP神经网络模型中，从输入层到隐藏层的计算是通过以下公式进行的：

文章图片
对线性模型(Linear Model)比较了解的人应该非常熟悉这个公式

文章图片
线性模型可以表示成有限个基函数(basis function)的线性融合，基函数的形式可以自己定义，举个简单的例子，?j(x)(吐槽一下，这个?太难打出来了)可以是关于输入 m 次幂的多项式 x^m。实际上神经网络也可以看成是一些线性函数的叠加，不过中间有了一个激活函数f()，情况就变得跟线性模型不一样了。W等代表从输入层到隐藏层、隐藏层到输出层每一个连接（图中的连线）的权重。激活函数f()之所以成为激活函数，可以把它想象成一个开关，控制着神经元的开(1)或者关(0)，它的作用是永远把输入值限制在-1到1（或者0到1）之间。在本应用中，利用的是Sigmoid函数(也成为S型函数)。

文章图片
二、BP神经网络
MP神经网络有一个最大的问题就是无法控制误差，也就是无法保证模型计算的精度。就好比日常销售物品都有售后服务一样，一锤子买卖是行不通的。所以，我们需要一个反向的反馈来控制，也就是缩小了实际输出和期望输出的差距，也就减少了误差，模型也就变得更加精确。
BP即Back Propagation的缩写，也就是反向传播的意思，顾名思义，将什么反向传播？显然，输入的数据是已知的，变量只有那些个连接权重W了，那这些连接权重如何影响输出呢？现在假设输入层第i个节点到隐层第j个节点的连接权重发生了一个很小的变化ΔWij，那么这个ΔWij将会对输出Wij*x产生影响，导致输出sj也出现一个变化Δsj，然后产生Δθ(sj)，然后传到各个输出层，最后在所有输出层都产生一个误差Δe。所以说，权重的调整将会使得输出结果产生变化，那么如何使这些输出结果往正确方向变化呢？这就是接下来的任务：如何调整权重。首先，误差表达式为：

文章图片
其中ej为第j个节点的误差值，yj上边带个横线(抱歉，Mac上实在打不出来)代表模型在这个节点的实际输出，yj代表这个节点期望输出，采用平方是为了消除正负值的影响。所以，用L(e)代替上边的式子，所以现在我们的目标变成了求L(e)在W上的梯度。
何为梯度？在向量微积分中，标量场的梯度是一个向量场。标量场中某一点上的梯度指向标量场增长最快的方向，梯度的长度是这个最大的变化率。所以，L(e)在W上的梯度就是让L(e)在这W上增长最快（当然是下降），也就是为了减少误差减少的最快。
【在iOS系统上创建并运行一个简单的BP神经网络(上)】用w1ij表示输入层第i个节点到隐层第j个节点的连接权重，w2ij表示隐层第i个节点到输出层第j个节点的连接权重，s1j表示隐层第j个节点的输入，s2j表示输出层第j个节点的输入，1表示输入层权重，2表示输出层的权重。（为什么有反向权重？反向传播不需要反向权重么？）那么有:

文章图片
上式利用链式求导法，分成了两个复合函数，分别求L在是s1j和s1j在w1ij上的梯度。因为：（MP网络输出公式）

文章图片
所以求s1j在w1ij上梯度就相当于求xi

文章图片
于是乎

文章图片
接下来，由于s1j对所有输出层（输出层也可能有多个单元哦）都有影响，所以（继续链式求导）

文章图片
因为需要反向推导输出层的输入

文章图片
所以继续链式求导

文章图片
所以将前面的式子综合起来得

文章图片
声明一个新的变量来表示L在slj上的梯度

则隐藏层的L在slj上的梯度为

文章图片
输出层的为

文章图片
到此，可以看出：输出层每个节点都会得到一个误差e，把e作为输出层反向输入，这时候就像是输出层当输入层一样把误差往回传播，先得到输出层δ，然后将输出层δ根据连接权重往隐层传输，一直到达输入层，得到所有的δ，然后更新权重就完成了反向传播。
以上就是MP和BP神经网络的工作原理。

在iOS系统上创建并运行一个简单的BP神经网络(上)

推荐阅读

凉拌鸡爪——促进骨骼预防高血压

写在静心手触上海课程前

2345智能浏览器怎么更改主页 2345智能浏览器主页如何更改

原来是这些原因为什么有时候手机收不到验证码

吃荔枝上火吗？

西门子新款冰箱系列：科技与品质的好融合，让您的厨房更智能

再见2018，活出精彩2019

清明何止雨纷纷

JS|深拷贝浅拷贝的区别（如何实现一个深拷贝？）

excel2019怎么提供声音反馈

上夜班不可以吃芒果和火龙果芒果不能和什么一起吃

如何设置新买的服务器的映射？新买的服务器怎么映射

图文虞姬是自刎还是被人杀死的，揭秘虞姬死亡的真相

三国志战略版卧薪尝胆战法攻略 S级战法卧薪尝胆简评

机动车怎么审车机动车怎么审

边刑法关于放行偷越国境人员法定量刑档次是怎样

mongodb的坑 mongodb凉了吗

怎么蒸豆包蒸豆包的方法如何蒸酥皮豆包，酥皮包子的做法窍门

2023年10月份重庆多雨吗

违章代码46131是什么意思