目录
系列文章目录
一. 神经网络的最优化
二. 误差反向传播法
总结
系列文章目录 第一章：会思考的机器你造嘛——AI技术
第二章：机器学习的概率统计模型（附代码）
?第三章：深度学习敲门砖——神经网络 ?
第四章：掌握神经网络的法宝（一）
第五章：掌握神经网络的法宝（二）???????
一. 神经网络的最优化 1.1 神经网络的参数和变量
1）参数和变量
- 像权重和偏置这种确定数学模型的常数称为模型的参数；
- 数字模型中值可以根据数据而变化的量称为变量；
- 神经网络中用到的参数和变量数量庞大；
文章图片
- 首先，我们对层进行编号，最左边的输入层为层1，隐藏层则一次递增（层2，层3······）最右边的输出层诶层l（l为last的意思）：
文章图片
文章图片
- 输出层的相关变量名
文章图片
- 隐藏层、输出层的相关的参数名与变量名
文章图片
- 变量值的表示方法
文章图片
为变量，它们的值根据学习数据的学习实例而变化，若具体给出了学习数据的一个图像，则
文章图片
就变成了数值，而不是变量；
- 神经单元符号和变量名
文章图片
3）神经网络的变量的关系式
- 输入层的关系式
文章图片
定义为层l的第j个神经单元的输出值，由于输入层为层1（即l=1），所以前面的Xi可以如下表示：
文章图片
- 隐藏层的关系式
文章图片
- 输出层的关系式
文章图片
文章图片
通过这样的方式来定义正解，就可以像下面这样表示神经网络算出的预测值和正解的平方误差：
文章图片
5）神经网络的代价函数
- 表示模型准确度的代价函数
在数学上，用模型参数表示的总体误差的函数称为代价函数，此外也可以称为损失函数、目的函数、误差函数等；
文章图片
- 最优化的基础：代价函数的最小化
文章图片
达到最小
- 参数的个数和数据的规模
文章图片
根据上表，参数的总数 =（12x3+3）+（3x2+2）= 47
而我们要确定模型，就必须准备好规模大于擦书个数的数据，所以在这次学习用的图像至少需要47张。
二. 误差反向传播法
- 梯度下降法
文章图片
的偏导数是从各个学习实例得到的偏导数的和：
文章图片
- 神经单元误差
文章图片
文章图片
。利用平方误差C，其定义如下所示：
文章图片
该变量称为第l层第j个神经单元的误差。
【人工智能|掌握神经网络的法宝（二）】用
文章图片
表示平方误差C关于权重、偏置的偏导数：
文章图片
-
文章图片
和
文章图片
的关系
文章图片
能求出来，那么梯度下降法的计算所需的平方误差式的偏导数也能求出来：
文章图片
可以得出：
文章图片
- 通过递推关系式越过导数计算
文章图片
通过推广可以的出层l与下一层l+1的一般关系式：
文章图片
- 中间层的
文章图片
：不求导也可以得到值
关系式一般是按照层编号从高到低的方向来确定值的，这与之前考察过的数列的递推关系式的想法相反，这就是反向传播中“反向”的由来：
文章图片
总结 以上就是今天要讲的内容，本文介绍了神经网络所需的数学方法，神经网络的最优化和误差反向传播法的相关知识。
欢迎大家留言一起讨论问题~~~
推荐阅读
- 百度飞桨|基于卷积神经网络VGG实现水果分类识别
- windows|一步步教你查看cuda和cudnn版本
- 人工智能|全连接层的算力计算方式
- 深度学习100例|深度学习100例 - 卷积神经网络（CNN）实现车牌识别 | 第15天
- R语言入门课|R语言使用ifelse函数实战
- pytorch|pytorch 图像增广的操作，裁剪，翻转，颜色，亮度等
- 黑客|零基础该如何学黑客?要掌握的技术有哪些呢（）
- 机器学习|pytorch 数据预处理（填充、随机裁剪、随机遮挡、随机左右翻转）
- python入门学习|ubuntu下安装pytorch离线安装的方法，torchvision离线安装，numpy离线安装