python深度学习人工智能BackPropagation链式法则 python深度学习人工智能BackPro

1.链式法则
2.前向传播
3.后向传播
4.计算方式整理
5.总结

1.链式法则

文章图片

根据以前的知识，如果我们需要寻找到目标参数的值的话，我们需要先给定一个初值，然后通过梯度下降，不断对其更新，直到最终的损失值最小即可。而其中最关键的一环，就是梯度下降的时候，需要的梯度，也就是需要求最终的损失函数对参数的导数。
如下图，假设有一个神经元，是输入层，有2个数据，参数分别是w1和w2，偏置项为b，那么我们需要把这些参数组合成一个函数z，然后将其输入到sigmoid函数中，便可得到该神经元的输出结果。过程中，z对w求导十分好算，就是x1和x2。根据链式法则，如下图左下角所示，我们整体的计算过程就是，通过前向传播求出z对w的偏导，再通过反向传播找到损失函数C对z的偏导。

文章图片

2.前向传播计算z对w的偏导：前向传播相当简单，对参数的偏导结果就是参数对应的输入数据，如下图所示。输入数据对于输入层来说就是原始数据1和-1，对于其他层，输入数据就是通过sigmoid转换后的输出结果。

文章图片

3.后向传播计算C对z的偏导：
设每一个神经元中，sigmoid函数最终的输出为a，则C对z的偏导，根据链式法则，就可以写作a对z的偏导，乘上C对a的偏导。
a对z的偏导，只是一个sigmoid函数，该函数偏导可以计算。
C对a的偏导，由于a输入进了下一层的多个神经元，假设有2个，因此，C对a的偏导，等于分别对这两个神经元求偏导并求和。比如第一个神经元z' = 输入a*权重w3+...，那么C对这个神经元求偏导，就是C对z'求偏导，乘上z'对a求偏导，后一项十分简单，就是w3；对于z''来说，对a求偏导就是w4
那么问题又变成了，C对z', z''求偏导的结果是什么？

文章图片

假！如！损失函数C对z'和z''的偏导已知了：
【python深度学习人工智能BackPropagation链式法则】以上C对z求偏导的计算过程，可以写作以下的式子，括号外就是a对z求偏导，括号内就是C对a求偏导：

文章图片

这个式子可以看做一个反向传播的神经元，如下图所示：
这个神经元中，损失函数C对sigmoid转化前的z' 和z''求导的结果，就是输入，权重w3,w4是输入对应的权重，将这两个输入乘上参数后相加，再和sigmoid函数对z的导数相乘，最终得到C对z的偏导。而sigmoid对z的导数，这个是常数，并且已经是确定了的，因为我们通过前向传播计算，就已经能够将其确定。

文章图片

有了第一个反向传播的输出结果，那么就可以有隐藏层的其他神经元所需要的结果，以此类推，对于所有神经元，我们均可算出损失函数对其z的偏导。有了这个，那么我们结合z对w的偏导，就可以计算出每一个参数w的梯度。从而进行梯度下降。

4.计算方式整理假设我们计算的是输出层，那么我们通过前向传播后，已经得到了一个输出了，于是就已经有损失函数C了，同时前向传播也让我们得到了z'和z''，那么所有需要的数据已就绪，可以直接计算出来C对z'和z''的偏导。