锐客网

  1. 首页 > 睿知 > it技术 > >

关于python损失函数代码的信息( 五 )

IT技术算法


2 层神经网络的结构
用 Python 可以很容易的构建神经网络类
训练神经网络
这个网络的输出 ? 为：
你可能会注意到，在上面的等式中 ， 输出 ? 是 W 和 b 函数 。
因此 W 和 b 的值影响预测的准确率. 所以根据输入数据对 W 和 b 调优的过程就被成为训练神经网络 。
每步训练迭代包含以下两个部分:
? 计算预测结果 ? ， 这一步称为前向传播
? 更新 W 和 b, ， 这一步成为反向传播
下面的顺序图展示了这个过程：
前向传播
正如我们在上图中看到的，前向传播只是简单的计算 。对于一个基本的 2 层网络来说，它的输出是这样的：
我们在 NeuralNetwork 类中增加一个计算前向传播的函数 。为了简单起见我们假设偏置 b 为0：
但是我们还需要一个方法来评估预测结果的好坏(即预测值和真实值的误差) 。这就要用到损失函数 。
损失函数
常用的损失函数有很多种，根据模型的需求来选择 。在本教程中，我们使用误差平方和作为损失函数 。
误差平方和是求每个预测值和真实值之间的误差再求和，这个误差是他们的差值求平方以便我们观察误差的绝对值 。
训练的目标是找到一组 W 和 b，使得损失函数最好小，也即预测值和真实值之间的距离最小 。
反向传播
我们已经度量出了预测的误差(损失)，现在需要找到一种方法来传播误差，并以此更新权值和偏置 。
为了知道如何适当的调整权值和偏置，我们需要知道损失函数对权值 W 和偏置 b 的导数 。
回想微积分中的概念，函数的导数就是函数的斜率 。
梯度下降法
如果我们已经求出了导数，我们就可以通过增加或减少导数值来更新权值 W 和偏置 b(参考上图) 。这种方式被称为梯度下降法 。
但是我们不能直接计算损失函数对权值和偏置的导数，因为在损失函数的等式中并没有显式的包含他们 。因此，我们需要运用链式求导发在来帮助计算导数 。
链式法则用于计算损失函数对 W 和 b 的导数 。注意 ， 为了简单起见 。我们只展示了假设网络只有 1 层的偏导数 。
这虽然很简陋 ， 但是我们依然能得到想要的结果—损失函数对权值 W 的导数(斜率)，因此我们可以相应的调整权值 。
现在我们将反向传播算法的函数添加到 Python 代码中
为了更深入的理解微积分原理和反向传播中的链式求导法则，我强烈推荐 3Blue1Brown 的如下教程：
Youtube：
整合并完成一个实例
既然我们已经有了包括前向传播和反向传播的完整 Python 代码，那么就将其应用到一个例子上看看它是如何工作的吧 。
神经网络可以通过学习得到函数的权重 。而我们仅靠观察是不太可能得到函数的权重的 。
让我们训练神经网络进行 1500 次迭代，看看会发生什么 。注意观察下面每次迭代的损失函数，我们可以清楚地看到损失函数单调递减到最小值 。这与我们之前介绍的梯度下降法一致 。
让我们看看经过 1500 次迭代后的神经网络的最终预测结果：
经过 1500 次迭代训练后的预测结果
我们成功了!我们应用前向和方向传播算法成功的训练了神经网络并且预测结果收敛于真实值 。
注意预测值和真实值之间存在细微的误差是允许的 。这样可以防止模型过拟合并且使得神经网络对于未知数据有着更强的泛化能力 。
下一步是什么?
幸运的是我们的学习之旅还没有结束 ， 仍然有很多关于神经网络和深度学习的内容需要学习 。例如：
? 除了 Sigmoid 以外，还可以用哪些激活函数

推荐阅读


上一篇：两个圆交叉圆的css样式，2个圆交叉求交叉部分面积

下一篇：鸿蒙系统审核已通过，鸿蒙系统审核通过了迟迟不推送