python损失函数绘制的简单介绍

请问卷积神经网络中这种loss图是用什么画的?你可以使用Matlab,或者Matplotlib(一个著名的python绘图包,强烈建议) 。
Matplotlib: Python可视化
【python损失函数绘制的简单介绍】Matplotlib是一个用Python创建静态、动画和交互式可视化的综合性库 。Matplotlib让简单的事情变得简单,让困难的事情成为可能 。
1. 创建出版质量图 。
2. 制作可以缩放、平移、更新的交互式图形 。
3. 自定义视觉样式和布局 。
4. 导出到许多文件格式 。
5. 嵌入JupyterLab和图形用户界面 。
6. 使用构建在Matplotlib上的第三方包的丰富数组 。
matplotlib参考官网 , 以及用法
有任何疑问欢迎回复?。?
从零开始用Python构建神经网络从零开始用Python构建神经网络
动机:为了更加深入python损失函数绘制的理解深度学习python损失函数绘制 , 我们将使用 python 语言从头搭建一个神经网络,而不是使用像 Tensorflow 那样的封装好的框架 。我认为理解神经网络的内部工作原理 , 对数据科学家来说至关重要 。
这篇文章的内容是我的所学,希望也能对你有所帮助 。
神经网络是什么?
介绍神经网络的文章大多数都会将它和大脑进行类比 。如果你没有深入研究过大脑与神经网络的类比,那么将神经网络解释为一种将给定输入映射为期望输出的数学关系会更容易理解 。
神经网络包括以下组成部分
? 一个输入层 , x
? 任意数量的隐藏层
? 一个输出层,?
? 每层之间有一组权值和偏置 , W and b
? 为隐藏层选择一种激活函数,σ 。在教程中我们使用 Sigmoid 激活函数
下图展示了 2 层神经网络的结构(注意:我们在计算网络层数时通常排除输入层)
2 层神经网络的结构
用 Python 可以很容易的构建神经网络类
训练神经网络
这个网络的输出 ? 为:
你可能会注意到,在上面的等式中,输出 ? 是 W 和 b 函数 。
因此 W 和 b 的值影响预测的准确率. 所以根据输入数据对 W 和 b 调优的过程就被成为训练神经网络 。
每步训练迭代包含以下两个部分:
? 计算预测结果 ? , 这一步称为前向传播
? 更新 W 和 b, , 这一步成为反向传播
下面的顺序图展示了这个过程:
前向传播
正如我们在上图中看到的 , 前向传播只是简单的计算 。对于一个基本的 2 层网络来说,它的输出是这样的:
我们在 NeuralNetwork 类中增加一个计算前向传播的函数 。为了简单起见我们假设偏置 b 为0:
但是我们还需要一个方法来评估预测结果的好坏(即预测值和真实值的误差) 。这就要用到损失函数 。
损失函数
常用的损失函数有很多种,根据模型的需求来选择 。在本教程中 , 我们使用误差平方和作为损失函数 。
误差平方和是求每个预测值和真实值之间的误差再求和,这个误差是他们的差值求平方以便我们观察误差的绝对值 。
训练的目标是找到一组 W 和 b , 使得损失函数最好小 , 也即预测值和真实值之间的距离最小 。
反向传播
我们已经度量出了预测的误差(损失) , 现在需要找到一种方法来传播误差 , 并以此更新权值和偏置 。
为了知道如何适当的调整权值和偏置,我们需要知道损失函数对权值 W 和偏置 b 的导数 。
回想微积分中的概念,函数的导数就是函数的斜率 。
梯度下降法
如果我们已经求出了导数 , 我们就可以通过增加或减少导数值来更新权值 W 和偏置 b(参考上图) 。这种方式被称为梯度下降法 。
但是我们不能直接计算损失函数对权值和偏置的导数 , 因为在损失函数的等式中并没有显式的包含他们 。因此,我们需要运用链式求导发在来帮助计算导数 。
链式法则用于计算损失函数对 W 和 b 的导数 。注意,为了简单起见 。我们只展示了假设网络只有 1 层的偏导数 。
这虽然很简陋,但是我们依然能得到想要的结果—损失函数对权值 W 的导数(斜率),因此我们可以相应的调整权值 。
现在我们将反向传播算法的函数添加到 Python 代码中
为了更深入的理解微积分原理和反向传播中的链式求导法则,我强烈推荐 3Blue1Brown 的如下教程:
Youtube:
整合并完成一个实例
既然我们已经有了包括前向传播和反向传播的完整 Python 代码,那么就将其应用到一个例子上看看它是如何工作的吧 。
神经网络可以通过学习得到函数的权重 。而我们仅靠观察是不太可能得到函数的权重的 。
让我们训练神经网络进行 1500 次迭代,看看会发生什么 。注意观察下面每次迭代的损失函数 , 我们可以清楚地看到损失函数单调递减到最小值 。这与我们之前介绍的梯度下降法一致 。
让我们看看经过 1500 次迭代后的神经网络的最终预测结果:
经过 1500 次迭代训练后的预测结果
我们成功了!我们应用前向和方向传播算法成功的训练了神经网络并且预测结果收敛于真实值 。
注意预测值和真实值之间存在细微的误差是允许的 。这样可以防止模型过拟合并且使得神经网络对于未知数据有着更强的泛化能力 。
下一步是什么?
幸运的是我们的学习之旅还没有结束,仍然有很多关于神经网络和深度学习的内容需要学习 。例如:
? 除了 Sigmoid 以外,还可以用哪些激活函数
? 在训练网络的时候应用学习率
? 在面对图像分类任务的时候使用卷积神经网络
我很快会写更多关于这个主题的内容,敬请期待!
最后的想法
我自己也从零开始写了很多神经网络的代码
虽然可以使用诸如 Tensorflow 和 Keras 这样的深度学习框架方便的搭建深层网络而不需要完全理解其内部工作原理 。但是我觉得对于有追求的数据科学家来说 , 理解内部原理是非常有益的 。
这种练习对我自己来说已成成为重要的时间投入,希望也能对你有所帮助
怎么利用python绘制sse值与k值的函数图像可以使用Python计算机图形学库matplotlib来绘制SSE值与K值的函数图像,具体步骤如下:
1.导入必要的库,例如matplotlib,numpy,scipy等 。
2.使用numpy和scipy生成k值与SSE值之间的矩阵,并将其存储到列表中 。
3.使用matplotlib绘制输入矩阵中包含的散点图,即k值与SSE值的函数图像 。
python函数图的绘制pre
importnumpy as np
import matplotlib.pyplot as plt
frommatplotlib.patches import Polygon
def func(x):
return-(x-2)*(x-8) 40
x=np.linspace(0,10)
y=func(x)
fig,ax = plt.subplots()
plt.plot(x,y,'r',linewidth=2)
plt.ylim(ymin=20)
a=2
b=9
ax.set_xticks([a,b])
ax.set_xticklabels(['$a$','$b$'])
ax.set_yticks([])
plt.figtext(0.9,0.05,'$x$')
plt.figtext(0.1,0.9,'$y$')
ix=np.linspace(a,b)
iy=func(ix)
ixy=zip(ix,iy)
verts=[(a,0)] list(ixy) [(b,0)]
poly = Polygon(verts,facecolor='0.9',edgecolor='0.5')
ax.add_patch(poly)
x_math=(a b)*0.5
y_math=35
plt.text(x_math,y_math,r"$\int_a^b(-(x-2)*(x-8) 40)dx$",horizontalalignment='center',size=12)
plt.show()
/pre
交叉熵损失函数是什么?平滑函数 。
交叉熵损失函数,也称为对数损失或者logistic损失 。当模型产生了预测值之后,将对类别的预测概率与真实值(由0或1组成)进行不比较 , 计算所产生的损失,然后基于此损失设置对数形式的惩罚项 。
在神经网络中,所使用的Softmax函数是连续可导函数,这使得可以计算出损失函数相对于神经网络中每个权重的导数(在《机器学习数学基础》中有对此的完整推导过程和案例,这样就可以相应地调整模型的权重以最小化损失函数 。
扩展资料:
注意事项:
当预测类别为二分类时,交叉熵损失函数的计算公式如下图,其中y是真实类别(值为0或1),p是预测类别的概率(值为0~1之间的小数) 。
计算二分类的交叉熵损失函数的python代码如下图,其中esp是一个极小值 , 第五行代码clip的目的是保证预测概率的值在0~1之间,输出的损失值数组求和后 , 就是损失函数最后的返回值 。
参考资料来源:百度百科-交叉熵
参考资料来源:百度百科-损失函数
python损失函数绘制的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于、python损失函数绘制的信息别忘了在本站进行查找喔 。

    推荐阅读