锐客网

  1. 首页 > it技术 > >

导数、偏导数、方向导数、梯度、梯度下降

导数 设有一元函数
?
则函数在点处的导数为
?
求出来的值是在处沿方向的变化率即
?
也是在处的切线的斜率
【导数、偏导数、方向导数、梯度、梯度下降】如果函数有极小值，那么使不断沿着切线方向减少，可以得到使最小的
即通过下面的迭代，算出来的可以使最小
?
其中是步长，即沿切线方向变化的大小，必须取一个很小的值


偏导数 设有多元函数
?
?
则函数在点处沿方向的偏导数为
?
?
?
求出来的值是在处沿方向的变化率即
?
?
?
也是在处沿方向的切线的斜率（函数在处有不同方向的多条切线）
计算过程是只把一个坐标轴当成变量，其他轴当成常量，这样变成对一元函数求导
其实偏导就是对多元函数的某个二维切面求导
?
举个简单的例子
?
?
该函数是一个以坐标原点为顶点的旋转抛物面

导数、偏导数、方向导数、梯度、梯度下降
文章图片

求在方向的偏导，就是把当常数然后求导，结果为
?
?
实际上固定得到的是一个二维切面，这个切面实际上是一条抛物线
该抛物线形状不受取值的影响， 的变化影响的是抛物线的位置
就像在处的导数即切线斜率不受值的影响
?
可以看到导数和偏导数本质上是一样的，都是求函数值沿某个坐标轴方向的变化率
只不过导数针对一元函数，偏导数针对多元函数


方向导数 偏导数只能求函数值在某个坐标轴方向的变化率，方向导数则是求函数值在任意方向的变化率
?
设有多元函数
?
?
则函数在点处沿任意方向的导数为
?
?
?
其中
?
?
? 的方向由各个值的比例关系决定
?
可以看到偏导数是方向导数的一个特例，即只在一个方向上有值的话就是偏导数
?
将转换为余弦向量，可以通过偏导数求出方向导数
比如
?
要求导的点为
?
要求导的方向为
?
的长度为
?
转为余弦向量
?
则有
?
???
???
???


梯度 方向导数是为了求函数值在某个点沿某个方向的变化率
梯度则是为了求函数值在某个点处变化率最大的方向，梯度由各个轴的偏导函数组成
设有多元函数
?
其在处的梯度为
?
?
可以看到梯度是一个向量，代表函数值变化率最大的方向
并且该梯度向量在每个轴的分量是函数在该轴的偏导数


梯度下降 如果函数有极小值，那么使不断沿着梯度方向减小，可以得到使最小的
即通过下面的迭代，算出来的可以使最小
??
其中是步长，即沿梯度方向变化的大小，必须取一个很小的值




    推荐阅读


    上一篇：境随心转，境由心生——《土拨鼠之日》影评

    下一篇：暖意