线性代数|G.Jerry的最速下降法笔记
该笔记初衷为期末复习所用，引用出处均已注明，涉及个人理解部分如果有不对之处，还请批评指正，俺会虚心接受滴！
1. 应用范围
无约束优化问题。
2. 相关定义(因为俺的基础比较差所以多给出一些定义，引用于https://www.zhihu.com/question/36301367/answer/156102040)
定义1偏导数：如图1所示，在xy平面中，存在平行于x轴(或y轴)的绿色直线和与其共面的蓝色曲线，关于这条曲线的红色切线的斜率。
文章图片
图1
定义2方向导数：
文章图片
，其意义为：f(x)在点x(k)处，沿方向d的变化率。即图2中红色直线的斜率。
注：在二维坐标系中，过某一点的切线只有一条；在三维坐标系中，过某一点的切线有很多条，它们可以组成一个切平面。因此，对于三维图像中的某一点，只有先确定一个方向d(方向向量)，才能找到与d重合或共面的唯一切线，其斜率记为f(x)沿d方向的导数。
已知直线可以向两个方向无限延伸，那么沿一个方向取得方向导数的最大值，沿反方向取得方向导数的最小值。
文章图片
【线性代数|G.Jerry的最速下降法笔记】图2
梯度是一个矢量，它的方向是方向导数中取到最大值的方向，它的大小是方向导数的最大值。
那么，方向导数在什么方向最大？在图4中，方向导数最大<=>梯度方向<=>↙最陡峭↗(该句看不懂请忽略)。以小和尚下山为例，沿最陡峭的路线走时，小和尚下得最快。因此，沿着梯度方向函数值增长最快，沿着负梯度方向函数值减少最快。
定义3全导数：通过图3来简单体会一下。(本节用不上)
文章图片
图3
那么，它们的数值如何计算呢？百度说这么算！
文章图片
3. 原理
举个栗子！此刻，Jerry和Tom在山顶，分别想去往山谷的两个最低处看湖。可是它们戴的头灯只能照亮一步远，只好摸索着向下走。这时，Jerry灵光乍现想起“最速下降法”！于是它每次沿着一个方向向下走一步；根据陡峭长度不同，Jerry每步的长度也不同，大约按照图中路线可以最快抵达。显然，它的路线可以用行进的方向和步长来阐述。
文章图片
图4(介个图也是前方参考的大聪明作者画的！)
猜猜Jerry到底走的是哪个方向？设f(x)连续可微，函数值递减<=>方向导数为负。方向导数最小的方向<=>↖梯度↘反方向=坡度最陡=函数值下降最快。因此，f(x)在点x(k)处的搜索方向满足：方向导数最小。
猜猜Jerry每走了多长？记当前落脚点
文章图片
与下一步落脚点 
文章图片
之间的距离为步长λ，记下一步落脚点为
文章图片
，即
文章图片
的极小点。此时，Jerry沿着最陡峭的方向一步下落至它所能及的最低处。于是，当
文章图片
时
文章图片
取得极小点，这就可以求出Jerry的步长。同时，
文章图片
又表明 
文章图片
和
文章图片
存在正交关系。
3.步骤
总之呢就是，先找到一个初始点，每个点按照规定的步长和方向去延伸，当精度要求满足时停下！这里附上俺们教材上的步骤。
文章图片
2021.09.24
推荐阅读
- 热闹中的孤独
- JAVA（抽象类与接口的区别&重载与重写&内存泄漏）
- 放屁有这三个特征的，请注意啦！这说明你的身体毒素太多
- 一个人的旅行，三亚
- 布丽吉特，人生绝对的赢家
- 慢慢的美丽
- 尽力
- 一个小故事，我的思考。
- 家乡的那条小河
- 《真与假的困惑》???|《真与假的困惑》??? ——致良知是一种伟大的力量