【机器学习基础】Least squares最小二乘法
最小二乘法是求线性回归问题最基础的方法之一，最近花了一点时间深入研究了一下，然后简单的整理一下思路。
先从一个简单的例子开始，对于点A（1，1），B（2，2），C（3,2）
拟合出一条直线 y = C + D x
文章图片
首先我们把这三个点带入直线方程，写成矩阵的形式。 
文章图片
现在得到一个矩阵方程 
文章图片
文章图片
通过矩阵我们得到了两个方程，两个变量对应两个方程组，这样我们可以分别解出这两个方程组，对于斜率D，我们可以得到
文章图片
通过观察，我们继续对D进行变形， 
文章图片
这样我们就得到了求解斜率的公式。同理，我们也可以得到C的公式。
本来推到这里已经结束了，但是如果仔细思考一下，会发现哪里有些不对劲，对于给定的直线方程，这三个点都没办法在这条直线上，那我们为什么还要将点的坐标带入方程里去呢？
下面是Least Squares的核心思想，我们首先引入均方差（Square Loss）这个概念。 
文章图片
这里R2是关于C,D 的凸函数，所以当它关于C,D 的导数均为0时，得到C,D的最优解。
文章图片
这时我们可以发现这里得到的两个方程正是之前矩阵变换得到的两个方程，即这两个方程就是求最优解的方程。
文章图片
我们可以直接通过方程来得到所求直线方程的两个参数。
参考文档：Least Squares Fitting
【【机器学习基础】Least squares最小二乘法】参考视频：MIT线性代数相关课程
推荐阅读
- 宽容谁
- 我要做大厨
- 增长黑客的海盗法则
- 画画吗（）
- 2019-02-13——今天谈梦想（）
- 远去的风筝
- 三十年后的广场舞大爷
- 叙述作文
- 20190302|20190302 复盘翻盘
- 学无止境，人生还很长