个人笔记——机器学习.最小二乘法
最小二乘法（LSM）学习与理解 1.方法意义
最小二乘法是一种用来求解回归模型的方法，通过实现使残差平方和最小化的目标来确保模型具有最佳的拟合度。
2.方法的数学推导
文章图片
(1)(
文章图片
为m维向量)
文章图片
(2)
文章图片
(3)
文章图片
(4)
文章图片
(5)
文章图片
(6)
文章图片
(7)
建立目标函数：
文章图片
对
文章图片
分别求
文章图片
、
文章图片
的偏导：
文章图片
(8)
以一维的
文章图片
为例，由上述等式可以得到两组方程：
文章图片
(9)
文章图片
(10)
可分别求出：
文章图片
(11)
文章图片
(12)
3.矩阵表达
多元回归模型系数众多，利用矩阵可简洁表达。
文章图片
(1)
文章图片
(2)
文章图片
(3)
(推导过程可参考https://blog.csdn.net/monsterhoho/article/details/46753673和张贤达教授《矩阵分析》)
参考文献：《atistical and Econometric Methods for Transportation Data》，Simon P. Washington
【个人笔记——机器学习.最小二乘法】《矩阵分析》，张贤达
推荐阅读
- 一个人的旅行，三亚
- 急于表达——往往欲速则不达
- 慢慢的美丽
- 《真与假的困惑》???|《真与假的困惑》??? ——致良知是一种伟大的力量
- EffectiveObjective-C2.0|EffectiveObjective-C2.0 笔记 - 第二部分
- 一个人的碎碎念
- 2019-02-13——今天谈梦想（）
- 七年之痒之后
- 考研英语阅读终极解决方案——阅读理解如何巧拿高分
- Ⅴ爱阅读，亲子互动——打卡第178天