吴恩达机器学习笔记|机器学习（4）正规方程
正规方程
正规方程的介绍 梯度下降算法通过不断迭代调整θ值，使得损失函数J(θ)最终收敛，最终得到最佳匹配数据的函数。而正规方程法则是直接求出θ值。
1.直接法：
比较直接的是通过求偏导得到θ值。如下图：
文章图片
这种方法很明显有很大的缺陷。适用于特征量比较少的问题，即变量θ比较少时，比较方便。但是在实际问题中，一个模型的特征量可能有几百，几万个，这时候求偏导就不方便了。
2.正规方程：
直接把变量θ看成实数，而正规方程则是通过向量来求解问题。举个例子：
文章图片
构建两个 X,y的矩阵。而向量θ的求解公式为：
文章图片
通过正规方程求解时，无需对特征量进行特征放缩。
梯度下降和正规方程的选择
梯度下降的优缺点：
缺点：
需要选择合适的学习率α。
需要迭代很多次，每次迭代都需要遍历整个样本集。
优点：
当特征量比较大，比如百万级时都能顺利求解。
正规方程的优缺点：
【吴恩达机器学习笔记|机器学习（4）正规方程】优点：
无需选择学习率α。
无需迭代。
缺点：
需要计算X的转置和X乘积的逆，当n比较大时，计算会很慢。
总结
当特征量在一万以下，建议使用特征方程法。高于这个量级根据配置酌情考虑。
推荐阅读
- 由浅入深理解AOP
- 继续努力，自主学习家庭Day135(20181015）
- python学习之|python学习之 实现QQ自动发送消息
- 一起来学习C语言的字符串转换函数
- 定制一套英文学习方案
- 漫画初学者如何学习漫画背景的透视画法（这篇教程请收藏好了！）
- 《深度倾听》第5天──「RIA学习力」便签输出第16期
- 如何更好的去学习
- 【韩语学习】（韩语随堂笔记整理）
- 焦点学习田源分享第267天《来访》