吴恩达机器学习笔记|机器学习（6）过度拟合与正则化
过度拟合与正则化
过度拟合
1.什么是过度拟合
由图所示：
文章图片
第一张图，只用的一阶多项式，不能很好的拟合数据集，这种情况称为 欠拟合
第二张图，用的二阶多项式，比较好的拟合了数据集。
第三张图，比较极端，为了完全更好的拟合数据集，使用了四阶多项式。很明显它只对现有样本做了很好的拟合，而并不能很好地泛化，这样的问题，我们称之为过渡拟合。（泛化：指的是一个假设模型能够应用到新样本的能力）
下图案例也是：
文章图片
第三张图的模型太过于复杂了。
总之，在假设模型是，要尽可能的简单，不能为了拟合数据，假设高阶次，多参数，过于复杂的模型，使其不能不具有好的泛化功能。
2.过度拟合的解决思路
一是减少特征量。但也会造成一些特征没被使用导致预测不准。
二是正则化。主要思想是尽可能的减少参数θ的取值，它可以让每个特征都参与到结果的预测中。
正则化
正则化的运作过程
以上图为例：
文章图片
虽然图二存在过度拟合的问题，但我们可以通过添加惩罚来使高次项的参数θ_3，θ_4尽可能的小，最好约等于0。这样它就相当于是左边的二阶方程，但是比它更拟合数据。
但是在实际问题中，不知道该对哪些参数添加惩罚使其变小，**可以把所有的参数都变小。**对原来的损失函数进行修改，添加一个额外的正则化项，
文章图片
λ是正则化参数，它的目标是：平衡 左边拟合数据 与 右边尽可能减小参数 这两者的关系。
但是λ不能设置的过大，否则会出现下面的情况：
文章图片
因为不惩罚θ_0，λ过大，其他参数值就会趋向0，使模型最终的结果都为θ_0，这显然是错误的。
线性回归的正则化
线性回归的两种算法：梯度下降和正规方程 为了解决过度拟合需要对算法稍微变化一点。
1.梯度下降 前面已经介绍了对损失函数添加一个正则化项来处理：
文章图片
只需再进行微积分处理即可：
文章图片
这里只对除θ_0的参数进行处理，有图可知 θ_j每次都会乘以一个比1小一点点的数，每次迭代都会稍微减小 θ_j。
2.正规方程 直接在原来的公式的基础上加个项：
文章图片
逻辑回归的正则化
【吴恩达机器学习笔记|机器学习（6）过度拟合与正则化】公式和线性回归的梯度下降正则化相同：
文章图片
但是其中的hθ(x)不一样，逻辑回归中是：Sigmoid函数
推荐阅读
- 由浅入深理解AOP
- 继续努力，自主学习家庭Day135(20181015）
- python学习之|python学习之 实现QQ自动发送消息
- 一起来学习C语言的字符串转换函数
- 定制一套英文学习方案
- 漫画初学者如何学习漫画背景的透视画法（这篇教程请收藏好了！）
- 《深度倾听》第5天──「RIA学习力」便签输出第16期
- 如何更好的去学习
- 【韩语学习】（韩语随堂笔记整理）
- 焦点学习田源分享第267天《来访》