过拟合是由于对训练模型的过度拟合导致的模型的泛化能力降低，在多项式回归中，我们的degree过大就会导致过拟合
模型正则化能很好地解决帮助我们限制参数的大小，从而使我们的模型大大降低过拟合的风险。
在线性回归中，我们尽可能让MSE达到最小。如下图
文章图片
加入模型正则化之后，
我们的目标函数J就变成了：
文章图片
加入的MSE后面的公式就是我们添加的正则项。
在上面公式中，我们让整个公式尽可能的小。限制了theta值的数量和大小，来让我们整个J变得更小。
当alpha趋近于无穷大的时候，我们的theta值就趋近于0.
这就是我们Ridge Regression（岭回归） 或者是L2正则项
当然，我们的正则项式子也可以表示成：
文章图片
也就是我们所说的LASSO Regression 和L1正则项
在L1正则项中，有个很重要的概念就是，L1趋向于让我们的theta值变为0 。所以会有一个特征选择的作用
为什么会有特征选择的作用呢？
我们列出公式
文章图片
还有，有我们的L1，L2我们衍生出第三个式子，也就是我们的弹性网络
文章图片
添加一个r的超参数，综合了L1，L2的优缺点 ，关于L1，L2的优缺点，大家可以自行百度下
【2.6-模型正则化（Regularization）-限制参数的大小】
推荐阅读
- paddle|动手从头实现LSTM
- 人工智能|干货！人体姿态估计与运动预测
- 推荐系统论文进阶|CTR预估 论文精读(十一)--Deep Interest Evolution Network(DIEN)
- Python专栏|数据分析的常规流程
- 读书笔记|《白话大数据和机器学习》学习笔记1
- Pytorch学习|sklearn-SVM 模型保存、交叉验证与网格搜索
- Python机器学习基础与进阶|Python机器学习--集成学习算法--XGBoost算法
- 深度学习|深度学习笔记总结
- 机器学习|机器学习Sklearn学习总结
- 机器学习|线性回归原理与python实现