ml-正则化(regularization)
过拟合(over-fitting)
过拟合:过于强调拟合原始数据,而丢失了算法的本质:预测新数据。
文章图片
欠拟合 恰好 过拟合 三者对比 分类问题中也存在类似的问题:
文章图片
解决办法:
- 丢弃一些不能帮助正确预测的特征
手工选择保留哪些特征或者使用一些模型选择的算法(例如PCA) - 正则化(magnitude)
保留所有的特征,但是减少参数的大小。
文章图片
回归模型 【ml-正则化(regularization)】正是高次项导致了过拟合的产生。
目标
:让高次项系数接近于0。修改代价函数:
文章图片
为和设置惩罚
问题
:并不知道其中哪些特征需要惩罚思路
:对所有特征进行惩罚,让代价函数最优化的软件来选择这些惩罚的程度。文章图片
注:通常不对进行惩罚。
文章图片
分析:
- 过大,除以外其他所有参数都较小,模型变成,是一条平行于的直线,导致欠拟合。
文章图片
- 梯度下降求解
文章图片
可以看到,每次除了以外均在原有的算法更新规则的基础上减少了一个额外的值。
- 正规方程求解
文章图片
正则化的逻辑回归模型 对于逻辑回归,也给代价函数增加一个正则化的表达式,得到:
文章图片
增加一项
计算过程同上文的线性回归,但是由于模型不同,所以二者有本质不同。
注意:
不参与任何一个正则化。
推荐阅读
- parallels|parallels desktop 解决网络初始化失败问题
- 第326天
- 牛人进化+|牛人进化+ 按自己的意愿过一生
- MongoDB,Wondows下免安装版|MongoDB,Wondows下免安装版 (简化版操作)
- 松软可口易消化,无需烤箱超简单,新手麻麻也能轻松成功~
- Python爬虫|Python爬虫 --- 1.4 正则表达式(re库)
- 为什么孩子一定要学会可视化思维!
- 试论化院的学生自组织
- 【变化】我的青椒学习之旅
- 中国MES系统软件随工业化成长