参考《统计学习方法》 李航 P61.三要素组成
机器学习=模型+策略+算法1.1模型 模型:判别模型,生成模型
具体参考:https://blog.csdn.net/qq_21768483/article/details/79697446
1.2策略 【机器学习三要素】策略即考虑用什么样的准则学习或者怎样的选择是最。通俗来说就是如何确定损失函数
1.2.1损失函数与风险函数
损失函数度量模型一次预测的好坏
风险函数度量平均意义下模型预测的好坏
常用损失函数:
风险函数 风险函数又被称为期望损失 R e x p R_{exp} Rexp?
- 0-1损失函数
- 平方损失函数
- 绝对损失函数
- 对数损失函数或对数似然损失函数
学习的目标就是选择最小 R e x p R_{exp} Rexp?的模型
经验风险R e m p R_{emp} Remp? 经验风险又被称为经验损失
根据大数定理,当样本数量N趋于无穷时R e m p R_{emp} Remp? 趋向于 R e x p R_{exp} Rexp?
学习的目标可以转换为选择最小 R e m p R_{emp} Remp? 的模型
但是通常样本的数量N有限,所以需要对 R e m p R_{emp} Remp? 校正
1.2.2 经验风险最小化与结构风险最小化
经验风险最小化ERM。 就是认为ERM最小的模型最好
结构风险最小化SRM。 加了正则化项,模型越复杂惩罚项越大。SRM越小模型越好
1.3算法 算法指学习模型的具体方法,如何与优化损失函数。例如梯度下降法,迭代法,概率计算公式,EM算法,拟牛顿法等等。
推荐阅读
- paddle|动手从头实现LSTM
- 人工智能|干货!人体姿态估计与运动预测
- 推荐系统论文进阶|CTR预估 论文精读(十一)--Deep Interest Evolution Network(DIEN)
- Python专栏|数据分析的常规流程
- 读书笔记|《白话大数据和机器学习》学习笔记1
- Pytorch学习|sklearn-SVM 模型保存、交叉验证与网格搜索
- Python机器学习基础与进阶|Python机器学习--集成学习算法--XGBoost算法
- 深度学习|深度学习笔记总结
- 机器学习|机器学习Sklearn学习总结
- 机器学习|线性回归原理与python实现