机器学习|（机器学习周志华西瓜书南瓜书）吃瓜教程 Task02 机器学习|西瓜书

- 第三章线性模型
- - 3.1基本形式
  - 3.3对数几率回归
  - 3.5 多分类学习

第三章线性模型 3.1基本形式

文章图片

解读：计算不同特征xi的权重，加上截距b，训练出线形模型
为什么要加上截距？举例：如果只有x1 x2，那不加截距，不论怎么改变它们俩的权重，得到的直线 y 都只会绕着原点旋转。这样拟合数据的能力是有限的。而加上截距b以后，这跟直线就能上下移动了，能更灵活进行拟合。
3.3对数几率回归
进行二分类任务的时候经常看到这个sigmoid函数，就是形状像s的函数。分类如图所示：红色是单位跃阶函数，黑色是对数几率函数。

文章图片

单位跃阶函数不连续，而对数几率函数单调可微。
思考：也许是因为可以计算概率/赔率作为解决问题的“奖励”？
3.5 多分类学习
下图是书中画的分类时一对一（OvO one vs. one）和一对多（OvR one vs. Rest）的区别：

文章图片

左边是一对一，也就是两两比较后投票，票数最多的为分类结果；右边是一对多，举例简单说就是看成“猫类”和“非猫类”，狗、猪、猴等都是“非猫类”。+号或者最大置信度为分类结果。
【机器学习|（机器学习周志华西瓜书南瓜书）吃瓜教程 Task02】这时候可以考虑一下计算性能，因为左边需要生成N(N-1)/2个分类器，而右边只需要N个。