机器学习|机器学习笔记——逻辑回归

决策函数:sigmoid
机器学习|机器学习笔记——逻辑回归
文章图片


损失函数:cross-entropy
机器学习|机器学习笔记——逻辑回归
文章图片




机器学习|机器学习笔记——逻辑回归
文章图片

为什么不用平方误差做损失函数?
机器学习|机器学习笔记——逻辑回归
文章图片


因为我们希望接近最优解的地方梯度小,而远离最优解的地方梯度大。从下图可以看出来,平方误差不满足我们的要求。平方误差在这里不好用是因为sigmoid的导数有一个f项,线性回归使用平方误差就没有这个问题。
机器学习|机器学习笔记——逻辑回归
文章图片






机器学习|机器学习笔记——逻辑回归
文章图片




机器学习|机器学习笔记——逻辑回归
文章图片


逻辑回归的缺点:对数据严格线性不可分的情况无能为力。
机器学习|机器学习笔记——逻辑回归
文章图片


解决办法:特征转换,使得转换后的数据线性可分。转换规则一般不好设定,有一种方法是级联逻辑回归模型,或者用核方法。
机器学习|机器学习笔记——逻辑回归
文章图片


【机器学习|机器学习笔记——逻辑回归】

    推荐阅读