锐客网

  1. 首页 > 睿知 > it技术 > >

每日一问|每日一问07——什么是Softmax回归（和线性回归的区别是什么？）

机器学习每日一问线性回归回归

每日一问07 Question:什么是Softmax回归？和线性回归的区别是什么？
文章目录

  • 每日一问07
    • Question:什么是Softmax回归？和线性回归的区别是什么？
  • 回归 vs 分类
  • 从回归到多分类
    • 回归
    • 分类
    • 均方损失
    • 校验比例
    • Softmax和交叉熵损失
  • 总结
【每日一问|每日一问07——什么是Softmax回归（和线性回归的区别是什么？）】
回归 vs 分类
  • 回归估计一个连续值
  • 分类预测一个离散类别
从回归到多分类 回归
  • 单连续值输出
  • 自然区间R
  • 和真实值的区别作为损失
每日一问|每日一问07——什么是Softmax回归（和线性回归的区别是什么？）
文章图片

分类
  • 通常多个输出
  • 输出i时预测为第i类的置信度，并将值最大的输出所对应的类作为预测输出
每日一问|每日一问07——什么是Softmax回归（和线性回归的区别是什么？）
文章图片

均方损失
  • 对类别进行一位有效编码（非0即1）
    每日一问|每日一问07——什么是Softmax回归（和线性回归的区别是什么？）
    文章图片
  • 使用均方损失训练
  • 最大值作为预测
    每日一问|每日一问07——什么是Softmax回归（和线性回归的区别是什么？）
    文章图片
  • 需要更置信的识别正确类（预测值Oy和真实值Oi要足够小）
每日一问|每日一问07——什么是Softmax回归（和线性回归的区别是什么？）
文章图片

校验比例
  • 输出匹配概率（非负，和为1）
每日一问|每日一问07——什么是Softmax回归（和线性回归的区别是什么？）
文章图片

  • 概率y 和y_hat的区别作为损失
Softmax和交叉熵损失
  • 交叉熵常用来衡量两个概率的区别
每日一问|每日一问07——什么是Softmax回归（和线性回归的区别是什么？）
文章图片

  • 将交叉熵作为损失：
每日一问|每日一问07——什么是Softmax回归（和线性回归的区别是什么？）
文章图片

  • 其梯度是真实概率和预测概率的区别
每日一问|每日一问07——什么是Softmax回归（和线性回归的区别是什么？）
文章图片

总结
  • Softmax回归是一个多分类模型
  • 使用Softmax操作子得到每个累的预测置信度
  • 使用交叉熵来衡量和标号的区别

    推荐阅读


    上一篇：Python-OpenCv-人脸识别

    下一篇：深度学习知识总结|交叉熵函数