分类模型性能的评判方法-ROC分析
一、混淆矩阵
文章图片
二、引入ROC曲线
文章图片
如上第一幅图，蓝色高斯表示真实值为阴性，红色高斯表示真实值为阳性。A，B，C代表不同的阈值，阈值线左边表示预测值为阴性，阈值线右边表示预测值为阳性。阈值从A到C，由此绘制处第二幅图的曲线（粗线），也即ROC曲线。
文章图片
ROC曲线中，
横坐标：假阳性率，FPR = FP/(FP+TN)
纵坐标：正阳性率（召回率），TPR = TP/(TP+FN)
曲线距离左上角越近，说明分类器效果越好。我们用一个标量值AUC来量化它。
三、AUC
AUC值为ROC曲线所覆盖的区域面积，显然，AUC越大，分类器分类效果越好。
AUC = 1，是完美分类器，采用这个预测模型时，不管设定什么阈值都能得出完美预测。绝大多数预测的场合，不存在完美分类器。
0.5 < AUC < 1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。
【分类模型性能的评判方法-ROC分析】AUC = 0.5，跟随机猜测一样（例：丢铜板），模型没有预测价值。
AUC < 0.5，比随机猜测还差；但只要总是反预测而行，就优于随机猜测。
推荐阅读
- jQuery插件
- Flutter的ListView
- 数据库|SQL行转列方式优化查询性能实践
- 一般模型化关系——从模型是什么到如何起作用的基本答案
- 性能测试中QPS和TPS的区别
- 1.2序列通用操作
- javascript|javascript 性能测试笔记
- Pytorch学习|sklearn-SVM 模型保存、交叉验证与网格搜索
- 旅途碎碎念
- jvm|【JVM】JVM08(java内存模型解析[JMM])