分类精度评价（混淆矩阵+总体精度OA、F1值等）
整理 归纳 举例 记录一下
（一）混淆矩阵
混淆矩阵也称误差矩阵，是表示精度评价的一种标准格式，用n行n列的矩阵形式来表示。
Predicted as Positive（预测-正例）Predicted as Negative（预测-反例）
Labeled as Positive （真实-正例）True Positive(TP-真正例)False Negative(FN-假反例)
Labeled as Negative （真实-反例）False Positive(FP-假正例)True Negative(TN-真反例)
TP：真正，被模型分类正确的正样本 【预测为1 实际为1】
FN：假负，被模型分类错误的正样本 【预测为0 实际为1】
FP：假正，被模型分类错误的负样本 【预测为1 实际为0】
TN：真负，被模型分类正确的负样本 【预测为0 实际为0】
计算评价指标：
Precision查准率、精确率：分类正确的正样本个数占分类器分成的所有正样本个数的比例
Recall查全率、召回率：分类正确的正样本个数占正样本个数的比例
F1值：
F1度量的一般形式是：
度量了查全率对查准率的相对重要性
时退化为标准的F1
时查全率有更大影响
时查准率有更大影响
F1是基于查全率和查准率的调和平均定义的如下：
or
TPR:真正例率
FPR:假正例率
ROC曲线：
根据学习器的预测结果对样例进行排序，按此顺序逐个把正例进行预测，每次计算出真正例率、假正例率，并以真正例率为纵轴，假正例率为横轴，即得到ROC曲线
总体分类精度（Overall Accuracy）:分类正确的样本个数占所有样本个数的比例
或
Kappa系数：
- - - - - - - - - - - - - - - - - - - - - - -- - - -- - - - - - - - - - - - - - - -- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
（二） 例：单位/像素（pixel）
class水体林地耕地未利用地居民地总计
水体257920024425838
林地8016825297684132419210
耕地5196027424381154239583
未利用地3100963848710156
居民地3230491333055131056
总计2674516885277701049543948125843
林地Predicted as PositivePredicted as Negative
Labeled as Positive16825(TP)2385(FN)
Labeled as Negative60(FP)93405(TN)
林地-精确率P：
P = （16825）/（16825+60）= 0.9964
林地-召回率R：
R = （16825）/（16825+2385）= 0.8758
林地-F1值：
总体精度： 正确分类的像元总和除以总像元数。被正确分类的像元数目沿着混淆矩阵的对角线（红色字体）分布，总像元数等于所有真实参考源的像元总数 （蓝色字体）
OA = （110230/125843）=87.5933%
Kappa系数：通过把所有真实参考的像元总数（N）乘以混淆矩阵对角线（Xii）的和，再减去各类中真实参考像元数与该类中被分类像元总数之积之后，再除以像元总数的平方减去各类中真实参考像元总数与该类中被分类像元总数之积对所有类别求和的结果。
K = 0.8396
- - - - - - - - - - - - - - - - - - - - - - -- - - -- - - - - - - - - - - - - - - -- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
（三）Python求混淆矩阵
导入库：
from sklearn import metrics
from sklearn.metrics import confusion_matrix
from sklearn.metrics import classification_report
类似例子代码见：
计算一幅图像中不同地物的分类精确度（以像素为单位）
计算分类结果图与标准参考图混淆矩阵
对分类结果进行P值、R值、F1值等的评价
https://download.csdn.net/download/m_try/10450455
【分类精度评价（混淆矩阵+总体精度OA、F1值等）】
参考：
http://blog.sina.com.cn/s/blog_670ee7720102vjxg.html
https://blog.csdn.net/fisherming/article/details/79356949
- - - - - - - - - - - - - - - - - - - - - - -- - - -- - - - - - - - - - - - - - - -- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
分享，多担待。望有帮助
————————————————
版权声明：本文为CSDN博主「M_try」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/M_try/article/details/81355148
推荐阅读
- jQuery插件
- 1.2序列通用操作
- 2020-08-25冷焊机补轴，温度低精度高，焊后手可以摸，内应力小不变形
- 茶叶分类（五）（茶叶分为六大类，做茶的人只分两类）
- 权限管理-linux常用命令大全[功能分类]
- 基金课程学习笔记分享-2（基金的分类）
- python对数据进行分类|python对数据进行分类、文件是csv文件_用Python将处理数据得到的csv文件分类（按顺序）保存...
- 数据库设计小知识
- 震撼！洛阳开始垃圾分类啦！
- 《繁凡的深度学习笔记》|一文绝对让你完全弄懂信息熵、相对熵、交叉熵的意义《繁凡的深度学习笔记》第 3 章 分类问题与信息论基础（中）（DL笔记整理