机器学习之分类的评估方法机器学习

分类的评估方法
1 精确率和召回率

混淆矩阵
在分类任务下，预测结果（Predict Condition）与正确标记（True Condition）之间存在四种不同的组合，构成混淆矩阵（适用于多分类）

文章图片
精确率（Precision）与召回率（Recall）
（1）精确率：预测结果为正例样本中真实为正例的比例（了解）
精确率= T P T P + F P \frac{TP}{TP+FP} TP+FPTP?

文章图片

（2）召回率：真实为正例的样本中预测结果为正例的比例（对正样本的区分能力，差的全不全）
召回率= T P T P + F N \frac{TP}{TP+FN} TP+FNTP?
（3）F1-score，反映了模型的稳健性
F1= 2 T P 2 T P + F N + F P = 2 P r e c i s i o n ? R e c a l l P r e c i s i o n + R e c a l l \frac{2TP}{2TP+FN+FP}=\frac{2Precision*Recall}{Precision+Recall} 2TP+FN+FP2TP?=Precision+Recall2Precision?Recall?
分类评估报告API
sklearn.metrics classification_report(y_true,y_pred,labels=[],target_name=None)
y_true：真实目标值
y_pred：估计器预测目标值
labels：指定类别对应的数字
target_name：目标类别名称
return：每个类别精确率与召回率

假设这样一个情况，如果99个样本癌症，1个样本非癌症，不管怎样我全都预测正例（默认癌症为正例），准确率就为99%，但是这样效果并不好，这就是样本不均衡下的评估问题。
准确率：99%
召回率：100%
精确率：99%
F1-score：2*99%*100%/199%=99.497%
工厂里面的质量检测，关注的也是次品的召回率。
问题：如何衡量样本不均衡下的评估？
ROC曲线和AUC指标（衡量样本在不均衡的情况下好不好）

知道TPR与FPR
TPR=TP/(TP+FN)-----所有真实类别为1的样本中，预测类别为1的比例
FPR=FP/(FP+TN)----所有真实类别为0的样本中，预测类别为1的比例
ROC曲线
图中的蓝色为ROC曲线，ROC曲线的横轴就是FPRate，纵轴就是TPRate，当二者相等时，表示的意义则是：对于不论真实类别是1还是0的样本，分类器预测为1的概率是相等的，此时AUC为0.5。

文章图片
AUC指标
（1）AUC的概率意义是随机取一对正负样本，正样本得分大于负样本的概率
（2）AUC的最小值为0.5，最大值为1，取值越高越好
（3）AUC=1，完美分类器，采用这个预测模型时，不管设定什么阈值都能得出完美的预测。绝大多数的预测场合，不存在完美分类器
（4）0.5 （5）最终AUC的范围在[0.5，1]之间，并且越接近1越好。
注意：如果AUC<0.5，反过来看。
AUC计算API
sklearn.metrics import roc_auc_score(y_true,y_score)
计算ROC曲线的面积，即AUC值
y_true：每个样本的真实类别，必须为0（反例），1（正例）标记
y_score：预测的分，可以是正类的估计概率、置信值或者分类器方法的返回值

案例：癌症分类预测结合上一个逻辑回归的癌症分类预测的案例，对于预测的结果使用精确率和召回率以及AUC进行评估，代码如下：

#查看精确率、召回率、F1-score from sklearn.metrics import classification_report report = classification_report(y_test,y_predict,labels=[2,4],target_names=["良性","恶性"]) print(report)

【机器学习之分类的评估方法】结果：

文章图片

#计算ROC和AUC #y_true：每个样本的真实类别，必须为0（反例），1（正例）标记 #将y_test转换成0/1 y_true = np.where(y_test>3,1,0) from sklearn.metrics import roc_auc_score roc_auc_score(y_true,y_predict)

结果：