2模型评估与选择

性能度量

二分类任务的 混淆矩阵 和 其衍生的度量指标

True Positive （真正, TP） 被模型预测为正样本，是真的判断正确。所以就是正样本，也称作正的数。

True Negative（真负 , TN）被模型判断为负样本，是真的判断正确。所以就是负样本，也称作负的数。

False Positive （假正, FP）被模型判断为正样本，是假的判断错误。所以应该是负样本，也称作误报数。

False Negative（假负 , FN）被模型判断为负样本，是假的判断错误。所以应该是正样本，也称作漏报数。

1）常用的3个指标（多用于交叉验证）

• accuracy（准确率）——检验模型预测的正确率 $$A=\frac {TP+TN}{ALL}$$

预测正确个数/全部样本数

• precision（精确率）——检验模型预测正例的正确率 $$P=\frac {TP}{TP+FP}$$

预测正确的正样本数 / 预测为的正样本数

• recall/TPR（召回率/真正率）——检验模型正例预测的全面性 $$R\ /\ TPR=\frac {TP}{TP+FN}$$

预测正确的正样本数 / 真实的正样本数

2）不常用的3个指标（多用于绘图）

• specificity（特异性/真负率）——检验模型负例预测的正确率 $$S=\frac {TN}{TN+FP}$$

预测正确的负样本数 / 真实的负样本数

• FPR（假正率）——用于和TPR一起绘制ROC曲线 $$FPR=\frac {FP}{TN+FP}$$

预测错误的正样本数 / 真实的负样本数

• FNR（假负率）——用的少 $$FNR=\frac {FN}{TP+FN}$$

预测错误的负样本数 / 真实的正样本数