这篇文章主要记录了计算机视觉中的图像识别、目标检测、图像分割任务中主要会用到的几个评价指标,以备不时查阅。
图像识别评价指标
在二分类问题中,总共有P个正样本,N个负样本。经过分类算法后,其中有tp个正样本被正确检测为阳性,tn个负样本被检测为阴性,fp个正样本被检测为假阴性,fn个负样本被检测为假阳性。
正样本 | 负样本 | |
检测阳性 | tp | fn |
检测阴性 | fp | tn |
准确率
accuracy = \( \frac{tp+tn}{tp+fn+fp+tn} \)
召回率
recall = \( \frac{tp}{tp+fn} \)
虚警率
alarm = \( \frac{fp}{tp+fp} \)
目标检测评价指标
精度
precision = \( \frac{tp}{tp+fp} \)
PR曲线(precision recall)
改变iou或其他阈值,算法的recall和precision会同时变化,形成一条曲线。文章中常常使用PR曲线以表现算法在Precision和Recall之间的权衡。
平均精度(average precision与mean AP mAP)
AP指的是PR曲线(precision-recall)曲线下方的面积,对一个分类器来说,AP值越高(面积接近于1),表示分类性能越强。实际计算中,常常用PR曲线简化后的分段线性函数计算面积。用于表示某个类别的准确程度。而mAP则需要所对所有类的AP计算平均值。越大则表示算法的性能越好。
IoU(intersection over union)
即预测框与目标框的重合程度,IoU=\( \frac{Area(P \cap G)} {Area(P \cup G)} \)为一个0和1之间的数字,其中P和G分别为预测框和标注框,Area表示计算该集合的面积。
ROC曲线
ROC曲线(Receiver Operating Characteristic)指的是假阳性率和真阳性率组成的曲线,横坐标为FDR(false positive rate \( \frac{fp}{fp+fn}\))代表所有负样本中错误预测成正样本的概率,纵坐标为TPR(true positive rate \( \frac{tp}{tp+fn} \))代表所有正样本中正确预测的概率。当测试集中的正负样本对比发生变化的时候,ROC曲线能够保持不变。
AUC指标
AUC(area under curve)即ROC曲线下方的面积,面积越大,即越接近于1,表示分类器的性能越好。
图像分割评价指标
像素精度(pixel accuracy)
即正确的像素占总像素的比例 \( PA=\frac{\sum_{i=0}^{k} P_{ii}} {\sum_{i=0}^{k} \sum_{j=0}^{k} Pij} \)其中k为类别的总数,Pij表示第i类的样本被分成了第j类的像素数量。在正负样本不均衡的情况下,pixel accuracy是一个不合适的评价指标。
均像素精度(mean pixel accuracy)
对每个类计算像素精度,再求平均值。 \( MPA=\frac{1}{k+1} \sum_{i=0}^{k} \frac{ P_{ii}} { \sum_{j=0}^{k} Pij} \)
均交并比(mean intersection over union)
在每个类别上计算IOU,然后计算平均数。\( MIoU = \frac{1}{k+1} \sum_{i=0} ^{k} \frac{ P_{ii} } { \sum_{j \neq i} (P_{ij} + P_{ji}) + P_{ii} } \)
加权交并比(frequency weighted intersection over union)
根据每个类的频率,优化了均交并比 \( FWIoU = \frac{1}{\sum_{i=0}^k\sum_{j=0}^k P_{ij}} \sum_{i=0} ^{k} \frac{ P_{ii} \sum_{j=0}^k P_{ij} } { \sum_{j \neq i} (P_{ij} + P_{ji}) + P_{ii} } \)