分类
笔记

算法评价指标

这篇文章主要记录了计算机视觉中的图像识别、目标检测、图像分割任务中主要会用到的几个评价指标,以备不时查阅。

图像识别评价指标

在二分类问题中,总共有P个正样本,N个负样本。经过分类算法后,其中有tp个正样本被正确检测为阳性,tn个负样本被检测为阴性,fp个正样本被检测为假阴性,fn个负样本被检测为假阳性。

正样本负样本
检测阳性tp fn
检测阴性fptn

准确率

accuracy = \( \frac{tp+tn}{tp+fn+fp+tn} \)

召回率

recall = \( \frac{tp}{tp+fn} \)

虚警率

alarm = \( \frac{fp}{tp+fp} \)

目标检测评价指标

精度

precision = \( \frac{tp}{tp+fp} \)

PR曲线(precision recall)

改变iou或其他阈值,算法的recall和precision会同时变化,形成一条曲线。文章中常常使用PR曲线以表现算法在Precision和Recall之间的权衡。

平均精度(average precision与mean AP mAP)

AP指的是PR曲线(precision-recall)曲线下方的面积,对一个分类器来说,AP值越高(面积接近于1),表示分类性能越强。实际计算中,常常用PR曲线简化后的分段线性函数计算面积。用于表示某个类别的准确程度。而mAP则需要所对所有类的AP计算平均值。越大则表示算法的性能越好。

IoU(intersection over union)

即预测框与目标框的重合程度,IoU=\( \frac{Area(P \cap G)} {Area(P \cup G)} \)为一个0和1之间的数字,其中P和G分别为预测框和标注框,Area表示计算该集合的面积。

ROC曲线

ROC曲线(Receiver Operating Characteristic)指的是假阳性率和真阳性率组成的曲线,横坐标为FDR(false positive rate \( \frac{fp}{fp+fn}\))代表所有负样本中错误预测成正样本的概率,纵坐标为TPR(true positive rate \( \frac{tp}{tp+fn} \))代表所有正样本中正确预测的概率。当测试集中的正负样本对比发生变化的时候,ROC曲线能够保持不变。

AUC指标

AUC(area under curve)即ROC曲线下方的面积,面积越大,即越接近于1,表示分类器的性能越好。

图像分割评价指标

像素精度(pixel accuracy)

即正确的像素占总像素的比例 \( PA=\frac{\sum_{i=0}^{k} P_{ii}} {\sum_{i=0}^{k} \sum_{j=0}^{k} Pij} \)其中k为类别的总数,Pij表示第i类的样本被分成了第j类的像素数量。在正负样本不均衡的情况下,pixel accuracy是一个不合适的评价指标。

均像素精度(mean pixel accuracy)

对每个类计算像素精度,再求平均值。 \( MPA=\frac{1}{k+1} \sum_{i=0}^{k} \frac{ P_{ii}} { \sum_{j=0}^{k} Pij} \)

均交并比(mean intersection over union)

在每个类别上计算IOU,然后计算平均数。\( MIoU = \frac{1}{k+1} \sum_{i=0} ^{k} \frac{ P_{ii} } { \sum_{j \neq i} (P_{ij} + P_{ji}) + P_{ii} } \)

加权交并比(frequency weighted intersection over union)

根据每个类的频率,优化了均交并比 \( FWIoU = \frac{1}{\sum_{i=0}^k\sum_{j=0}^k P_{ij}} \sum_{i=0} ^{k} \frac{ P_{ii} \sum_{j=0}^k P_{ij} } { \sum_{j \neq i} (P_{ij} + P_{ji}) + P_{ii} } \)

发表评论

邮箱地址不会被公开。 必填项已用*标注