目标检测结果数据分析

1.前言

• 在验证集上会得到COCO的评价列表
• 在目标检测上常用的两个公开数据集pascal voc和coco
• 针对这两个数据集都有一个评判标准
• 目标检测与图像分类明显差距是很大的
• 在图像分类当中，我们通常是通过统计在验证集当中，分类正确的个数除以验证集的总样本数，就能得到准确率
• 在目标检测当中（如下图），绿色的框是人工标注的GT-box（Ground Truth box），红色的框是网络预测的bbox（bounding box）
• 我们通过计算预测边界框与人工标注的正确边界框IoU
• 检测正确从三个方面
• 第一个方面：判断IoU是否大于指定阈值
• 第二个方面：判断类别是否正确
• 第三个方面：判断confidence（置信度）是否大于指定阈值
  

  

2.mAP计算方法

• TP（True Positive）预测正确的目标边界框个数：IoU>0.5的检测框数量（同一个Ground Truth只计算一次），即当预测边界框与GT box的IoU值大于0.5，就认为匹配成功，如下图cat 0.9的红色框

• FP（False Positive）假阳性，不是目标却认为是目标：IoU<=0.5的检测框（或者是检测到同一个GT的多余检测框的数量），即预测边界框与GT box的IoU值小于等于0.5，如下图cat 0.3的红色框

• FN（False Negative）漏检的目标个数：没有检测到的GT的数量，如右下角cat绿色框的猫，并没有检测到
  

  

• Precision：TP/（TP+FP）模型预测的所有目标中，预测正确的比例——查准率

• Recall：TP/（TP+FN）所有真实目标中，模型预测正确的目标比例——查全率

• AP：P-R曲线下面积

• P-R曲线：Precision-Recall曲线

• mAP：mean Average Precision，即各类别AP的平均值（一个类别对应一个AP，多个类别取平均值就是mAP）

• 如下图，num_ob是指人工在图像上标注的真实目标边界框有7个

• 我们规定Confidence在0.66及以上的边界框就是标注成功的，下面左侧表中的OB中有一个是False，也就是FP（假阳性的），所以FN就是7-4=3

• 由此算出下图右表
  

  

• 对于Recall，如下表中，0.57重复了，所以就删除两个（保留Precision值最大的）

• 下图右侧图中，点外面有方框的就是Recall对应的5个点

• 蓝色部分就是AP的面积

• 下图最下方是计算公式

• 对于下式第一项，0.1是从0.14开始往下对对应的Precision最大的值，例如到最后一项，就是×0.71

• 每一项第一个乘数都是当前Recall值—上一个Recall值

• 最后的结果0.6694就是对应猫这个目标AP的值

• 使用同样方法，可以计算其他类别的AP值，最后算出所有类别AP的均值，得到mAP
  

  

3.各项指标含义

• COCO官网说明,里面详细介绍了每条数据的含义
  

  

3.1 Average Precision（AP）

• 如下图$A{P}^{IoU=0.50}$，就是以IoU的阈值取0.5的时候，计算的AP的数值，这个数值也就是PASCAL VOC数据集所提供的评价指标
• 在COCO的评价指标当中主要评价指标就是第一行$AP$，意思是指在IoU从0.5-0.95，间隔为0.05，一共10个IoU上，分别去计算每个IoU上对应的mAP，再将10个mAP取均值得到COCO数据集中的AP
• 这个AP也是COCO数据集中最主要的一个评价指标
• 注意，下图虽然写的是AP，但实际上是mAP，因为这里结合上下文，很明确就知道这里的AP就是mAP，所以就简写成AP
• 下图还有一个$A{P}^{IoU=0.75}$，也就是当IoU阈值取0.75时对应的mAP值，这是一个更加严格的标准，因为IoU值设置的越大，也就意味着目标边界框与真实边界框重合度越高
  

  

3.2 AP Across Scales

• $A{P}^{small}$即$AP$针对小面积的，目标的像素面积$<32^2$
• $A{P}^{medium}$即$AP$针对中等面积的,目标的像素面积$>32^2并且<96^2$
• $A{P}^{large}$即$AP$针对大面积的，目标的像素面积$>96^2$
• 目标检测网络对于不同尺度的目标检测效果不同，比如应用场景都是相对较小的目标，那么就会更关注$A{P}^{small}$的值
  

  

3.3 Average Recall（AR）

• $A{R}^{max=1}$，即每张图片最多预测1个目标
• $A{R}^{max=10}$，即每张图片最多预测10个目标
• $A{R}^{max=100}$，即每张图片最多预测100个目标
  

  

3.4 AR Across Scales

• $A{R}^{small}$即$AR$针对小面积的，目标的像素面积$<32^2$
• $A{R}^{medium}$即$AR$针对中等面积的,目标的像素面积$>32^2并且<96^2$
• $A{R}^{large}$即$AR$针对大面积的，目标的像素面积$>96^2$

4.查看指标

• 第一行是COCO数据集的评价指标，是要看的
• 第二行是Pascal VOC的评价指标，也是要看的
• 如果对精度要求比较高，那么第三行也要看
• 接下来就是根据所检测目标的尺度来看相应的AP
• 在AR值中，主要关注检测目标取10和取100时候的值，如果这两个值相差比较小，那么我们就可以减少目标检测的个数，这样也能提供目标检测的效率