博客

论文 [1] 介绍了一种用于形状分类的metric，理论部分作者给出几组shape inference 的例子说明该metric的完备性。在实际应用部分，作者将该metric用到了植物种类的检测中。该应用涉及几个评价指标：Precision, Recall and Mean Average Precision(MAP).

基本概念

二元检测结果存在四种情况：true positive(TP), true negative(TN), false positive(FP), false negative(FN).

在文本检索中，True or False 对应为 Relevant or Not-Relevant；positive or Negative 对应为 Retrieved or Not-Retrieved。

昨天第一次接触检索我有点心急。还没有区分清楚retrieved 、 relevant这俩基本概念的情况下，开始看准确度和召回率的定义。看得是一头雾水，特别是precision-recall曲线，真不知道该怎么画。

Precision准确度

准确度 公式：

$$P = \frac{TP}{TP+FP} = \frac{正确被检索到的数量}{实际检索到的数量}$$

用来描述检索到的对象中有多少是正确的。

Recall召回率

召回率 公式：

$$R = \frac{TP}{TP+FN}=\frac{正确被检索到的数量}{应该被检索到的数量}$$

用来描述所有希望被检索到的对象有多少被检索到了。

参考文献[2][3]给出了实际例子，还是不清楚的可以按照例子算一遍。

Precision-Recall 曲线

PR曲线可用来评估分类算法性能。通常曲线越高，算法性能越好。

在画曲线的过程中，正负样本的具体个数是当做已知的。根据不同的Recall值，来计算相应的Precision值。利用设计好的metric，计算各个样本两两之间的距离，并从小到大排序（数值越小，相关度越高）。

具体步骤：

1. Recall取值[0,1]之间，步长0.05；

2. 求出相应的TP；

3. 根据TP，统计算法实际检测到的数量；

4. 从而计算得到Precision值。

MAP

Mean Average Precision 是 Average Precision (AP) 的均值。

这个准则论文里有也很清楚。嘿嘿，这里就不介绍啦。

今晚把相关的代码写完。明天来贴效果图。哈哈~

Reference

1. Similarity Metric For Curved Shapes In Euclidean Space (CVPR-2016)
2. 
   介绍准确率(Accuracy), 精确率(Precision), 召回率(Recall)和F1-Measure
   
3. 
   Precision-Recall 的关系
   
4. 维基百科 相关条目搜索
5. 
   MAP介绍及代码
   
6. 
   MAP的算理
   
7. 
   Introduction to Information Retrieval 8.3