context augmentation and feature refinement network for tiny object detection的一些理解

  • Post author:
  • Post category:其他




abstract

本文提出了一种结合增强上下文和细化特征的特征金字塔,将多尺度扩张卷积得到的特征自上向下融合注入特征金字塔,不同上下文信息,引入通道和空间特征细化机制,抑制多尺度特征融合中的冲突形成,防止微小目标消失在冲突信息中,此外提出了一种copy-reduction-paste的数据增强方法,该方法可以增加微小对象在训练过程中损失的贡献,确保训练更加均衡。



直接重点!!!

本文是针对FPN来进行改进的,改进网络结构如下图:

在这里插入图片描述



CEM模块

CEM的灵感来自于人类识别物体的模式,例如在非常高的天空中,人类很难分辨出一只鸟,但是将天空作为上下文信息时,人类就很容易分辨出来,因此作者认为上下文信息有助于微小目标的检测。(个人理解:小目标只要背景纯粹,无大量噪音下,还是比较容易检测到的。)

CEM采用不同膨胀率的空洞卷积来获取不同感受野的上下文信息,并从上到下注入FPN中以丰富上下文信息。

但由于FPN不同层次之间的语义差异,在共享信息时,会引入冗余信息和冲突信息



在这里插入图片描述



FPM模块

FPM被用来过滤冲突信息,减少语义差异。通过自适应融合不同层间的特征,消除层间的冲突信息,防止小目标消失在冲突信息中。

在这里插入图片描述

为了证明FRM的有效性,作者可视化了一些特征图。微小目标的检测主要由FPN的底层主导,因此仅对底层特征进行可视化。将特征图缩放到相同的尺寸。如图所示,最左边的一列是待检测的输入图像。F3、L3、P3为中对应标签的特征图可视化结果。

在这里插入图片描述

从可视化分析,本文提出的FRM可以大大减少冲突信息(可以理解为减少背景噪音),提高微小目标的检测精度。



Copy-Reduction-Paste

为了保证网络整体在训练过程中不会向较大目标倾斜,作者提出了一种Copy-Reduction-Paste的方法增加训练中微小目标丢失的比列。(个人理解为:变相增加训练过程中微小目标loss的重要性)

在这里插入图片描述

将小目标物体截取出来,粘贴到数据集图片上随机地方,强行增大小目标样本数量,变相增加小目标物体在loss计算中的贡献。

在这里插入图片描述

随机粘贴一次效果最好,与baseline相比,APs提高了2.5%,APm提高了1.9%,对大中型目标的检测性能也略有提高。



消融实验

在这里插入图片描述

总体而言,本文提出的模块可以显著提高目标检测性能,特别是对于微小目标和中等目标,这也符合设计的初衣。如表所示,APs增加了5.4%。APm增加 , APl增加1.0%。同时,不同尺度目标的召回率也有不同程度的提高。具体而言,ARs增加6.9% ARm增加2.3% ,ARl增加1.1%。

在这里插入图片描述



总结

在这里插入图片描述

从上表可以看出,本文提出的算法在VOC数据集上的mAP值高于近年来大多数算法。比 PFPNet-R512 高1.3%。但比IPG-RCNN低1.2% 。这主要是由于Backbone较差,图像尺寸较小,使得检测性能略低于IPG-RCNN。如果用多尺度方法测试算法,VOC数据集上的mAP可以达到85.1%,高于所有参与对比的算法。

在这里插入图片描述

从上表可以看出,本文提出的算法在微小目标的AP和AR方面具有绝对优势。

本文算法比YOLOV4算法提高3.9% (16.9%vs.13%),在比较算法中最高。与RefineDet相比在上高9.2%(29.4% vs. 20.2%),而在上低1.5%。

同时,本文提出的算法对中等目标的AR值最高,对中等目标具有较强的检测能力。

通过以上可以看到,本文提出的算法在微小目标检测方面有很大的优势。微小目标的AP和AR算法都有较好的性能,优于大多数目标检测算法。



版权声明:本文为weixin_45074568原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。