轻量级目标检测算法整理

  • Post author:
  • Post category:其他




随着目标检测算法的快速发展,以及终端应用的日渐广泛,工业界对深度学习网络在终端应用的关注度越来越高,尤其是对于如何保持速度和精度上的平衡,也形成了不小的研究热度。本篇整理了一些较新的轻量级目标检测网络,结合我们自己的目标,所选的网络参数量多在




4M




以下。

1. YOLO Nano

YOLO Nano是一个


高度紧凑的网络,它是一个基于




YOLO




网络的




8




位量化模型,并在




PASCAL VOC 2007




数据集上进行了优化。


模型大小在4M左右,在计算上需要4.57B推算,性能表现上,在VOC 2007数据集上得到了69.1%的mAP。该网络非常适合边缘设备与移动端的实时检测。

论文地址:

https://arxiv.org/abs/1910.01271

代码地址:

GitHub – liux0614/yolo_nano: Unofficial implementation of yolo nano

YOLO Nano与Tiny YOLOv2、Tiny YOLOv3的对比:

2. Micro-YOLO



Micro-YOLO




基于




YOLOv3-Tiny




,它在保持检测性能的同时显着减少了参数数量和计算成本。研究者建议将




YOLOv3-tiny




网络中的卷积层替换为深度分布偏移卷积




(


DSConv:https://arxiv.org/abs/1901.01928v1


)




和带有




squeeze









excitation




块的移动反向瓶颈卷积




(MBConv




:主要源自于




EfficientNet)




,并设计渐进式通道级剪枝算法以最小化数量参数并最大化检测性能。



该网络尚未找到开源实现。

论文地址:

https://www.scitepress.org/Papers/2021/102344/102344.pdf

Micro-YOLO模型的参数量、乘加数可参见下表:


3. NanoDet

NanoDet是一款超快速、高精度、anchor-free的轻量级检测网络,可实现在移动设备上的实时运行。主要面向工程应用,暂未有论文发表。

工程链接:

GitHub – RangiLyu/nanodet: NanoDet-Plus

该网络具有如下特性:

  • 超轻量级:模型文件只有0.98MB(INT8)或1.8MB(FP16);
  • 推理速度快:在移动ARM CPU上可达到97fps,即每帧10.23ms的推理速度;
  • 高精度:CPU实时推理下最高可达34.3 mAPval@0.5:0.95;
  • 训练友好:比其他模型具有明显小的GPU memory消耗,在GTX1060 6G0上可做到batch-size=80;
  • 方便部署:支持各种后端,包括ncnn、MNN和OpenVINO。并且提供了基于ncnn推理框架的Android演示。

NanoDet-Plus在NanoDet基础上进行了更进一步的优化,增加了AGM(Assign Guidance Module) 和DSLA(Dynamic Soft Label Assigner)模块,使精度在COCO dataset上有了7个点的 mAP提升(与NanoDet相比提升了30%左右),且使得训练和部署更容易。

NanoDet-Plus整体架构图:

模型表现对比:

4. YOLOX-Nano

YOLOX是在YOLO系列的基础上进行了若干改进生成的新的高性能检测器。要点包括:(1) Anchor-free的检测方式;(2) 检测头解耦;(3) 先进的标签分配策略SimOTA;(4)强数据增广;(5) Multi positives。其中,YOLOX-Nano只有0.91M的参数量和1.08G FLOPs,在COCO数据集上获得了25.3%的mAP,比NanoDet高1.8% mAP。

论文地址:

https://arxiv.org/abs/2107.08430

代码地址:

https://github.com/Megvii-BaseDetection/YOLOX

下图给出了YOLO和YOLOX在检测头结构上的区别:

两种检测头在训练时的收敛情况如下图所示:

论文中给出了YOLOX-Nano与其他轻量级网络的对比。

更多图形化对比:

5. 华为GhostNet



GhostNet




通过




Ghost




模块构建高效的神经网络结构,从而减少神经网络的计算成本。




Ghost




模块将原始卷积层分为两部分,首先使用较少的卷积核来生成原始特征图,然后,进一步使用廉价变换操作以高效生产更多幻影特征图。在基准模型和数据集上进行的实验表明,该方法是一个即插即用的模块,能够将原始模型转换为更紧凑的模型,同时保持可比的性能。此外,在效率和准确性方面,使用提出的新模块构建的




GhostNet




均优于最新的轻量神经网络,如




MobileNetV3








论文地址:



https://arxiv.org/pdf/1911.11907.pdf



代码地址:



GhostNet


6. YOLOv5

代码地址:

YOLOv5

YOLOv5是一系列目标检测架构的合集,其


高精度、低耗时、易训练、易部署、好上手等特点,让


YOLOv5


的热度一举超过




YOLOv4




,成为当前目标检测界的主流。并且作者也一直在维护,新版本精度越来越高、速度越来越快、模型越来越小,截至目前为止,




YOLOv5




已经迭代到了第六个版本。为了应对移动端的部署应用,作者推出了




YOLOv5









n




版本,其参数量只有




1.9M




,在




COCO val2007 dataset




上的




mAP




精度也达到了




28.4




,而




YOLOv5n6









YOLOv5n




的基础上,




mAP




又有所提升,达到了




34




,同时模型参数量提升到




3.2M






推理和精度:

7. YOLO-Fastest

Yolo-Fastest注重的是单核的实时推理性能,在满足实时的条件下的低CPU占用。目前Yolo-Fastest更新到了V2版本。

工程地址:


YOLO-FastestV2


YOLO-Fastest

模型特点:

  • 简单、快速、紧凑、易于移植;
  • 占用资源少,单核性能优异,功耗低;
  • 基于yolo的已知最快最小通用目标检测算法;
  • 适用于所有平台的实时目标检测算法;
  • ARM移动终端优化设计,优化支持NCNN推理框架。
  • 训练速度快,计算能力要求低,训练只需要3GB视频内存,gtx1660ti训练COCO 1 epoch只需4分钟。

V2版本相对于V1版本更快更小:以0.3%的精度损失换取30%的推理速度提高,参数数量减少25%。

数据对比:

8. YOLOv5-Lite

YOLOv5-Lite为轻量型的YOLOv5改进版本,整体算法与YOLOv5基本一致,通过修改了YOLOv5的backbone达到模型压缩的目的。根据不同的backbone分别提供了e、s、c、g版本,e版本的backbone为shufflenetv2,s版本的backbone也是shufflenetv2 (与e版本的head不同),c版本的backbone为PPLcnet,g版本的backbone为Repvgg。

工程地址:

YOLOv5-Lite

与各个轻量级算法的精度对比:

各模型的backbone、head以及适用的平台可参加下面几个表:

9. YOLObile

YOLObile,顾名思义,是一种适用于移动设备的轻量级网络,从压缩、编译两个角度,在保证模型准确率的基础上,减少模型的大小,并提升模型在移动设备端的运行速度。新的YOLObile framework将YOLOv4压缩了14倍,准确率保持在49.0mAP。

论文地址:

https://arxiv.org/pdf/2009.05697.pdf

代码地址:

YOLObile

YOLObile使用了一种新的block-punched剪枝技术,并且为了提高在移动设备上的计算效率,采用了GPU-CPU协作方案以及高级编译器辅助优化。YOLObile在三星Galaxy S20 GPU上达到17FPS的帧率,使用GPU-CPU协作方案可将帧率提升至19.1 FPS,比YOLOv4的速度提升了5倍。

YOLObile与其他模型在精度和速度上的对比:

10. PP-PicoDet

PP-PicoDet是基于百度PaddleDetection提出的面向移动端和CPU的轻量级检测模型,在移动设备上具有卓越的性能,成为全新的SOTA轻量级模型,并且一直在更新维护,最新的版本发布于2022年3月20日。

论文地址:

https://arxiv.org/abs/2111.00869

工程链接:

PaddlePaddle/PaddleDetection

PP-PicoDet模型具有如下特点:

  • 更高的mAP,参数量在1M以内,在输入像素416×416时,mAP超过30;
  • 更快的预测速度,在ARM CPU上可达到150FPS;
  • 部署友好,支持PaddleLite、MNN、MCNN、OpenVINO等平台,支持转换ONNX,并且提供了C++/Python/Android的Demo;
  • 算法创新,在现有SOTA算法上进行了优化,包括ESNet、CSP-PAN、SimOTA等。

模型架构:

模型参数量、FLOPs等数据如下表所示:

更多模型对比:

各移动端模型在COCO数据集上精度mAP和高通骁龙865处理器上预测速度(FPS)对比图:



版权声明:本文为DeliaPu原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。