受
SPP-Net
(spatial pyramid pooling空间金字塔池化算法)启发，继2014年的
R-CNN
之后，Ross Girshick在2015年发表
Fast R-CNN
（Girshick, Ross. “Fast r-cnn.” Proceedings of the IEEE International Conference on Computer Vision. 2015），源码见
Github
。它的构思精巧，流程更为紧凑，大幅提高目标检测速度。在同样的最大规模网络上，Fast R-CNN和R-CNN相比，
训练时间从84小时减少为9.5小时，推理时间从47秒减少为0.32秒。
在PASCAL VOC 2007上的准确率约66%。
一、R-CNN
简单来说，RCNN使用以下四步实现目标检测：
-
在图像中确定约1000-2000个
候选框
-
对于每个候选框内图像块，使用深度网络
提取特征
-
对候选框中提取出的特征，使用
分类器判别
是否属于一个特定类 -
对于属于某一特征的候选框，用
回归器
进一步
调整其位置
二、Fast R-CNN的改进
问题一：推理速度慢
RCNN一张图像内候选框存在大量的重叠部分，提取特征冗余严重。
本文将整张图像归一化后直接送入深度网络。在邻接时，才加入候选框信息，在末尾的少数几层处理每个候选框。
如上图，3×224×224的图像直接输入，前五层是基础的conv+relu+pooling形式，在第五层pooling换为roi_pool，并输入P个候选区域。前向传播的roi_pool层将每个候选区域均匀分成M×N块，对每块进行max pooling。将特征图上大小不一的候选区域转变为大小统一的数据，送入下一层，如下图。
问题二：训练时速度慢
原因同上。在训练时，本文先将一张图像送入网络，紧接着送入从这幅图像上提取出的候选区域。这些候选区域的前几层特征不需要再重复计算。
在调优训练时，每一个mini-batch中首先加入N张完整图片，而后加入从N张图片中选取的R个候选框。这R个候选框可以复用N张图片前5层的网络特征。N张完整图片以50%概率水平翻转。R个候选框的构成方式如下：
| 类别 | 比例 | 规则 |
|---|---|---|
| 前景 | 0.25 | 与某个真值重叠在[0.5,1]的候选框 |
| 背景 | 0.75 | 与真值重叠的最大值在[0.1,0.5)的候选框 |
问题三：训练所需空间大
R-CNN中独立的分类器和回归器需要大量特征作为训练样本。本文把类别判断和位置精调统一用深度网络实现，不再需要额外存储。
cls_score层
用于
分类
，输出K+1维数组p，表示属于K类和背景的概率。
bbox_prdict层
用于
调整
候选区域位置，输出4*K维数组t，表示分别属于K类时，应该平移缩放的参数。
三、算法总结
优点：
- 解决了R-CNN和SPP-Net的多stage训练的方式，利用多任务的方式去训练整个网络
- 使用softmax去代替SVM进行多分类的预测，从而实现了端到端的训练
- 实现了卷积网络的权重共享，使用RoI pooling来保持多尺度的输入
- 实验发现数据集增加可以提高mAP，SVD可以对网络进行加速
- 在VOC2012的mAP提升到了68.4%，而R-CNN为62.4%
缺点：
- region proposal的提取还是通过selective search，并且只能在CPU中运行这个算法，所以这个阶段浪费了大量时间。
参考
【目标检测】Fast RCNN算法详解
https://blog.csdn.net/shenxiaolu1984/article/details/51036677
【AI】目标检测第二话：Fast R-CNN和Faster R-CNN
https://zhuanlan.zhihu.com/p/55495520