视频中运动目标检测的一种思路是，通过区分视频中静止和运动的部分，提取出运动的部分就是我们的检测目标。
背差法是：如果事先拍好静止的背景，每一帧的图像与背景图像相减可以得到差异的部分，差异的部分就是运动目标。下面举两张图片的例子来体会：
上图使用absdiff图像减法函数，代码如下：
//二值化腐蚀膨胀学习，帧差法和背景差法对比测试
#include<opencv2\opencv.hpp>
#include<iostream>
using namespace cv;
using namespace std;
int main(int argc, char** argv)
{
Mat back = imread("D:/feiji.jpg");;//背景
Mat frame = imread("D:/feiji2.jpg");;//当前图片
Mat fore;//前景
imshow("1背景图像", back);
imshow("2当前图像", frame);
absdiff(frame, back, fore);//absdiff是图像减法。当前图像减去背景图像得到前景图像fore
imshow("3前景图像", fore);
waitKey(0);
return 0;
}帧差法也是使用absdiff图像减法函数，只不过是相邻帧图像相减（下图假设是相邻帧，笑脸从左往右移动到飞机尾部），找出差异的部分。例如下面两个图像的例子：
代码如下（实际上和上面代码是一样的，只是为了突出对比一下）：
//二值化腐蚀膨胀学习，帧差法和背景差法对比测试
#include<opencv2\opencv.hpp>
#include<iostream>
using namespace cv;
using namespace std;
int main(int argc, char** argv)
{
Mat proframe = imread("D:/feiji2.jpg");;//前一帧图像
Mat frame = imread("D:/feiji3.jpg");;//当前帧图片
Mat fore;//前景
imshow("1前一帧图像", proframe);
imshow("2当前帧图像", frame);
absdiff(frame, proframe, fore);//absdiff是图像减法。当前图像减去背景图像得到前景图像fore
imshow("3前景图像", fore);
waitKey(0);
return 0;
}之所以先用图片的例子，是因为实际处理视频的时候，也是将视频分成一帧一帧的来处理，每一帧的图像存储在Mat对象中，进行上述操作。
下面来看看帧差法在视频中的表现：（如图是运动的车辆）
检测效果较好，检测出来的差异基本上就是车辆的样子，但是要知道，如果运动目标非常快，就会出现和上面图片实验一样，出现这种情况：
检测的差异部分表现为“两个运动物体”。
代码如下：
///运动物体检测——帧差法、缺点是无法对运动后突然又静止的景象进行识别，优点是光照不影响；
#include "opencv2/opencv.hpp"
using namespace cv;
#include <iostream>
using namespace std;
//运动物体检测函数声明
Mat MoveDetect(Mat temp, Mat frame);
int main()
{
VideoCapture video("D://车.mp4");//定义VideoCapture类video
if (!video.isOpened()) //对video进行异常检测
{
cout << "video open error!" << endl;
return 0;
}
int frameCount = video.get(CV_CAP_PROP_FRAME_COUNT);//获取帧数
double FPS = video.get(CV_CAP_PROP_FPS);//获取FPS
Mat frame;//存储帧
Mat temp;//存储前一帧图像
Mat result;//存储结果图像
for (int i = 0; i < frameCount; i++)
{
video >> frame;//读帧进frame
imshow("frame", frame);
if (frame.empty())//对帧进行异常检测
{
cout << "frame is empty!" << endl;
break;
}
int framePosition = video.get(CV_CAP_PROP_POS_FRAMES);//获取帧位置（第几帧）
cout << "framePosition: " << framePosition << endl;
if (i == 0) //如果为第一帧（temp还为空）
absdiff(frame, frame, result);
else //若不是第一帧（temp有值了）
absdiff(temp, frame, result);//2.将前一帧temp图像和当前帧frame图像做差
imshow("result", result);
if (waitKey(1000.0 / FPS) == 27)//按原FPS显示
{
cout << "ESC退出!" << endl;
break;
}
temp = frame.clone();//当前帧赋给temp作为下一帧的前一帧
}
return 0;
}
再来看看背景差法（使用第一帧做背景）
背景差法使用第一帧做背景，检测的差异图中还存在第一帧的“残影”，因为这个视频的第一帧就有车辆，所以拿后面的帧来和第一帧做差，差异越来越大，就出现了类似图片实验中“两个运动物体”的情况。所以背景法检测的关键在于需要建立一个可靠的背景模型。关于背景模型的建立和帧差法的优化，将在下一篇博文中给出。 下面继续实现目标检测功能。
现在我们虽然把前景（检测目标）提取出来了， 我们需要将这些目标的轮廓画出来， 并用矩形框标识出来。
为了更好的解释各个函数的意义，我们先用图片测试一下各个函数的功能：代码中的各个函数作用和用法写的注释很详细。
//二值化腐蚀膨胀学习，帧差法和背景差法对比测试
#include<opencv2\opencv.hpp>
#include<iostream>
using namespace cv;
using namespace std;
int main(int argc, char** argv)
{
// opencv读图片的API
Mat back = imread("D:/feiji.jpg");;//背景
Mat frame = imread("D:/feiji2.jpg");;//当前图片
Mat gray_image;//灰度图片
Mat two_image;//二值化图片
Mat fore;//前景
Mat fore1;//前景灰度
Mat fore2;//前景二值化
namedWindow("1背景图像", CV_WINDOW_AUTOSIZE);//nameWindow的作用是什么？
imshow("1背景图像", back);//指定图像显示到指定窗口上
imshow("2当前图像", frame);
//cvtColor(frame, frame, CV_BGR2GRAY);//当前图片灰度化
//imshow("当前图像灰度化", frame);
//cvtColor(back, back, CV_BGR2GRAY);//背景灰度化
//imshow("背景图像灰度化", back);
absdiff(frame, back, fore);//absdiff是图像减法。当前图像减去背景图像得到前景图像fore 视频中 Mat变量，用于存储每一帧的图像
imshow("3前景图像", fore);
cvtColor(fore, fore1, CV_BGR2GRAY);
imshow("4前景灰度化", fore1);
threshold(fore1, fore2, 30, 255, CV_THRESH_BINARY);
imshow("5前景二值化", fore2);//为什么要先二值化再腐蚀膨胀？（二值化使得车的黑白轮廓已经显示出来，腐蚀膨胀是为了变成一块整体以达到标识的目的，使得黑白轮廓明显）
//4.腐蚀 先腐蚀还是先膨胀，腐蚀在一定程度上会消除干扰点。但是这里考虑到车辆中有摩托车，如果先腐蚀处理的话会将摩托车给消除掉，造成识别精度不高。
//腐蚀的目的在于将因为膨胀而导致的黏合，还有非关键点和区域的清除，以达到区分标识的目的。
Mat kernel_erode = getStructuringElement(MORPH_RECT, Size(3, 3));//函数返回值为指定形状和尺寸的结构元素（内核矩阵），这个参数为腐蚀做准备。
erode(fore2, fore2, kernel_erode);
imshow("6前景腐蚀", fore2);
//5.膨胀 膨胀的目的在于将一辆车拼合成一块完整的个体，以达到标识的目的
Mat kernel_dilate = getStructuringElement(MORPH_RECT, Size(15, 15));
dilate(fore2, fore2, kernel_dilate);
imshow("7前景膨胀", fore2);
//6.查找轮廓并绘制轮廓
vector<vector<Point>> contours; //是一个向量，并且是一个双重向量，向量内每个元素保存了一组由连续的Point点构成的点的集合的向量，每一组Point点集就是一个轮廓。
// 有多少轮廓，向量contours就有多少元素。
//findContours第一个参数处理的图像是单通道图像矩阵，可以是灰度图，但更常用的是二值图像。故要在之前二值化。
findContours(fore2, contours, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_NONE); //CV_RETR_EXTERNAL只检测最外围轮廓;CV_CHAIN_APPROX_NONE 保存物体边界上所有连续的轮廓点到contours向量内
drawContours(frame, contours, -1, Scalar(0, 0, 255), 2);//在frame上绘制轮廓
imshow("8轮廓", frame);
vector<Rect> boundRect(contours.size());//外接矩阵集合
for (int i = 0; i < contours.size(); i++)
{
boundRect[i] = boundingRect(contours[i]);
rectangle(frame, boundRect[i], Scalar(0, 255, 0), 2);//在frame上绘制正外接矩形
} //轮廓的颜色；轮廓线条的粗细默认为1
imshow("9绘制正外接矩形", frame);
waitKey(0);
return 0;
}最后来看一个帧差法检测运动目标的完整代码：
完整代码如下：
///运动物体检测——帧差法、缺点是无法对运动后突然又静止的景象进行识别，优点是光照不影响；
#include "opencv2/opencv.hpp"
using namespace cv;
#include <iostream>
using namespace std;
//运动物体检测函数声明
Mat MoveDetect(Mat temp, Mat frame);
int main()
{
VideoCapture video("D://车.mp4");//定义VideoCapture类video
if (!video.isOpened()) //对video进行异常检测
{
cout << "video open error!" << endl;
return 0;
}
int frameCount = video.get(CV_CAP_PROP_FRAME_COUNT);//获取帧数
double FPS = video.get(CV_CAP_PROP_FPS);//获取FPS
Mat frame;//存储帧
Mat temp;//存储前一帧图像
Mat result;//存储结果图像
for (int i = 0; i < frameCount; i++)
{
video >> frame;//读帧进frame
imshow("frame", frame);
if (frame.empty())//对帧进行异常检测
{
cout << "frame is empty!" << endl;
break;
}
int framePosition = video.get(CV_CAP_PROP_POS_FRAMES);//获取帧位置（第几帧）
cout << "framePosition: " << framePosition << endl;
if (i == 0)//如果为第一帧（temp还为空）
{
result = MoveDetect(frame, frame);//调用MoveDetect()进行运动物体检测，返回值存入result
}
else//若不是第一帧（temp有值了）
{ //前一帧，当前帧
result = MoveDetect(temp, frame);//调用MoveDetect()进行运动物体检测，返回值存入result
}
imshow("result", result);
if (waitKey(1000.0 / FPS) == 27)//按原FPS显示
{
cout << "ESC退出!" << endl;
break;
}
temp = frame.clone();//当前帧赋给temp作为下一帧的前一帧
}
return 0;
}
Mat MoveDetect(Mat temp, Mat frame)
{
Mat result = frame.clone();
//1.将前一帧temp图像和当前帧frame图像转为灰度图
Mat gray1, gray2;
cvtColor(temp, gray1, CV_BGR2GRAY);
cvtColor(frame, gray2, CV_BGR2GRAY);
//2.将前一帧temp图像和当前帧frame图像做差
Mat diff;
absdiff(gray1, gray2, diff);
imshow("前景", diff);
//3.对差值图diff_thresh进行阈值化处理
Mat diff_thresh;
threshold(diff, diff_thresh, 50, 255, CV_THRESH_BINARY);
imshow("前景二值化", diff_thresh);
//4.腐蚀
Mat kernel_erode = getStructuringElement(MORPH_RECT, Size(3, 3));
Mat kernel_dilate = getStructuringElement(MORPH_RECT, Size(18, 18));
erode(diff_thresh, diff_thresh, kernel_erode);
imshow("腐蚀", diff_thresh);
//5.膨胀
dilate(diff_thresh, diff_thresh, kernel_dilate);
imshow("膨胀", diff_thresh);
//6.查找轮廓并绘制轮廓
vector<vector<Point>> contours;
findContours(diff_thresh, contours, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_NONE);
drawContours(result, contours, -1, Scalar(0, 0, 255), 2);//在result上绘制轮廓
//7.查找正外接矩形
vector<Rect> boundRect(contours.size());
for (int i = 0; i < contours.size(); i++)
{
boundRect[i] = boundingRect(contours[i]);
rectangle(result, boundRect[i], Scalar(0, 255, 0), 2);//在result上绘制正外接矩形
}
return result;//返回result
}
下一篇博客将针对本文帧差法和背景差法的不足提出解决方案，给出优化的代码。
版权声明：本文为qq_37857041原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。