目标跟踪|[目标跟踪]传统算法--背景法【附代码】计算机视觉|人工智能

以前一直都在做目标检测和分类项目，现在准备入坑目标跟踪，准备从传统算法开始学习，然后再到深度学习方法。
目标跟踪是计算机视觉领域的一个重要研究领域，也被广泛的使用。
在目标跟踪任务中又可以分为单目标跟踪和多目标跟踪。
按照任务计算类型又可以分为以下2类。

在线跟踪 - 在线跟踪需要实时处理任务，通过过去和现在帧来跟踪未来帧中物体的位置。
离线跟踪 - 离线跟踪是离线处理任务，可以通过过去、现在和未来的帧来推断物体的位置，因此准确率会在线跟踪高。

【目标跟踪|[目标跟踪]传统算法--背景法【附代码】】而目标跟踪也有自己的技术难点，比如：目标的形态、尺度、环境光照等变换，或者运动速度快，有遮挡时也会导致跟踪失败
在目标跟踪的发展中，也产生了很多算法，传统算法比如有光流法，背景差分法，粒子滤波法等等，直至现在常用的深度学习。
本文先研究的背景法，以后会不断更新其他方法。
背景法：将视频的初始帧(当然也可以自己去设定某一帧)设定为背景，因为背景是几乎没什么变化的，变的是运动的物体。然后让之后的每一帧与背景帧做差值，这样就可以检测出运动物体，这种方法也不用像深度学习需要进行训练。缺点就是对周围光照很敏感，所以适合在光照稳定的场景中
代码：
【代码都已经加了注释，基本上一看就懂】

import cv2 import numpy as np ''' 背景法将开始的一幅图像作为背景，然后和后面的每一帧对比，缺点是一开始存入的背景可能随光照变法而造成错误但是可以用在光照环境稳定的地方，优点是可以检测之前背景没有的景象 ''' camera = cv2.VideoCapture(0) if (camera.isOpened()):# 判断视频是否打开 print('设想头成功打开') else: print('摄像头未打开') fps = camera.get(cv2.CAP_PROP_FPS) fourcc = cv2.VideoWriter_fourcc(*'XVID')# 读取视频尺寸 size = (int(camera.get(cv2.CAP_PROP_FRAME_WIDTH)), int(camera.get(cv2.CAP_PROP_FRAME_HEIGHT))) out_frame = cv2.VideoWriter('跟踪.avi', fourcc, fps, size) print('视频尺寸:', size)# 构建3*3 用来构造内核 # cv2.getStructuringElement(shape, ksize, anchor=None) # shape:表示内核的形状 MORPH_RECT(矩形)，MORPH_CROSS(交叉形)，MORPH_ELLIPSE(椭圆形) # kisze:内核的尺寸 es = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3)) kernel = np.ones((5, 5), np.uint8) background = None# 背景while True: # 读取视频流 ret, frame = camera.read()# 对帧进行预处理 gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)# 转灰度图像 gray = cv2.GaussianBlur(gray, (21, 21), 0)# 高斯滤波（降噪：摄像头震动、光照变化）# 将第一帧设置为整个输入的背景 if background is None: background = gray# 将第一帧做位背景图，此刻background不再是None continue# 对比背景之后的帧与背景之间的差异，并得到一个差分图（different map）。 # 二值化处---->膨胀（dilate）得到图像区域块 # cv2.threshold(src, thresh, maxval, type, dst=None)通过阈值二值化处理图像， #src是需要操作的图像 #thresh是阈值参数 #maxval是高于阈值时赋予的参数，高于阈值的像素点全部位maxval，小于阈值的为0 #type是方法参数，cv2.THRESH_BINARY（黑白二值） #cv2.dilate形态学中的膨胀处理，用上面我们构建的元素来对图像进行膨胀 diff_img = cv2.absdiff(background, gray)# 获取差分图，就是两幅图做差(第一帧的时候肯定是0) diff_img = cv2.threshold(diff_img, 25, 255, cv2.THRESH_BINARY)[1]# 图像二值化处理 diff_img = cv2.dilate(diff_img, es, iterations=2)# 显示矩形框：计算一幅图像中目标的轮廓 cv2.RETR_EXTERNAL查找外轮廓，cv2.CHAIN_APPROX_SIMPLE 轮廓只需4个点来保存轮廓信息 # contours 一个列表，用来存储能描述轮廓的信息 contours, hierarchy = cv2.findContours(diff_img.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) for c in contours: # cv2.contourArea(c)计算轮廓面积 c是单个输入的轮廓值 if cv2.contourArea(c) < 1500: continue (x, y, w, h) = cv2.boundingRect(c) # 该函数计算矩形的边界框 cv2.rectangle(frame, (x, y), (x+w, y+h), (0, 255, 0), 2)cv2.imshow('contours', frame) out_frame.write(frame) cv2.imshow('diff_img', diff_img)key = cv2.waitKey(1) & 0xFF if key == ord('q'):# 按'q'健退出循环 break # 释放资源并关闭窗口 camera.release() cv2.destroyAllWindows()

上述代码需要讲下的部分：
es是通过构建一个模板(可以理解为一个卷积)，我这里设置的是一个3*3的矩形，用来做后面的膨胀处理【对一些间隙做填充，平滑作用】

es = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3)) kernel = np.ones((5, 5), np.uint8) background = None# 背景

对灰度图像进行高斯滤波去噪，并将处理后的图像赋给背景，以此作为背景帧。

# 对帧进行预处理 gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)# 转灰度图像 gray = cv2.GaussianBlur(gray, (21, 21), 0)# 高斯滤波（降噪：摄像头震动、光照变化）# 将第一帧设置为整个输入的背景 if background is None: background = gray# 将第一帧做位背景图，此刻background不再是None continue

这里就是用差分和膨胀进行图像处理

diff_img = cv2.absdiff(background, gray)# 获取差分图，就是两幅图做差(第一帧的时候肯定是0) diff_img = cv2.threshold(diff_img, 25, 255, cv2.THRESH_BINARY)[1]# 图像二值化处理 diff_img = cv2.dilate(diff_img, es, iterations=2)

然后让我们来看一下效果吧~~ 注意：使用环境要进尽可能光照稳定、场景简单，还有这个并不能对特定的目标进行跟踪。

下面的图就是通过与背景帧差值后跟踪的结果了~