移动背景下运动目标检测与跟踪技术研究

视频序列中运动目标分割算法

第25卷 第3期 · 206 ·

电子测量与仪器学报

JOURNAL OF ELECTRONIC MEASUREMENT AND INSTRUMENT

Vol. 25 No. 3 2011年3月

DOI: 10.3724/SP.J.1187.2011.00206

移动背景下运动目标检测与跟踪技术研究

孙 斌 黄神治

(浙江大学信息与电子工程学系, 杭州 310027)

摘 要: 文中分析了移动背景下运动目标检测与跟踪技术。介绍当前移动背景下运动目标检测常用的方法, 指出了难点与关键。结合目前的工作, 给出了一个移动背景下运动目标检测与跟踪的解决方案, 并以人物为跟踪目标进行了实验, 较好地实现了移动背景下的全局运动参数鲁棒性估计以及人物目标在不同场景下的跟踪。但是在目标检测时图像边缘白色块的去除和跟踪时目标遮挡的阈值自适应调节等方面有待进一步研究改进。

关键词: 移动背景；目标检测；目标跟踪

中图分类号: TP391.41 文献标识码: A 国家标准学科分类代码: 520.6040

Target detection and tracking under moving background

Sun Bin Huang Shenzhi

(Department of Information Science & Electronic Engineering, Zhejiang University, Hangzhou 310027, China)

Abstract: The target detection and tracking technology under moving background is analyzed in this paper. First, the difficulties and key points of using conventional processing method are explained. Then, a solution for moving ob-ject detection and tracking is proposed. Finally, the solution is tested with human targets, and experimental result shows that the method has a robust estimation of the global motion parameters, and achieves the target of tracking people un-der different scenes. But the current method suffers from white blocks in the edges of the detecting images and adaptive thresholds setting. So further researches on improvement is needed.

Keywords: moving background; target detection; target tracking

1 引 言

运动物体的检测与跟踪[1-2]是视频处理系统的基本和关键。依照被监视的场景与摄像机之间是否存在相对运动, 人们将视频处理分为静态背景和移动背景两大类。所谓静态背景是指运动场景中的运动只存在实体运动, 而背景没有或者只有微小的变化。移动背景是指运动图像中的运动由摄像机的运动和实体运动共同运动产生的, 相对于静态背景而言, 大大地增加了运动目标检测和跟踪的复杂度。因此, 移动背景下的运动目标检测和跟踪是个关键也是个难点, 本文重点介绍移动背景下的运动目标检测与跟踪。

参数的变化而引起的整个图像变化的补偿, 通过补偿全局运动使得动态背景的问题转化为静态背景的问题, 从而能使用帧差法或背景差法检测出运动目标。大部分方法都遵循如下2个步骤: 首先是全局运其中全局运动估计是动参量估计, 然后是背景匹配。背景匹配的关键。

先看几种目前常用的用于全局运动参量估计的

算法模型, 它主要涉及运动参数模型的建立和全局运动参量的估计。 2.1 全局运动参数模型

一般情况下, 在场景成像时, 摄像机的运动会使第k 1帧图像中的像素点坐标从 (xk 1,yk 1)处移动到第k帧的(xk,yk)处。这种坐标变换量满足一定运动变换模型。即: (xk,yk)=f(xk 1,yk 1)。因此为了估计全局运动参量, 需要寻找前后两帧中对应像

2 移动背景运动目标检测及其难点

针对此问题, 常规的研究是考虑摄像机位置或

本文于2011年2月收到。

视频序列中运动目标分割算法

第3期 移动背景下运动目标检测与跟踪技术研究 · 207 ·

素点的坐标变换量, 首要解决问题的是确定运动参数模型。最常见的运动参数模型有以下几种: 平移运动参数模型[3], 仿射运动参数模型[4], 投影运动参数模型[5], 双线性运动参数模型[6]。仿射运动参数模型不仅可以处理二维图像中三角形任意变形到另外一种形状的三角形, 也可处理长方形二维变形到平行四边形, 还可处理旋转和平移运动。

因此只需要选用带有6个参数的仿射运动参数模型就可以很好地表示背景图像的平移和旋转运动。虽然投影运动参数

模型和双线性运动参数模型也能很好的描述背景的

运动, 但是由于参数越多, 计算越复杂, 因此一般应

用较少。

全局运动参量估计的难点是要获得以上运动参

数模型中的参数。一般采用特征匹配的方法匹配相

邻两幅图像中对应的特征, 通过匹配特征的坐标关

系计算模型参数。

2.2 基于特征匹配的参数估计 角点是图像的一个重要的局部特征, 角点特征因具有信息量丰富、便于测量和表示、能够适应环

境光照变化等优点而成为许多特征匹配算法的首

选。先看几种目前国内外常用的角点检测算法: SUSAN角点检测算子[7], SIFT算子[8], Moravec角点

检测算子[9], Harris算子[10]。 Harris算子在Moravec

算子的基础上进行了改进, 它与Moravec算子主要不同在于用一阶偏导来描述亮度变化, 这种算子受信号处理中自相关函数的启发, 给出与自相关函数相联系的矩阵M。M矩阵的特征值是自相关函数的一阶曲率, 如果两个曲率值都高, 那么就认为该点是特征点。Harris算子与其他算子相比相对简单、稳定且易描述, 是一种有效的特征点提取算子。

估计全局运动的一个困难是一个像素可能不只经历全局运动。通常, 每个像素的运动可以分解成由摄像机的运动引起全局运动和由运动物体引起的局部运动。特征匹配的结果是得到N对匹配的特征点, 通常情况下N比较大, 在得到的匹配特征点对中, 存在着选择了运动目标上、被遮挡、误匹配和移出视场的特征点, 称之为外点, 而那些位于背景区域并且正确匹配的点称之为内点。而且外点的存在使得同时满足这些特征点对的仿射参数模型通常是无解的, 但是当全局运动与其他局部运动相比占主导地位时, 这些问题便可以用鲁棒估计法 (Robust esti-mation)来解决。

常用的鲁棒参数估计法有: 最小二乘法, M估计法, 随机抽样一致性法等。最小二乘法对外点非常敏感, 会对全局运动参量精度带来影响。因此在估计全局运动参数之前, 必须先去除这些不可靠的外点。

3 移动背景下运动目标跟踪及其

难点

Hu[11]等人运用联合空间、颜色特征和改进的

Meanshift算法实现了动态背景下的人物跟踪, 但算

法计算代价高, 并且没有解决目标被完全遮挡的问

题; Cheng[12]等人采用多特征匹配进行动态跟踪, 但

是算法复杂度高, 并且依赖人脸正面特征, 实用性

有待提高。文献[13]采用粒子滤波对静态背景下的人

物实行跟踪, 得到了较好的效果, 但是粒子滤波算

法需要多很多粒子进行处理, 当跟踪目标的区域比

较大时, 算法速度较慢, 跟不上实时处理的要求。文

献[14]采用基于特征融合的点特征跟踪目标, 也可用

与移动背景下的情况, 但是算法速度较慢, 不能处理目标被严重遮挡的问题, 文献[15]采用模板匹配跟踪目标, 但是当目标外形变化较快时, 存在模板的

更新问题。 Meanshift算法难解决的问题是当图像的饱和度较低时, 像素饱和度微小的变化就会导致H分量较大的改变, 从而使像素的概率投影出现较大的误差, 另一方面, 当背景和目标的颜色相同或者接近时, 背景会对Meanshift算法产生较大的干扰甚至使算法失效。考虑到干扰的像素都来自于背景, 而运动目标检测算法恰好将前景目标从背景提取出来, 融合颜色和运动信息可以解决背景的干扰问题。

4 目前进行的工作

4.1 全局运动参数计算

利用Harris角点检测算法提取特征点, 进行特征点匹配。一般情况下, 与背景相比, 运动目标只占图像的小部分区域, 因此, 外点的数量也只占匹配点的小部分, 如果考虑匹配点对的运动矢量, 所有内点的矢量应该具有一致性, 也就是说大部分运动矢量的长度应该相等, 而占小部分的外点的矢量长度则差异比较大, 基于这些考虑, 可以采取以下步骤来消除外点:

视频序列中运动目标分割算法

· 208 · 电子测量与仪器学报 第25卷

Step1: 对所有匹配点对, 计算其运动矢量的长度, 为了减少计算量, 直接考虑其长度的平方; Step2: 计算距离平方的最小值Min和最大值Max, 对所有距离以Min 和 Max为区间进行量化, 量化步长为(Max Min)/N, N为量化数;

Step3: 对所有量化后的距离平方统计直方图, 并计算直方图的峰值Hmax;

Step4: 设定阈值T, 对所有匹配点对判断其是否为外点, 判断准则为: 若匹配点对的距离平方d 2小于Hmax/T,则该匹配点对为外点, 否则, 该匹配点对为内点。

将去除外点后的匹配特征点对代入仿射运动参数模型, 采用最小二乘法计算出仿射运动参数。 4.2 基于颜色和运动线索自适应融合的目标跟踪 融合颜色和运动信息可以解决前面提到的Meanshift算法的背景干扰问题。设第k条线索的概率分布图为pk(i,j) (在本文中为运动线索p1(i,j)和颜

色线索p2(i,j)), 融合后的概率分布图为p

(i,j), 则:

p

n

(i,j)=∑ωkpk(i,j) (1) k=1式中: ωk为第k条线索所占的归一化权值, 其设定方法如下: 定义目标区域和以目标区域中心为中心的2倍目标区域面积环状背景区域′。设f(pk(i,j),)表示区域中概率分布图pk(i,j)的和值, 则

f(pk(i,j),)=pk(i,j) (2)

记 qk(i,j)=

f(pk(i,j),)

f(p (3)

k(i,j),′)

方程描述的是目标区域中概率和与背景区域中概率和的比值, 表征了概率分布图pk(i,j)区分目标

和背景的品质。于是, 归一化权值可由下式计算 得到:

ωqk(i,j)k=n (4) ∑qk(i,j)

k=1

4.3 遮挡处理

当跟踪目标被遮挡一段时间时, 由于Meanshift算法对遮挡处理的脆弱性, 会导致目标的丢失或者跟踪到错误目标, 因此, 有必要进行遮挡情况下的处理。当由于静态遮挡物或者是不同颜色的运动目标发生遮挡时, 常规的跟踪窗口会越来越小, 因此

定义一个阈值Wmin, 当跟踪窗口小于Wmin时, 说明发生了遮挡。如果目标被相同或类似颜色的运动目标遮挡, 发生粘连的过程时, 常规的跟踪算法会把两个物体作为一个整体判为跟踪目标结果, 目标跟踪窗口有一个增大的突变, 定义阈值Tmax, 当跟踪窗口面积St+1/St >Tmax时, 认为发生了遮挡。

判断发生遮挡以后, 几帧内不再进行 Meanshift算法搜索, 而是直接将Kalman预测位置作为目标的真实位置, 用来更新Kalman滤波器, 目标重新出现, 这时将Kalman滤波器的预测的位置作为初始位置重新用Meanshift算法跟踪目标, 跟踪到的目标位置用来更新Kalman滤波器。 4.4 实验结果及改进建议

运动目标检测结果如图1~图5所示, 其中图1为两帧背景运动的原始图像, 图2为匹配到的特征点对, 图3为参考帧根据全局运动参数做仿射变换得到的变换帧, 图4为背景补偿后的目标检测结果, 图5为参考帧和当前帧直接帧差的结果。由图可见背景补偿

后的帧差结果能很好的检测出运动目标, 但是由于在坐标变换时, 边界附近无法获得像素值的区域, 通

常被填充为黑色区域, 使得帧差结果的边缘有白色块, 这需要在将来加以改进。

图1 相邻两帧运动背景

Fig. 1 Two continuous images

图2 特征点匹配结果

Fig. 2 Result of feature points match

视频序列中运动目标分割算法

第3期 移动背景下运动目标检测与跟踪技术研究 · 209 ·

图3 参考帧仿射变换结果

Fig. 3 Affine transformation result of reference frame

图4 背景补偿帧差结果

Fig. 4 Frame difference result after compensation

图5 直接帧差结果

Fig. 5 Direct frame difference result

目标跟踪结果如图6~图8所示, 图6所示的为本算法在不同场景下的跟踪结果, 其中红色矩形为跟踪到的目标区域, 蓝色矩形为Kalman滤波器根据以前的状态预测到的目标可能所在的区域, 黄色字符为目标ID。由图可见, 在不同运动场景下能较好的跟踪人物目标。

(a) 第151帧 (b) 第168帧

(c) 第105帧 (d)第121帧

图6 不同场景目标跟踪结果

Fig. 6 Tracking results under different scene

图7和图8分别为相同和不同颜色目标遮挡处

理的结果,其中(a)均为遮挡前的跟踪结果, (b)为遮挡发生时Kalman预测结果, (c)为遮挡结束后本算法重新跟踪到的目标结果, 避免了目标丢失或者跟踪到

错误目标等问题, 实现了目标的连续跟踪。从图示可以看出本文算法成功处理了相同和不同颜色目标遮挡的情况。由于不同场景的区别很大, 在目标遮挡算法的阈值选择时差别也较大, 如何自适应的调节阈值, 这需要在将来加以改进。

(a) 第128帧 (b) 第130帧 (c)第133帧

图7 不同颜色目标遮挡处理结果 Fig. 7 Tracking result of occluded by similar

color object

(a)第173帧 (b)第175帧 (c) 第177帧

图8 相同颜色目标遮挡处理结果

Fig. 8 Tracking result of occluded by similar

color object

5 结 论

本文采用仿射运动参数模型, 以角点为特征量进行匹配, 并采用运动矢量距离一致性原理去除外点, 对模型参数进行鲁棒性估计, 实现了运动背景下的运动目标检测, 对于运动目标的跟踪, 以大多数应用感兴趣的人物目标为例给出了一种有效的目

标跟踪算法, 采用了信息融合策略和遮挡处理策略提高算法的鲁棒性和可靠性, 但在一些方面还有待改进。总之, 移动背景下的运动目标检测与跟踪技术是视频处理计算的热点与难点, 需要人们的不断研究和完善。

参考文献:

[1] SHEN S A, TONG M L, DENG H L, et al. Model based

human motion tracking using probability evolutionary algorithm [J]. Pattern Recognition Letters, 2008, 29(13): 1877-1886.

[2] SEO D W, CHAE H U, KIM B W, et al. Human tracking

视频序列中运动目标分割算法

· 210 · 电子测量与仪器学报 第25卷

based on multiple view homography [J]. Journal of Uni-versal Computer Science, 2009, 15(13): 2463-2484.

[3]

SORWAR G, MURSHED M, DOOLEY L. Fast global motion estimation using iterative least-square tech-nique[C]. The 4th IEEE Pacific-Rim Conference On Multimedia Singapore, 2003, 1: 282-286.

[4]

HE Y W, FENG B, YANG S. Fast global motion estima-tion for global motion compensation coding [C]. Pro-ceedings of the IEEE International Symposium on Cir-cuits and Systems (ISCAS), 2001, 2: 233-236.

[5]

CHEUNG H K, SIU W C. Fast global motion estimation for sprite generation [C]. the IEEE International Sympo-sium on Circuits and Systems, 2002, 3: 26-29.

[6]

RICHARD A

, STEVEN M K, PETRE S. Estimation of the parameters of a bilinear model with applications to submarine detection and system identification [J]. Digital Signal Processing, 2007, 17(4): 756-773.

[7]

SMITH S M, BRADY J M. SUSAN-a new approach to low level image processing [J]. Computer Vision, 1997, 23(1): 45-78.

[8]

DAVID G L. Distinctive image features from scale-in-variant key-points [J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[9]

MORAVEC H P. Visual mapping by a robot rover [C]. International Joint Conference on artificial Intelligence, 1979: 598-600.

[10]

HARRIS C, STEPHENS M. A combined corner and edge detector [C]. Fourth AlveyVision Conference, 1988: 17-151.

[11]

HU J S, CHUNG W J, WANG J J. A spatial-color mean-shift object tracking algorithm with scale and ori-entation estimation [J]. Pattern Recognition Letters, 2008, 29: 2165-2173.

[12]

CHENG M Y, WANG C K. Dynamic visual tracking based on multi-cue matching [C]. Kumamoto:the 2007 4th IEEE International Conference on Mechatronics, 2007: 1-6.

[13]

SUGANDI B, HYOUNGSEOP K. Tracking of multiple moving objects under outdoor environment using color-based particle filter [C]. 2010 3rd IEEE Interna-

tional Conference On Computer Science and Information Technology, 2010, 1: 103-107.

[14] 王进花, 曹洁. 一种基于特征融合的点特征目标跟踪

算法[J]. 电子测量与仪器, 2010, 24(6): 537-541. WANG J H, CAO J. Object tracking algorithm based on the feature fusion points[J]. Journal of Electronic Meas-urement and Instrument, 2010, 24(6): 537-541. [15] 逯新华, 史忠科. 基于动态模板匹配的空中运动目标

检测与跟踪控制[J]. 电子测量与仪器, 2010, 24(10): 935-941.

[16] LU X H, SHI ZH K. Detection and tracking control for

air moving target based on dynbamic template match-ing[J]. Journal of Electronic Measurement and Instru-ment, 2010, 24(10): 935-941.

作者简介:

孙 斌:1992年于浙江大学获学士学位, 1995年于浙江大学获硕士学位, 2004年于浙江大学获博士学位, 现为浙江大学信电系副教授, 中国电子学会会

员, 测量与仪器分会委员, 主要研究方

向为图像处理, 嵌入式系统。

孙 斌E-mail: shg@

Sun Bin: received BSc, MSc and PhD all from Zhejiang University in 1992, 1995 and 2004, respectively. Now she is an associate professor of Zhejiang University, member of Chinese Institute of Electronics and commissioner of Measurement and Instrument Branch. Her main research direction is image proc-essing and embedded system.

黄神治:2008年于武汉大学获得学士学位, 现为浙江大学在读硕士研究生, 主要研究方向为图像处理, 嵌入式系统。 E-mail: huangshenci@

Huang Shenzhi: received his BSc degree from Wuhan University in 2008.

Now his is a master candidate of Zhejiang 黄神治

University. His majors are image process-ing and embedded system.

本文来源：https://www.bwwdw.com/article/8mw1.html