第三章 运动目标跟踪 - 图文

第三章 运动目标跟踪方法

3.1 引言

运动目标跟踪是机器视觉领域内一个备受关注的课题，图像中运动目标的跟踪技术通常是通过目标检测来进行跟踪。运动目标的跟踪就是在视频图像的每一幅图像中确定出我们感兴趣的运动目标的位置，来实现目标的跟踪。在机器视觉研究领域里，随着技术不断发展，自动目标跟踪(ATR)越来越受到研究者的重视，具有广阔的应用前景。运动目标的跟踪在虚拟现实、工业控制、军事设备、医学研究、视频监控、交通流量观测监控等很多领域都有重要的实用价值。特别在军事上，先进的武器导航、军事侦察和监控中都成功运用了自动跟踪技术。而跟踪的难点在于如何快速而准确的在每一帧图像中实现目标定位。

3.2 单一摄像头常见跟踪方法简介

基于视频的目标检测、跟踪等技术的发展，使得摄像头系统的应用越来越广

泛，其研究也越来越深入。从单一摄像头到多摄像头的场景监控，监控技术越来越成熟，下面就两类目标跟踪问题进行研究。 目前，根据不同跟踪方法可分类为如下几类。 1、基于区域的跟踪

基于区域的跟踪是根据图像中对应于运动目标区域的变化来实现跟踪。运动区域一般通过背景图像与当前帧图像比较来获取，因此需要对背景图像动态更新，难点在于处理运动目标的影子和遮挡情况。基于区域的跟踪方法目前已有较多的应用，如Wren利用小区域特征进行室内单人的跟踪，将人体看作由头、躯干、四肢等身体部分所对应的小区域块所组成，重庆邮电大学硕士论文第二章运动目标检测与跟踪理论基础利用高斯分布建立人体和场景的模型，属于人体的像素被规划于不同的身体部分，通过跟踪各个小区域来完成整个人的跟踪；McKenna等将跟踪过程建立在区域、人、人群三个抽象级别上执行，区域可以合并和分离，而人是由许多身体部分区域在满足几何约束的条件下组成的，同时人群又是由单个的人组成的，因此利用区域跟踪器并结合人的表面颜色模型，在遮挡情况下也能够较好地完成多人的跟踪。

但是在复杂情况下，基于区域的跟踪方法还缺乏可靠性，并且不能很好地获取

物体的3D位置、方位。 2．基于轮廓的跟踪

基于活动轮廓的跟踪方法是利用封闭的曲线轮廓来表达运动目标，并且该轮廓能够自动连续地更新，能提取出目标形状并获得比区域跟踪方法更为有效的对目标的描述。例如，Paragios与Deriche利用短线程的活动轮廓，结合Level Set理论在图像序列中检测和跟踪多个运动目标；Peterfreund采用基于卡尔曼滤波的活动轮廓来跟踪非刚性物体。相对于基于区域的跟踪方法，轮廓表达能减少计算复杂度，甚至在出现干扰或部分遮挡的情况下，也能连续跟踪目标，但是对于轮廓初始化通常却是很困难的。 3．基于特征的跟踪

基于特征的跟踪算法通过提取目标特征元素来识别、跟踪，以及实现帧间物体匹配。根据所选特征可以分为三类：全局特征、局部特征及依赖图特征。 全局特征包括质心、周长、面积及颜色等，Polana就是一个点特征跟踪的例子。将每个行人用一个矩形框封闭起来，封闭框的质心被选择作为跟踪的特征：在跟踪过程中若两人出现相互遮挡时，只要质心的速度能被区分开来，跟踪仍能被成功地执行，该方法的优点是实现简单，但仅仅考虑了平移运动，如果结合纹理、彩色及形状等特征可能会进一步提高跟踪的鲁棒性。

局部特征用于特征跟踪时一般包括线、角点。基于支持图特征根据特征间距离、几何关系的变化来跟踪目标。以上不同特征跟踪方法也可以同时采用，如Jang利用区域的形状、纹理、色彩和边缘特征信息建立了活动模板，结合卡尔曼滤波的预测方法，使特征匹配能量函数最小化来完成运动目标的跟踪过程，该活动模型对于非刚性物体的跟踪具有很好的自适应性。

基于特征跟踪方法通过跟踪目标运动特征、局部特征及依赖图可实现在目标部分遮挡时的跟踪。但这种方法也有缺点，如基于2D图特征的目标识别率低；不能很好的恢复目标3D位置；处理目标遮挡、重叠时的稳定性低等。 4．基于模型的跟踪

基于模型的跟踪算法通过匹配由先验知识得到目标模型来跟踪目标。 模型通常根据人工量测、CAD和计算机视觉技术离线建立。目标模型可以

分为刚性目标模型和非刚性目标模型，目前研究得较多的刚性目标模型是 车辆跟踪，非刚性目标模型用于人体跟踪。例如传统的人体模型有： (1)线图法：将身体的各个部分以直线来近似；

(2)二维轮廓法：与人体在图像中的投影有关，如Ju提出的纸板人模 型，它将人的肢体用一组连接的平面区域块来表达，该区域块的参数化运 动受关节运动的约束，可用于关节运动图像的分析；

(3)立体模型：利用广义锥台、椭圆柱、球等三维模型来描述人体的结构细节，因此要求更多的计算参数和匹配过程中更大计算量，如Rohr使用14个椭圆柱体模型来表达人体结构，坐标系统的原点被定位在躯干的中心，目的是利用该模型来产生人行走的三维描述。

基于模型的跟踪方法主要缺点是必须构建模型及计算代价大。

3.3 多摄像头的目标跟踪

IBM、Microsoft、SorIloff、Object Video、EMITALL、MlT、CMU等世界著名的公司及科研机构近年来都致力于多摄像头的目标跟踪方面的研究。中国科学院自动化研究所、中国科学院上海微系统与信息研究所、西北工业大学自动化学院等也进行了相关的研究。但是，以上这些系统仅研究了针对单摄像头的目标检测、跟踪等相关技术，就多摄像头方面的目标跟踪的相关文献还比较少。1998年，Meyer M．等人提出使用多摄像头进行场景监控，这样不仅可解决单一摄像头视野有限的问题，还有利于解决目标的遮挡问题。胡伏原等设计了一个对多个运动目标进行无缝检测和跟踪的协同感知系统，并提供给用户一个可视的三维场景。 多摄像头系统的一个主要任务是对场景中穿过多摄像头的目标进行唯一标识。为了跟踪穿过多个摄像头的目标，首先需要融合来自多个摄像头的信息，找出同一目标在不同摄像头中的不变特征，然后对运动目标在不同摄像头内进行一致性标记，结合运动目标基于亮度特征的外形变化和多特征路径模型实现多摄像头的跟踪。在多摄像头之间对目标进行连续跟踪，主要需要解决以下问题： 3.3.1 多摄像头之间的图像配准

图像配准定义：对从不同传感器、不同时间、不同角度获得的两幅或多幅图像

或者图像中人们感兴趣的区域进行最佳匹配的处理过程称之为图像配准。图像配准是多种图像处理以及应用如物体辨识、目标交接(多摄像头之间的)、图像拼接、三维建模等的基础，配准结果的好坏将直接影响到其后续图像处理的结果。 在多摄像头系统中，由于各个摄像头的自身响应参数(如采样率、色彩度等)以及背景的不同，使得摄像头之间的图像配准变得十分困难。首先，由于摄像头的硬件设计与实现方面存在的差异，使得相同目标在不同摄像头内的特征存在差异，这是系统固有的误差，只能尽量的降低它对系统的影响但不能消除它；其次，摄像头观测的角度不同产生的背景不同，目标的特征会随着背景的改变和观测角度的改变而改变．；还有，背景中的光线的影响，摄像头对环境中的光线非常敏感，导致某一角度光线的变化对同一目标产生的影响是巨大的。除了上述因素以外，环境中的目标的特性也会给摄像头之间的图像配准带来困难。因此，对多摄像头系统中的摄像头之间的图像配准研究是一个极具挑战性的课题。

在多摄像头人体跟踪中，图像配准的主要任务是解决目标交接和目标遮挡问题，由于多个摄像头监控范围大、角度不一，使得目标的特征和场景背景均不一样，这对大范围的目标跟踪提出巨大的挑战。 3.3.2多摄像头之间的目标交接

定义：当对一个大的场景进行监控时，必须用到多个摄像头同时进行监控，假定有一个目标当前在摄像头l的视野范围内，经过一段时间后，该目标进入到其它摄像头的视野内，这时就必须确定此目标的身份即目标交接。

目标交接是多摄像头人体跟踪中基础关键问题，是多摄像头系统进行后续处理的必经阶段，因此，它在整个系统的地位非常重要。由于人体是非刚体，其运动又存在很大的机动性，目标的特征会随时随地的发生改变，这对仅靠目标特征融合算法解决目标交接问题的方法制造了很大的困难。为了更为有效的解决目标交接问题，广大学者又提出了其他的算法，如三维环境建模、利用摄像头标定信息等等。

3.4 Camshift目标跟踪算法研究

（复制“基于Camshift的目标跟踪算法”引言部分）

Camshift是一种应用颜色信息的跟踪算法，在跟踪过程中，Camshift利用目标的颜色直方图模型得到每帧图像的颜色投影图，并根据上一帧跟踪的结果自适

应调整搜索窗口的位置和大小，从而得到当前图像目标尺寸和中心位置。 3.4.1 色彩投影图（反向投影）

（1）RGB颜色空间对光照亮度变化较为敏感，为了减少此变化对跟踪效果

的影响，首先将图像从RGB空间转换到HSV空间。

（2）然后对其中的H分量作直方图，在直方图中代表了不同H分量值出现的概率或者像素个数，就是说可以查找出H分量大小为h的概率或者像素个数，即得到了颜色概率查找表。

（3）将图像中每个像素的值用其颜色出现的概率对替换，就得到了颜色概率分布图。这个过程就叫反向投影，颜色概率分布图是一个灰度图像。

图

3.1 反向投影图和目标概率分布直方图

3.4.2 meanshift原理

Mean Shift这个概念最早是由Fukunaga等人于1975年在一篇关于概率密度梯度函数的估计中提出来的含义,其最初正如其名,就是偏移的均值向量,在这里Mean Shift是一个名词,它指代的是一个向量,但随着Mean Shift理论的发展,Mean Shift的含义也发生了变化,如果我们说Mean Shift算法,一般是指一个迭代的步骤,即先算出当前点的偏移均值,移动该点到其偏移均值,然后以此为新的起始点,继续移动,直到满足一定的条件结束.后来Comaniciu等人把非刚体的跟踪问题近似为一个Mean Shift最优化问题,使得跟踪可以实时的进行[22].

给定d维空间Rd中的n个样本点xi,i=1,…,n,在x点的Mean Shift向量的基本形式定义为:

本文来源：https://www.bwwdw.com/article/qw6v.html