序列图像运动目标轨迹跟踪

序列图像中目标跟踪是指根据视频图像中的时空相关信息在每一帧图像中确定目标的位置、大小或形状信息等。目标跟踪方法大致可以分成三类：基于滤波理论的目标跟踪方法、基于Mean Shift的目标跟踪方法和基于偏微分方程的目标跟踪方法。

基于滤波理论的目标跟踪方法将传感器噪声和模型误差进行建模，将目标跟踪问题表达为系统状态的后验概率密度估计问题。当后验概率密度是高斯分布时，卡尔曼或扩展的卡尔曼滤波器可以对系统的状态进行准确估计，而粒子滤波器能够解决更一般的非线性非高斯的目标跟踪问题。（将目标跟踪问题转化为概率密度函数估计问题，使用卡尔曼滤波器或粒子滤波器来跟踪目标）。

基于Mean Shift的目标跟踪方法首先建模目标特征的概率密度分布，然后采用概率密度之间的相似性测度度量目标和候选目标之间的相似性。通过将梯度下降法应用于相似函数，推导出Mean Shift迭代方程，从而对目标进行跟踪。

基于偏微分方程的目标跟踪方法。在基于偏微分方程的目标跟踪方法中，目标跟踪问题被建模为关于曲线能量的泛函。通过变分法或形状导数法等推到出描述轮廓曲线进化的偏微分方程，通过求解偏微分得到泛函的极值，从而获得目标的轮廓。

目标跟踪的运用

1. 在智能人机交互中的应用

比较成功的是西门子公司发明的虚拟触摸屏SIVIT（用手指来操作投影到墙壁的ppt演示），剑桥大学研究的基于指向手势的人机接口（手指向的东西，机械手就会去抓取目标） 2. 在医疗诊断中的运用

通过跟踪超声波序列图像中的心室的跳动，能够为诊断心脏病提供可靠准确的信息

3. 在智能机器人中的应用

视觉传感器是智能机器人的一种十分重要的信息源。无人驾驶自动车辆的应用。

4，在视频监控中的应用 目标跟踪的分类

目标跟踪可以定义为在给定的一组观测的条件下对系统的状态进行估计。在视觉跟踪中，跟踪的目标是图像中提取的目标特征，如果在每一帧图像中特征的位置或形状都能被准确确定，则物体能被很好的跟踪。目标的轨迹是二维图像中或三维世界中被跟踪的特征的位置序列。

困难和挑战

1. 目标的形状变化 2. 摄像机及目标的运动

3. 目标所处的背景 存在噪声、杂物以及与目标接近的物体。

对于目标的二维跟踪，从不同的角度可以有多种分类，大致分为基于边缘特征的方法，基于区域特征的方法和融合边缘与区域的方法 基于滤波理论的目标跟踪方法

将序列图像中的目标跟踪问题建模为目标状态的概率密度函数在时间序列上的传播。包含3大要素：

（1） 先验概率密度函数（又称运动方程）：给定目标在前一帧图像中的状态，对目标

在当前图像中的状态进行预测。

（2） 观测概率密度函数（观测方程）：在当前图像中对目标的特征进行观测并计算其

概率

（3） 后验概率密度函数：根据运动信息和观测信息，应用贝叶斯规则计算目标状态

在当前时刻的后验概率密度。

理想条件下运动方程和观测方程是线性的高斯过程，因此系统状态的后验分布是高斯分布，完全由其均值向量和协方差矩阵确定，此时采用卡尔曼滤波或扩展的卡尔曼滤波进行跟踪。

然而实际背景下，光照、复杂背景等因素其运动和观测方程是非线性非高斯的，粒子滤波器则可以解决这些问题。粒子滤波器的基本思想是蒙特卡洛模拟，其中系统状态的后验密度由一组带有权重的离散采样（粒子）来表达。主要包括三步：首先是采样阶段，从提议密度中进行采样得到一组新的粒子；其次是观测阶段：计算观测密度；最后计算各个粒子新的权重并输出系统的状态估计，同时对粒子集权重重新采样以获得独立同分布的粒子集。

先验密度描述了对目标状态的预测及该预测的不确定性。目标的状态有不同的表达方式，包括矩形、B样条曲线和椭圆等。

观测密度是在当前图像中对目标的特征如颜色、边缘和光流等进行观测并计算其概率。粒子滤波器的蒙特卡罗模拟的性质决定了要准确的表达后验概率密度需要大量粒子，而对每一个粒子都需要进行观测，因此计算观测密度成为整个粒子滤波器算法最耗时的部分。一般采用均匀剖分颜色空间的直方图来表示颜色的概率密度，但为了提高效率，不得不用较少的直方图区间粗略的表达颜色信息，同时采用近可能少的粒子。Isard等提出了一种融合颜色和边缘信息的采样算法，首先从整个图像中进行全局的肤色检测和分割，然后从分割得到的区域中构造提议密度。

基于Mean Shift的目标跟踪方法

本质上一种梯度下降算法，该算法进行迭代直至收敛到相似函数的局部极大值点。 Mean Shift算法最初由Fukunaga等提出的。1995年Cheng对Mean Shift算法作了改进，他定义了一簇核函数，使得不同的样本点贡献不一样。Comaniciu等将Mean Shift算法成功运用于目标跟踪领域，他们提出了非参量的概率密度建模目标的颜色分布，用目标模型和候选目标模型之间的Bhattacharyya系数作为代价函数来度量概率密度的相似性。通过令代价函数的梯度向量为零从而得到Mean Shift向量。Mean Shift算法一般能够在很少的几步迭代后收敛到代价函数的极值点，即目标的真实位置。 传统的基于均值漂移的跟踪算法通过一阶梯度下降算法将距离测度（代价函数）极小化，寻找目标的真实位置。

基于偏微分方程的目标跟踪方法

基于偏微分方程的跟踪模型一般涉及如下三个关键因素：图像特征的选择、泛函模型的建立和偏微分方程的推导、偏微分方程的求解算法。

Unscented卡尔曼滤波器来解决非线性滤波问题，它采用一组精心选择加权采样点（Sigma点）来表达系统的统计特性，这些采样根据真正的非线性方程进化而无需将其线性化。

给定结点序列及在每个节点的重数，可以方便的构造B样条基函数。

Unscented变换使用一组适当选择的带权重的哦离散采样点（Sigma点）来表征系统状态概率密度的均值和协方差，这组采样点根据非线性方程进行状态预测和观测，而无需线性化。 粒子滤波器的基本思想是蒙特卡罗模拟，其中系统状态的后验分布由一组带有权重的离散采样点（称为粒子）来表达。在跟踪任务中，对于序列图像中的每一帧，粒子滤波器主要涉及粒子采样、对粒子赋予权重及输出几个步骤。采样阶段从提议分布中计算采样一组新的粒子；接下来粒子的权重被赋予真实状态及权重，用于近似估计系统状态的后验概率密度。在算法的最后，需对粒子进行重新采样以获得均匀权重分布。 基于卡尔曼滤波器和Unscented粒子滤波器的跟踪算法采用了次最优的高斯提议密度，使用卡尔曼滤波器和Unsecented卡尔曼滤波器考虑最新的观测信息，这种采样策略有效地将粒子引导到似然函数比较大的区域，因此能极大的减少算法需要的粒子数目。但是这样的话观测过程的总数增加了，因此每帧跟踪时间反而增加了。如果能设计准确的耗时较少的似然函数，Unscented粒子滤波器同样能较少跟踪时间。

基于积分图像的快速粒子滤波器跟踪

因为颜色信息是一种最常见而且重要的信息，它具有平移、旋转不变性和对遮挡及姿态变化不敏感的优点。

粒子滤波器跟踪的基本思想是将目标跟踪问题抽象为系统的状态估计问题，其中系统状态的后验概率密度迭代地通过一组具有权重的离散采样（称为粒子）来近似。

利用积分图像仅仅使用数组索引和加法运算嫩够快速计算出图像中任意矩形区域的灰度均值和方差。

利用二阶信息的Mean Shift目标跟踪算法

Comaniciu等提出的用非参量的概率密度建模目标的颜色分布，用目标模型和候选目标模型之间Bhattacharyya系数作为代价函数来度量概率密度的相似程度。通过Mean Shift向量的迭代收敛到代价函数的极值点，即目标的真实位置。

传统的Mean Shift跟踪算法

非参量核密度估计和Mean Shift迭代 给定d

1p(z)?dnh?K(i?1nz?xi) h称为带宽； hk(z)是核函数，满足如下条件：

sup|K(z)|??

基于Mean Shift的目标跟踪过程主要是基于式的迭代计算，给定目标模型，迭代过程的初始值是目标在前一帧的跟踪位置，目标在当前帧的新位置使Bhattacharyya系数S（Z）极小化。

对于尺度问题，以固定的比率（通常取?10）改变剖面函数的带宽h，进行Mean Shift迭代直至收敛，最后在h、（1?10%）h三个带宽的收敛结果中取使Bhattacharyya系数最小的尺度。

本文来源：https://www.bwwdw.com/article/fmko.html