Issuu on Google+

Xin Xi Gong Cheng Qi Kan

Scientific Journal of Information Engineering

基于 EKF 和均值漂移的运动目标跟踪 陈立伟,贾艳丽,刘欢,张冬雪 哈尔滨工程大学 信息与通信工程学院,黑龙江 哈尔滨 150001 摘 要:卡尔曼滤波算法是一种传统的最优估计方法,适用于线性、高斯模型。但是实际应用中有很多非线性、非高斯的模型, 而扩展卡尔曼滤波主要用来解决非线性滤波问题。本文主要将扩展卡尔曼滤波与 Mean shift 算法结合起来用于运动目标跟踪, 通过利用扩展卡尔曼在目标中心位置预测出目标可能出现的位置,再利用 Mean shift 搜索,实验证明该方法减少了搜索目标的时 间,从而提高了目标跟踪的速度。 关键词:图像序列;扩展卡尔曼;均值漂移;目标跟踪

Moving Object Tracking Based on EKF and Mean Shift Liwei Chen, Yanli Jia*, Huan Liu, Dongxue Zhang Harbin Engineering University, Harbin, Heilongjiang, 150001, China Email:jiayanli@hrbeu.edu.cn Abstract: Kalman filter is a traditional method of optimal estimation which is appropriate for linear and Gaussian model. But in practical application, there are many nonlinear and non-Gaussian models, and Extend Kalman filter is mainly used for nonlinear model. In this paper, Extend Kalman filter and Mean shift are combined to track the moving object. Firstly Extend Kalman filter is used to predict the next possible position of the object at target center. Secondly, mean shift is adapted to search moving target later. Experiment results show that this method reduces the time for searching object, thus it improves the speed of tracking target. Key words: Image sequence; Extend kalman filter; Mean shift; Object tracking

引言 Mean shift 算法是一种无参估计算法,是以颜色作为特征,基于颜色直方图进行目标跟踪,该算法不对物体的 运动做任何预测,它的抗干扰能力差,由于具有良好的实时性、鲁棒性,已经受到国内外越来越多研究人员的关注 [1]。 但是该算法是在图像中对运动目标的中心位置进行搜索,从而限制了运动目标跟踪的实时性,针对 Mean shift 的不 足且要能准确的跟踪目标,提高算法的实时性,而采取扩展卡尔曼滤波和 Mean shift 算法结合来对运动进行跟踪。 在搜索目标中心位置时先利用扩展卡尔曼滤波预测出目标在当前帧中可能出现的位置,再利用 Mean shift 搜索,这 样就可以大大节省搜索的时间从而提高跟踪的速度。

1

扩展卡尔曼滤波

1.1 扩展卡尔曼滤波原理 扩展卡尔曼滤波(Extend Kalman Filter)的基本思想是将非线性模型在状态估计值附近进行泰勒级数展开后一 阶截断,得到的一阶近似项作为原来状态方程和观测量的近似表达式,应用线性卡尔曼滤波获得状态估计。扩展卡 尔曼优点是算法计算简单因此易于实现。它采用局部线性化技术来得到问题的局部最优解,能否收敛于全局最优解 要看函数非线性的强度和对展开点的选择。此外,扩展卡尔曼滤波的滤波效果还与系统状态噪声和观测噪声有关, 在滤波过程中EKF的系统状态噪声和观测噪声的协方差保持不变,如果这两个噪声的协方差估计的不准确导致误差 的累积[2]容易使滤波结果发散。另外,EKF的初始状态和协方差较大时也会导致滤波器发散。具体EKF的实现如下: 系统方程:

xk  f ( xk 1 , uk 1 , wk 1 )

(1)

SJIE Apr. 2012 Vol.2 No.2 PP.46-51 www.sjie.org © 2011 American V-King Scientific Publishing, LTD | 46


Xin Xi Gong Cheng Qi Kan

Scientific Journal of Information Engineering 观测方程:

yk  h( xk , vk )

(2)

上式中uk为控制输入量,wk-1 、vk 分别为系统过程噪声和观测噪声,且均为零均值噪声,实际中我们不知道迭 代中的噪声wk-1、v k ,可以预先设为零,则系统状态方程和观测方程转化为: ^

xk  f ( x k 1 , uk 1 , 0)

(3)

^

yk  h( x k , 0)

(4)

其中xk为k时刻的后验状态估计。将(1-1)、(1-2)线性化如下: ^

xk  xk  A( xk 1  x k 1 )  Wwk 1

(5)

^

zk  zk  H ( xk  x k )  Vvk

(6)

其中A、W、H、 V 均是雅克比矩阵,分别是函数 f 对 x 和 w、函数 h 对 x、v 的一阶偏导数:

A[ i , j ] 

f[ i ] x[ j ]

W[ i , j ] 

H[i, j ] 

V[ i , j ] 

^

( x k 1 , uk 1 , 0)

f[ i ] w[ j ] h[ i ] x[ j ]

h[ i ] v[ j ]

(7)

^

( x k 1 , uk 1 , 0)

(8)

( x k , 0)

(9)

( x k , 0)

(10)

忽略系数的下标,最后推到出扩展卡尔曼滤波的计算公式如下: 状态更新方程: ^

xˆk  f ( x k 1 , uk 1 , 0)

(11)

Pk  Ak Pk 1 AkT  Wk Qk 1WkT

(12)

K k  Pk H kT ( H k Pk H kT  Vk Rk VkT ) 1

(13)

xˆk  xˆk  K k ( yk  h( xˆk , 0))

(14)

测量更新方程:

Pk  ( I  K k H k ) Pk

(15)

上式中: Pk 先验估计协方差, Pk 为后验估计协方差, K k 为卡尔曼增益, Qk 和 Rk 分别为过程噪声和观测噪声 的方差。

2

Mean shift 算法原理 Mean shift 算法是基于梯度的无参数密度估计上的一种方法,因为传统的参数密度估计均是服从一个已知的概

率密度函数,该密度函数一般为典型的函数,大多数是单峰函数,但是在计算机视觉问题中应用的密度分布大部分 47 | SJIE Apr. 2012 Vol.2 No.2 PP.46-51 www.sjie.org © 2011 American V-King Scientific Publishing, LTD


Xin Xi Gong Cheng Qi Kan

Scientific Journal of Information Engineering

为多峰、多变量函数,因此无参数密度估计能很好的处理和解决这个问题。Mean shift 算法是基于核的目标跟踪, 核函数对区间内的数据进行加权处理的方法不但能增强了表达的光滑性,而且对中小规模的数据集有很好的实用 性,在生成无偏密度估计时速度很快,概率统计特性也很好 [3]。Mean shift 的基本原理如下: 假设 d 维欧式空间中 X ,设有一个 n 点的集合 S   xi | i  1...n , K ( x ) 为该空间的核函数,核函数是表示在接 2

下来的均值估计中的贡献, x 的权值越大其贡献就越大。用于 Mean shift 的核 k 一般为 x 的函数,如下所示: K ( x)

 k( x ) 2

(16)

且 k 满足下面条件: (1) k 非负。 (2) k 非增,如 a  b ,那么 k (a)  k (b) 。 

(3) k 分段连续,并且 k (r )dr   。 0

利用核函数,核宽为 h ,那么在点 x 处的多变量核密度估计由(2-1)表示为(2-2): 1

f ( x) 

nh ^

f ( x) 

d

x  xi

i 1

h

k

d

i 1

(17)

)

 x  xi

n

1 nh

n

 k(

2

h

  

(18)

,轮廓 k ( x) 的梯度在除去个别点的所有 x  0 区间均存在,g ( x)

定义 k ( x) 的负导数为 g ( x) ,有 g (x)  k (x) '

对应的核函数为 G( x)  Cg ( x ) ,其中 C 定义为归一化常量,对(2-3)取梯度,在经过一系列化简最后可以得 2

到 Mean shift 向量: x  xi

n

 mh , G ( x ) 

xi g (

)

h

i 1 n

x  xi

i 1

h

 g(

2

x

2

(19)

)

假设 g ( x)  1 ,上式就可变成:

mh ,G ( x) 

1

n

(x n

i

 x)

(20)

i 1

Mean shift 算法循环时给定 x 一个初始点,核函数 G ( x) 允许有误差  ,具体需要执行以下三步: (1)

计算 Mean shift 向量 mh ,G ( x ) ;

(2)

将 mh ,G ( x ) 赋值给 x;

(3)

3

mh ,G ( x )  x   时循环结束,否则返回步骤(1)。

EKF 与均值漂移结合的跟踪算法

3.1 传统的均值漂移用于目标跟踪 Mean shift 用于目标跟踪时需要建立目标模板、候选模型、选取相似性度量系数,通过求相似函数的最大值来 求目标的 Mean shift 向量,是运动目标收敛于真实位置,最终达到对目标的跟踪。目标模板模型和候选模型如 3-1、 3-2 所示:

 x0  xi 2  qu  C  k   [b( xi )  u ] h   ^

n

(21)

i 1

SJIE Apr. 2012 Vol.2 No.2 PP.46-51 www.sjie.org © 2011 American V-King Scientific Publishing, LTD | 48


Xin Xi Gong Cheng Qi Kan

Scientific Journal of Information Engineering ^

 y  xi 2   [b( xi )  u ]  h 

n

p u ( y )  Ch  k  i 1

(22)

其中,k(x)为核函数,h 为核宽,δ 函数和 b 函数的作用是来判断像素值 xi 的特征值是否为 u,C、Cn 为归一化 常数。 Bhattacharyya 系数可以用来描述目标模型和目标候选模型之间的相似程度或匹配程度,它的表面含义是两个向 量之间夹角的余弦值。定义如下: ^

^

m

 ( y )   ( p( y ), q)  

^

^

p u ( y ), qu

(23)

u 1

^

将上述 Bhattacharyya 系数在 p u ( y0 ) 处进行泰勒级数展开,由均值漂移的无参密度估计可得到下一时刻目标 y1 的中心迭代式:

  h i 1   y1  2 n  y x   wi g  0 h i  i 1   nh

 y0  xi

2

xi wi g 

(24)

h

通过求 y1 完成了一次均值平移,令 y1  y0 后进行下一次均值平移,最终完成目标的定位。

3.2 扩展卡尔曼与均值漂移结合实现目标跟踪 扩展卡尔曼与 Mean shift 结合的具体步骤如下: (1)通过手动确定运动目标在起始图像帧中的运动区域,扩展滤波器的初始状态向量为(xm; 0; ym; 0),其中 m=1。 起始速度为零。 (2)通过扩展卡尔曼滤波器来预测第 m=1 帧图像上运动目标的中心坐标(xkm+1; y km+1)。

(3)以(2)中扩展卡尔曼滤波器预测出的目标位置(xkm+1; ykm+1)为中心在第 m  1 中设置一个略微大于上一帧的 目标实际大小的搜索窗口,求出该搜索窗口内的投影图,在使用 Mean shift 算法找到运动目标的质心位置坐标(xmm+1; ymm+1),以此坐标坐为目标的真实的位置。 (4)将(3)步中目标的真实位置坐标送入扩展卡尔曼滤波器的观测模型中,对此时状态滤波值校正。 (5)m=m+1,重复上述内容即完成简单目标的连续跟踪。

4

实验仿真结果

4.1 扩展卡尔曼的运动估计 为了验证该滤波器的性能优越于扩展卡尔曼滤波器,给定一个静态增长模型:

xk 

xk 1 25 xk 1   8 cos(1.2k )  wk 1 2 1  xk21 yk 

xk2  vk 20

(25)

(26)

上式中 4-1 为系统过程方程,4-2 为系统观测方程,wk、vk 分别为过程噪声和观测噪声,Rk、Q k 分别为 wk、vk 的 均方差,在本文设 R k、Qk 服从正态分布 N(0; 10)、N(0; 1),EKF 的采样点设为 100,下图 1 为扩展卡尔曼滤波器的 估计结果,图 2 为扩展卡尔曼的均方误差。 由图 1,黑色的估计值曲线大致与蓝色真实值曲线重合,由此可以判断扩展卡尔曼对非线性系统模型的估计是 较为准确的,图 2 反映了扩展卡尔曼估计值与真实值之间的均方误差。在起始点是误差较大,逐渐趋于平稳。 49 | SJIE Apr. 2012 Vol.2 No.2 PP.46-51 www.sjie.org © 2011 American V-King Scientific Publishing, LTD


Xin Xi Gong Cheng Qi Kan

Scientific Journal of Information Engineering

20

10 真实值 观测值 EKF估 计 值

15

9 8

10 7 6

EKF-mse

state

5 0

5 4

-5

3 -10 2 -15 -20

1

0

10

20

30

40

50 60 time step

70

80

90

100

图 1 EKF 运动估计仿真结果

0

0

10

20

30

40

50 60 time step

70

80

90

100

图 2 EKF 估计值的均方误差

4.2 扩展卡尔曼与均值漂移结合的运动目标跟踪 为了验证上述扩展卡尔曼与均值漂移结合的目标跟踪算法的有效性,选取视频图像序列,共 125 帧,在第一帧 手动选取初始跟踪窗,选取其中的 59、88、103 帧来说明跟踪效果,图 3 为改进跟踪算法与单独 Mean shift 跟踪的 效果对比图。

5

结束语 本文在扩展卡尔曼对目标运动估计的基础上,将其与 Mean shift 算法相结合实现运动目标跟踪,实验表明,相

结合后的算法缩短了目标跟踪的时间,对准确跟踪运动目标也有了一定的改善。

图 3 改进跟踪算法与单独 Mean shift 跟踪的效果对比图

参考文献 [1]

D Comaniciu, V Ramesh, P Meer. Real-time tracking of non-rigid objects using mean-shift[J]. IEEE Conference on Computer Vision and Pattern Recognition, 2000, 2:142-143.

[2]

Greg Welch, Gary Bishop. An Introduction to the Kalman Filter[M]. UNC-Chapel Hill, TR95-041, July 24, 2006.

[3]

PengNing-song, Yang Jie, Liu Zh.iMean shift blob track-ing with kernel histogram filtering and hypothesis testing[J]. Pattern Recognition SJIE Apr. 2012 Vol.2 No.2 PP.46-51 www.sjie.org © 2011 American V-King Scientific Publishing, LTD | 50


Scientific Journal of Information Engineering

Xin Xi Gong Cheng Qi Kan

Letters, 2005, 26 (5): 605-614. [4]

Kalman R E. A new approach to linear filtering and prediction problems[J].Transaction of the ASME--Journal of Basic Engineering, 1960,82 ( Series D): 5-45.

[5]

Yizong Chen. Meanshift, Mode seeking, and Clustering. IEEE Transactions. On Pattern Analysis and Machine Intelligence, August 1995, 17(8): 790-799.

[6]

Gordon NJ, Salmond DJ, Smith AEM. Novel approach to non-linear/no-Gaussian Bayesian state estimation[J]. IEEE Proceeding Radar and Signal Processing, 1993,140(2):107-113

[7]

张旭光, 赵恩良, 王延杰. 基于 Mean-shift 的灰度目标跟踪新算法[J]. 光学技术, 2007, 33, (2): 226-228.

【作者简介】 陈立伟(1974-) ,女,汉族,毕业于哈尔滨工程大学,工学博士学位,副教授、硕士生导师,研究方向:智能信息 处理、语音及图像信号处理。Email: Chenliwei@hrbeu.edu.cn。 贾 艳 丽 ( 1986- ), 女 , 汉 族 , 哈 尔 滨 工 程 大 学 在 读 硕 士 研 究 生 , 研 究 方 向 : 图 像 处 理 。 Email:jiayanli@hrbeu.edu.cn。

51 | SJIE Apr. 2012 Vol.2 No.2 PP.46-51 www.sjie.org © 2011 American V-King Scientific Publishing, LTD


Moving Object Tracking Based on EKF and Mean Shift