Xin Xi Gong Cheng Qi Kan

Scientific Journal of Information Engineering

Moving Object Tracking Based on EKF and Mean Shift Liwei Chen, Yanli Jia*, Huan Liu, Dongxue Zhang Harbin Engineering University, Harbin, Heilongjiang, 150001, China Email:jiayanli@hrbeu.edu.cn Abstract: Kalman filter is a traditional method of optimal estimation which is appropriate for linear and Gaussian model. But in practical application, there are many nonlinear and non-Gaussian models, and Extend Kalman filter is mainly used for nonlinear model. In this paper, Extend Kalman filter and Mean shift are combined to track the moving object. Firstly Extend Kalman filter is used to predict the next possible position of the object at target center. Secondly, mean shift is adapted to search moving target later. Experiment results show that this method reduces the time for searching object, thus it improves the speed of tracking target. Key words: Image sequence; Extend kalman filter; Mean shift; Object tracking

1

1.1 扩展卡尔曼滤波原理 扩展卡尔曼滤波（Extend Kalman Filter）的基本思想是将非线性模型在状态估计值附近进行泰勒级数展开后一 阶截断，得到的一阶近似项作为原来状态方程和观测量的近似表达式，应用线性卡尔曼滤波获得状态估计。扩展卡 尔曼优点是算法计算简单因此易于实现。它采用局部线性化技术来得到问题的局部最优解，能否收敛于全局最优解 要看函数非线性的强度和对展开点的选择。此外，扩展卡尔曼滤波的滤波效果还与系统状态噪声和观测噪声有关， 在滤波过程中EKF的系统状态噪声和观测噪声的协方差保持不变，如果这两个噪声的协方差估计的不准确导致误差 的累积[2]容易使滤波结果发散。另外，EKF的初始状态和协方差较大时也会导致滤波器发散。具体EKF的实现如下： 系统方程：

xk  f ( xk 1 , uk 1 , wk 1 )

(1)

SJIE Apr. 2012 Vol.2 No.2 PP.46-51 www.sjie.org © 2011 American V-King Scientific Publishing, LTD | 46

Xin Xi Gong Cheng Qi Kan

Scientific Journal of Information Engineering 观测方程：

yk  h( xk , vk )

(2)

xk  f ( x k 1 , uk 1 , 0)

(3)

^

yk  h( x k , 0)

(4)

xk  xk  A( xk 1  x k 1 )  Wwk 1

(5)

^

zk  zk  H ( xk  x k )  Vvk

(6)

A[ i , j ] 

f[ i ] x[ j ]

W[ i , j ] 

H[i, j ] 

V[ i , j ] 

^

( x k 1 , uk 1 , 0)

f[ i ] w[ j ] h[ i ] x[ j ]

h[ i ] v[ j ]

(7)

^

( x k 1 , uk 1 , 0)

(8)

( x k , 0)

(9)

( x k , 0)

(10)

xˆk  f ( x k 1 , uk 1 , 0)

(11)

Pk  Ak Pk 1 AkT  Wk Qk 1WkT

(12)

K k  Pk H kT ( H k Pk H kT  Vk Rk VkT ) 1

(13)

xˆk  xˆk  K k ( yk  h( xˆk , 0))

(14)

Pk  ( I  K k H k ) Pk

(15)

2

Mean shift 算法原理 Mean shift 算法是基于梯度的无参数密度估计上的一种方法，因为传统的参数密度估计均是服从一个已知的概

Xin Xi Gong Cheng Qi Kan

Scientific Journal of Information Engineering

 k( x ) 2

(16)

(3) k 分段连续，并且 k (r )dr   。 0

f ( x) 

nh ^

f ( x) 

d

x  xi

i 1

h

k

d

i 1

(17)

)

 x  xi

n

1 nh

n

 k(

2

h

  

(18)

，轮廓 k ( x) 的梯度在除去个别点的所有 x  0 区间均存在，g ( x)

n

 mh , G ( x ) 

xi g (

)

h

i 1 n

x  xi

i 1

h

 g(

2

x

2

(19)

)

mh ,G ( x) 

1

n

(x n

i

 x)

(20)

i 1

Mean shift 算法循环时给定 x 一个初始点，核函数 G ( x) 允许有误差  ，具体需要执行以下三步： （1）

（2）

（3）

3

mh ,G ( x )  x   时循环结束，否则返回步骤（1）。

EKF 与均值漂移结合的跟踪算法

3.1 传统的均值漂移用于目标跟踪 Mean shift 用于目标跟踪时需要建立目标模板、候选模型、选取相似性度量系数，通过求相似函数的最大值来 求目标的 Mean shift 向量，是运动目标收敛于真实位置，最终达到对目标的跟踪。目标模板模型和候选模型如 3-1、 3-2 所示：

 x0  xi 2  qu  C  k   [b( xi )  u ] h   ^

n

(21)

i 1

SJIE Apr. 2012 Vol.2 No.2 PP.46-51 www.sjie.org © 2011 American V-King Scientific Publishing, LTD | 48

Xin Xi Gong Cheng Qi Kan

Scientific Journal of Information Engineering ^

 y  xi 2   [b( xi )  u ]  h 

n

p u ( y )  Ch  k  i 1

(22)

^

m

 ( y )   ( p( y ), q)  

^

^

p u ( y ), qu

(23)

u 1

^

  h i 1   y1  2 n  y x   wi g  0 h i  i 1   nh

 y0  xi

2

xi wi g 

(24)

h

3.2 扩展卡尔曼与均值漂移结合实现目标跟踪 扩展卡尔曼与 Mean shift 结合的具体步骤如下： (1)通过手动确定运动目标在起始图像帧中的运动区域，扩展滤波器的初始状态向量为(xm; 0; ym; 0)，其中 m=1。 起始速度为零。 (2)通过扩展卡尔曼滤波器来预测第 m=1 帧图像上运动目标的中心坐标(xkm+1; y km+1)。

(3)以（2）中扩展卡尔曼滤波器预测出的目标位置(xkm+1; ykm+1)为中心在第 m  1 中设置一个略微大于上一帧的 目标实际大小的搜索窗口，求出该搜索窗口内的投影图，在使用 Mean shift 算法找到运动目标的质心位置坐标(xmm+1; ymm+1)，以此坐标坐为目标的真实的位置。 (4)将（3）步中目标的真实位置坐标送入扩展卡尔曼滤波器的观测模型中，对此时状态滤波值校正。 (5)m=m+1，重复上述内容即完成简单目标的连续跟踪。

4

4.1 扩展卡尔曼的运动估计 为了验证该滤波器的性能优越于扩展卡尔曼滤波器，给定一个静态增长模型：

xk 

xk 1 25 xk 1   8 cos(1.2k )  wk 1 2 1  xk21 yk 

xk2  vk 20

(25)

(26)

Xin Xi Gong Cheng Qi Kan

Scientific Journal of Information Engineering

20

10 真实值 观测值 EKF估 计 值

15

9 8

10 7 6

EKF-mse

state

5 0

5 4

-5

3 -10 2 -15 -20

1

0

10

20

30

40

50 60 time step

70

80

90

100

0

0

10

20

30

40

50 60 time step

70

80

90

100

4.2 扩展卡尔曼与均值漂移结合的运动目标跟踪 为了验证上述扩展卡尔曼与均值漂移结合的目标跟踪算法的有效性，选取视频图像序列，共 125 帧，在第一帧 手动选取初始跟踪窗，选取其中的 59、88、103 帧来说明跟踪效果，图 3 为改进跟踪算法与单独 Mean shift 跟踪的 效果对比图。

5

D Comaniciu, V Ramesh, P Meer. Real-time tracking of non-rigid objects using mean-shift[J]. IEEE Conference on Computer Vision and Pattern Recognition, 2000, 2:142-143.

[2]

Greg Welch, Gary Bishop. An Introduction to the Kalman Filter[M]. UNC-Chapel Hill, TR95-041, July 24, 2006.

[3]

PengNing-song, Yang Jie, Liu Zh.iMean shift blob track-ing with kernel histogram filtering and hypothesis testing[J]. Pattern Recognition SJIE Apr. 2012 Vol.2 No.2 PP.46-51 www.sjie.org © 2011 American V-King Scientific Publishing, LTD | 50

Scientific Journal of Information Engineering

Xin Xi Gong Cheng Qi Kan

Letters, 2005, 26 (5): 605-614. [4]

Kalman R E． A new approach to linear filtering and prediction problems[J]．Transaction of the ASME--Journal of Basic Engineering， 1960，82 ( Series D): 5-45.

[5]

Yizong Chen. Meanshift, Mode seeking, and Clustering. IEEE Transactions. On Pattern Analysis and Machine Intelligence, August 1995, 17(8): 790-799.

[6]

Gordon NJ, Salmond DJ, Smith AEM. Novel approach to non-linear/no-Gaussian Bayesian state estimation[J]. IEEE Proceeding Radar and Signal Processing, 1993,140(2):107-113

[7]

【作者简介】 陈立伟（1974-） ，女，汉族，毕业于哈尔滨工程大学，工学博士学位，副教授、硕士生导师，研究方向：智能信息 处理、语音及图像信号处理。Email: Chenliwei@hrbeu.edu.cn。 贾 艳 丽 （ 1986- ）， 女 ， 汉 族 ， 哈 尔 滨 工 程 大 学 在 读 硕 士 研 究 生 ， 研 究 方 向 ： 图 像 处 理 。 Email:jiayanli@hrbeu.edu.cn。

51 | SJIE Apr. 2012 Vol.2 No.2 PP.46-51 www.sjie.org © 2011 American V-King Scientific Publishing, LTD

Moving Object Tracking Based on EKF and Mean Shift

Kalman filter is a traditional method of optimal estimation which is appropriate for linear and Gaussian model. But in practical application...