Issuu on Google+

Scientific Journal of Information Engineering October 2012, Volume 2, Issue 5, PP.121-129

Intelligent Ship-Bridge Collision Avoidance Based on a Modified Gaussian Mixture Model Yuanzhou Zheng1#, Fenfen Yu2, Wentao Zhang3 1. School of Transportation, Wuhan University of Technology, Wuhan 430074, China 2. Jiayu No.1 Senior Middle school of Hubei province, Jiayu Hubei 430063, China 3. National Key Laboratory of Science & Technology-on Multi-Spectral Information processing, Huazhong University of Science and Technology, Wuhan 430074, China Email: zhengyuanzhou0909@163.com

Abstract Faced with increasingly serious security situation in bridge area, a moving ship target detection and tracking method based on the complex background of the bridge area is presented. The background model is based on a modified Gaussian Mixture Model. The algorithm upgrades the background model in real time,Foreground area is extracted by adaptive threshold method by marking each moving region in the binary image, the geometrical features parameters such as width, height, centroid position and speed can be extracted, which lay the foundation for the analysis and track of moving. Ship motion situation calculation module is based on visual geometry model, and calculates the movement state information of target ship’s position in space coordinate, ship’s size, speed, and heading etc. Collision risk prediction and collision avoidance maneuvering decision-making module are combined with ship real-time motion state information, introducing the collision risk to rank term, early warning and collision avoidance maneuvering decision-making. Through calculation of ship maneuvering and collision avoidance related distance parameter of bridge area, collision risk to rank terminology is introduced, and rationalization collision avoidance decisions are formed. Thus, it reaches the ship-bridge collision avoidance warning and precontrolling effect. Experimental results show that the proposed method is robust, real-time and accurate. Keywords: Moving Target Detection; GMM Arithmetic Operators; Visual Geometric Model; Ship Dynamic Monitoring

基于改进型高斯背景建模的船-桥主动避碰算 法研究* 郑元洲 1,余芬芬 2,张文涛 3 1. 武汉理工大学 交通学院,湖北 武汉 430074 2. 湖北省嘉鱼一中,湖北 嘉鱼 430063 3. 华中科技大学 多频信息处理技术国家级重点实验室,湖北 武汉 430074 摘

要:面对日益严峻的桥区安全形势,基于桥区的复杂背景,提出一种基于视频监控的运动船舶目标检测跟踪算法。

算法核心采用基于 GMM 算子建立背景,通过帧差法取得的前景。采用计算机视觉模型,建立摄像机定标模型,取得船 舶的运动状态信息。结合船舶实时运动状态信息,建立碰撞风险预测和防撞决策模块,形成合理化的避碰决策,从而达 到船桥防撞预警和主动避碰效果。实验表明该方法实时性好、精确度高,具有鲁棒性。 关键词:运动目标检测;GMM 算子;视觉几何模型;船舶动态监控 *

本文得到武汉理工大学徐海祥教授国家自然科学基金项目“基于视觉信息感知与操纵知识推理的桥区船舶航行安全研究”资 助,资助编号(50909079) 。 - 121 -


引言 船-桥之间安全问题已成为了当前研究热点。纵观现阶段船-桥防撞研究,桥梁研究和设计人员大都试图 通过对桥梁自身防撞结构的加强,如浇铸大型化桥梁承台构件、设置桥梁墩身防撞套箱以及防撞桩裙等措施, 用以减小船-桥碰撞事故发生造成损失。显然,这些防护装置在保护桥梁自身的同时又很大程度的占用航道可 用水域宽度,从而某种程度上又加大了船舶碰撞桥梁的风险。 文章试图从碰撞的主体—船舶自身出发,通过对船舶航迹的检测与监控,采用视频检测和计算图像机处理 技术相结合的方式,按照相关通航规范要求,对船舶碰撞桥梁态势进行碰撞风险等级判定,并对现有船舶运动 模型求解,给出船舶避碰桥梁的行动参考,从而达到船-桥“主动防撞”的目的,进而指导船舶更安全的通过桥 区水域。

1 运动船舶检测算法 目前,运动物体检测的问题主要分为两类,摄像机固定和摄像机运动。 对于摄像机运动的运动物体检测问题,比较著名的解决方案是光流法,通过求解偏微分方程求的图像序 列的光流场,从而预测摄像机的运动状态[1]。 对于摄像机固定的情形,光流法亦可采用,但是由于光流法的复杂性,往往难以实时的计算因为,在摄 像机固定的情况下,背景的变化是缓慢的,而且大都是光照,摄像机抖动等的影响,通过对背景建模,对一 幅给定图像分离前景和背景,一般来说,前景就是运动物体,从而达到运动物体检测的目的。 帧差法虽然对光照、尺度等环境变化的适应性强,当对于多个目标叠加等问题,容易出现空洞现象,并 不适用于本文环境。 基于像素亮度背景差分法则是目前较为主流的运动检测算法,而其算法关键是建立可以实现实时更新的 背景场景,但针对运动船舶检测场景中存在江面水波干扰、传感器抖动、光照变化、以及图像噪声等客观情 况,本文提出基于高斯混合模型的背景建模型方法。 本文算法流程如图1所示。每帧不断检测目标,同时对目标进行危险等级判定,若危险,得到危险等级, 迅速做出决策命令。若不危险,则继续检测危险目标。 视频输入

目标检测

目标匹配

目标信息

是否危险等级 否

是 决策命令 图 1 算法流程图

本文提出的GMM算法基础上对模型参数的更新方法进行了改进。GMM算法的基本思想是对每个象素建 - 122 -


立K个背景模型,用第一帧图像数据对这K个模型进行初始化。对每一个模型设定统一的背景阈值,如果某个 模型的权值大于该阈值,则认为该模型是背景模型,否则认为该模型描述的是目标。另外,第i个模型的权值 小于某一阈值时,用当前像素重新初始化该模型。 在检测过程中不断更新背景参数,当背景没有发生剧烈变化时,只对单个像素的模型进行更新;当背景 发生剧烈变化时,需要对整体背景模型进行更新,即用当前帧数据初始化权值最大的模型。 单个像素点模型更新的方法如下: 本文对单个像素点模型更新的方法作了一些改进,在权值更新时引入亮度最大间隔MBI(Max Brightness Interval)这一参数,更新率 与MBI相关,其目的在于将出现次数较多的场景设置为背景。 整体模型更新的方法如下: 当背景发生很大变化时(如灯光变化) ,统计被检测为前景的象素个数,若象素个数大于整个图像象素 个数2/3时,令

最小的模型( 表示各模型的权值, 表示各模型的标准差)最大的模型的均值等于当前帧

图像象素值,并让该模型的权值归一化后为0.5,Y通道的方差为400,U、V通道的方差为100。这样,模型能 迅速适应背景的变化。 目标检测完成后,对检测结果进行后处理,包括去阴影,去噪声和空洞填充等。在抑制阴影方面,利用 阴影的HSV特征消除阴影。 我们用各种数据对本算法进行了测试,测试数据包括了不同气候(雾、雨、晴天) ,不同船只数量,不同 远近,以及不同水面波纹情况的各种场景。实验结果给出了检测结果和分割结果,其中检测结果是作了后处理 之后的最终结果,以二值化图像形式显示,被检测的前景为白色,背景为黑色测试。以下是几组比较有代表性 的测试结果。 在确定目标区域时,我们采用的是将上一帧目标区域扩展15%后作为当前目标区域。 在阴影处理方面,以下结果均是采用阴影的HSV特征消除阴影得到的。 实验参数设置:对每个象素建立4个高斯模型,其中3个在检测中使用,第4个作为候补模型,相关参数 如下:

模型为背景时

;模型为前景时

;term是控制更新速度的常数。背景阈值

为0.2;重新初始化的阈值为0.01。 试验在CPU:Core2 dueE7400,内存:2G,操作作系统:Windows 7,仿真软件:VC 6.0,下展开。

图1-2 晴朗天气下检测结果 - 123 -


如图1-2所示的晴朗天气下,目标检测结果,图中从左到右,从上到下,分别为原始图像,背景图像,检 测图像和前景图像,可以发现,检测结果能够克服水波干扰。 如图1-3所示在雨雾天气下,目标检测结果,图中从左到右,从上到下,分别为原始图像,背景图像,检 测图像和前景图像,可以发现,检测结果克服光照等恶劣天气的影响。 如图1-4 (a),(b),(c)分别展示了算法对于多目标的检测结果,由于桥区通行的复杂性,多目标检测也是 考核算法性能指标之一。

图1-3 云雾天气下检测结果

(a)

(b)

(c)

图1-4 多目标检测结果

2 计算机视觉几何模型 由于检测得到的运动船舶目标信息表征在图像坐标系,要正确评估船舶运动姿态需要进行图像坐标系到 - 124 -


空间坐标的转换,本文采用基于单目摄像机的空间姿态角(滚转角、俯仰角和偏航角)转换矩阵。在一般情 况下,我们将传感器的姿态(如图 2)看作由正下视情况经过绕三个坐标系旋转得到,这三个角即滚转角、 俯仰角和偏航角的定义如图 3 所示。于是得到式(2-1)的转换关系。

 x   y      z  

x  R  y   z 

(2-1)

式中,(x' , y' , z' ) 表示摄像机坐标系,(x, y, z) 空间坐标系,旋转矩阵 R ,由式(2-2)得到。

R  R  R  R

图2 x

(2-2)

传感器不同姿态角视场

Z

Z x

x

x

z o0

z

yy

o0

yy

xz

xz

O 0

O 0

Y y

Y y

滚转角

 Xz

Xz x z

Z

x z

Z

y o

o

x

y

x

 

O 0

O 0

Yy

俯仰角

Yy 偏航角

Xz

Xz

图 3 摄像机的空间姿态角 - 125 -


式中,,, 分别为滚转角,俯仰角,偏航角。而转换的顺序是地面坐标系先转动偏航  ,然后转动 俯仰角  ,最后滚转角 ,得到摄像机坐标系。 0   cos( ) sin( )  R   sin( ) cos( ) 0  0 cos( )  sin( ) 1 R  0 0 R

0

 sin( )  cos( )  0

cos( )  sin( )

 cos( )  0    sin( ) 

0 1 0

sin()  0   cos( )  

将空间坐标系转换到摄像机坐标系后,再按照成像原理,将其投影到图像坐标系上。首先考虑传感器正 下视情况如图 5 所示,有几何关系式,如(2-3)[4]:

 x    x  y    0     z    0

0 y 0

0 u  0 v  1  z 

(2-3)

式中,u  i  N / 2, v  j  M / 2 , i, j 为图像坐标,M, N 为成像分辨率长和宽。 x , y 分别为其视场角。而其中  X , Y 为投影系数:  x  2H  tg ( x / 2) / N ,  y  2H  tg ( y / 2) / M

而有相机内参数决定的几何关系在一般姿态下仍然成立[5]。考虑到江平面上的船只在同一高度,若以摄 像机点为原点,则船只垂直高度坐标 z 为  H (摄像机与江平面高度差)结合上面各公式即有[4]:  x 0   0

0 y 0

0 u  x     0 v   R  y   H  1  z 

(2-4)

( M , N , x , y , H ,  , , ) 等参数从外界输入,结合监控模块输入的图像坐标系的坐标点得到空间坐标 系。

3 船舶危险等级预判与决策 由上述算法,我们已经得到了运动船舶在空间中的位置,并且能相应地计算出船舶的大小、航速、航向、 船首方向等运动态势信息。

3.1 船舶减速制动、倒车时程计算 1、船舶减速制动时程计算 根据 Topley 船长提出的船舶减速行进距离经验公式[2]: C  v0  v1    S J   v1t  1  2  t / C   / 60  0.693  

式中: S J -停车惯性距离(m) ;

v1 -船舶停车或抛锚时船速(取 3kn); v0 -船舶停车初始速度(桥区取 10kn); t -船舶停车冲时(按式 3-2 求取,min); C -船速减半时间常数(按表 1 求取,min); 冲时( T )是指从船舶操控制动点开始至惯性消失止所需的时间。可按公式 3-2 求取[1]: - 126 -

(3-1)


v1  v0  e t /Tst

(3-2)

其中: v1 -船舶在冲程时间内,任意时刻的船速(m/s) ;

Tst -船舶减速时间常数, Tst  C / ln 2 , C 可根据排水量查表 1 取得; 表1

船速减半时间常数 C

排水量(t)

C(min)

排水量(t)

C(min)

排水量(t)

C(min)

1000

1

36000

8

120000

15

3000

2

45000

9

136000

16

6000

3

55000

10

152000

17

10000

4

66000

11

171000

18

15000

5

78000

12

190000

19

21000

6

91000

13

210000

20

28000

7

105000

14

2、 船舶倒车时程计算 倒车冲时和冲程可用式 3-3~4 进行计算:

t  0.00089 

v0

S RE  0.0121

R0

v02 R0

(3-3)

(3-4)

式中:  -船舶排水量(t) ;

v0 -船舶倒车初始速度(kn); R0 -船舶 v0 速度下的阻力( 9.81KN ); t -船舶倒车冲时(min); SRE -船舶倒车冲程(m); 船舶阻力 R0 的求取采用经修正的兹万科夫公式 3-5 求取: R0  f v1.83   AM v1.70.03v

(3-5)

式中: f -傅汝德摩擦系数,按 3-6 计算:

 

f    0.1392 

0.258   1  0.0043 15  t  2.68  L 

(3-6)

 -浸水面积(m2); v -船速(m/s);  -剩余阻力系数,按式 3-7 计算: 

17.36m 2.5 3

 L    2  6B 

 -方形系数; AM -浸水中剖面积(m2);  --水比重(KN/M 3),淡水 9.81 ,海水 10.06 ; L -船舶水线面船长(m); t -水温,(℃); B -水线面船宽(m); m -螺旋桨隧道影响因子,无隧道螺旋桨,船取 1.0;有隧道桨船取 1.2。 - 127 -

(3-7)


3.2 船舶拖锚淌航距离计算 根据动能定理,在假定拖锚淌航时锚抓力恒定的情况下有(式 3-8) :

Pa ST 

1 2 mv 2

(3-8)

式中: Pa -拖锚时锚抓力(KN) ;

ST -拖锚淌航距离(m); m -船体质量(t); v -拖锚时船舶余速(m/s); 对式 3-8 作变换等到式 3-9:

S  0.0135

vk2 Pa

(3-9)

式中:  -船舶排水量(t) ;

Pa ----拖锚时锚抓力( 9.81KN ); 3.3 船舶失速漂航距离计算 计算船舶桥区失速漂航冲距 S c 来判定船舶离桥梁的危险程度,可为船舶主动避撞桥梁提供理论参考。可 按式 3-10 计算:

S c   0  Tst (1  e T / Tst ) cos   U  T  cos 

(3-10)

从船舶预控安全的角度考虑,我们可以将冲距 S c 简化成船舶漂航距离,同时 S c 也作为衡量船舶在该距 离时与桥梁有碰撞危险的标准距离。即得到式 3-11:

Sdrift  Sc

(3-11)

3.4 船舶旋回纵距计算 根据 IMO 的设计设备小组委员会(IMO-DE)对船舶操纵性能进行了研讨,我们取 Ad 为 4 倍的船长作为考 核船-桥碰撞的安全距离的上限,见式 3-12:

Ad  4 L

(3-12)

3.5 船舶撞桥危险等级距离标定 引入《国际海上避碰规则》关于碰撞风险的等级术语。将桥墩等效为航道对地静止船舶,桥区航行船舶 与桥梁桥墩之间风险等级可以用“碰撞危险”、“紧迫局面”、“紧迫危险”来描述。 一、 船舶撞桥风险预判与系统决策指令 1、“碰撞危险”( D1 )预判与系统指令 (1)预判 1)船舶偏离航迹带且船首向异常(即产生过大风流压差角); 2)船舶失控漂���距离 S drift 小于船舶距桥墩距离 Sdis tan ce 。 (2)系统决策指令 根据航迹偏离量发出操舵指令,利用声光报警提请船舶驾驶人员注意航迹控制以及船舶碰撞桥梁的相关风 险。 2、“紧迫局面”( D2 )预判与系统指令 (1) 预判 1)满足 D2  D1 ; 2)船-桥纵向距离小于船舶倒车冲程,即 D2  S RE 。 - 128 -


(2) 系统决策指令 船舶主动减速,待船速降至合理抛锚速度抛锚进行拖锚制动。 3、“紧迫危险”( D3 )预判与系统指令 (1) 预判 1) D3  D2 ; 2)船-桥纵向距离小于船舶满舵旋回进距 Ad ,即 D3  Ad  4 L 。 (2) 系统决策指令 此时应考虑到组合制动方式,采取满舵旋回并辅以全速倒车,待船速降至合理锚泊速度时迅速拖锚制动 的方式进行主动避让。

4 结语 初步的实验结果表明,算法对桥区背景的运动目标识别具有很好的精确性,本文识别精确程度不仅取决 于本文算法,而且和具体的实验参数和相关数据有关,诸如传感器参数、桥区环境参数、相关判决准则等。 这些都对目标识别,危险等级预判,有重要影响。 实验现场采集数据为桥区船舶正常航行过桥工况所得,算法运行结果与论文设定危险等级较为吻合,接 近于实际操作,具有一定的可行性。在算法的调试中,我们对部分参数进行合理变换,如大幅度的修改船舶 偏航角、初始航向角、船舶与桥墩之间的距离等,通过调试会显示出较高碰撞危险等级,结论符合实际工况。 参考文献 [1] Xu Yan-min. Research on simulation-based pre-control of ship navigation safety in bridge area[D]. Shanghai Jiaotong University, 2010. (In Chinese) [2] Zhao Yue-lin. Ship Manuevering[M]. Da lian: Dalian maritime university press, 2000, p19. (In Chinese) [3] Chen Xiang-ping, Li Sheng-hong. Identifying computer generated images based on analysis of image noise[J]. Journal of Optoelectronics-Lase[J]. Feb. 2010, Vol.21 No.2. (In Chinese) [4] Liu Xiao-liang. The detection discrimination and processing of the object picture in site monitoring system[D]. Xi’an University of Technology, 2008 [5] Li Xian-bin. Near-Duplicate Image Detection and Application[D]. University of Science and Technology of China. (In Chinese)

【作者简介】 郑元洲(1979-),男,汉,远洋一等船长,博士研究生,交通信息工程及控制、海洋结构 物安全性研究方向。2000.07 毕业于武汉理工大学;2000.07-2007.08 于中国海运集团先后 担任远洋船舶驾驶员、船长;2007.09 至今于武汉理工大学攻读交通信息工程及控制硕士研 究生、海洋工程结构博士研究生。 Email: zhengyuanzhou0909@163.com

- 129 -


Intelligent Ship-Bridge Collision Avoidance Based on A modified Gaussian Mixture Model