复杂动态背景下的红外运动多目标跟踪与检测

复杂动态背景下的红外运动多目标跟踪与检测

第37卷第1期光电工程Vol.37,No.12010年1月Opto-ElectronicEngineeringJan,2010文章编号：1003-501X(2010)01-0049-06复杂动态背景下的红外运动多目标跟踪与检测1211石文君，王登位，徐海全，汪浩(1.海军航空工程学院研究生管理大队，山东烟台264001；2.华中科技大学图像识别与人工智能研究所，武汉430074)摘要：提出了一种采用小波变换对复杂动态背景变化程度的检测方法。对红外序列图像进行小波变换预处理后，可以提取出若干个特征区域，通过检测这些特征区域的差异来判断背景的变化程度，实现背景抑制。在抑制动态背景的基础之上，运用基于动态先验知识的区域主动轮廓模型的水平集方法来实现红外多目标的数据关联和跟踪，动态先验知识包括形状描述因子、灰度特征和运动特征等。同时，在多目标跟踪中存在目标“合并和分裂”的现象，运用“记忆和填充”方法来实现对多目标的稳定跟踪。通过对实际复杂动态背景条件下的红外序列图像进行多目标跟踪和检测实验，验证了所提方法的可行性和有效性。关键词：小波变换；区域主动轮廓模型；合并和分裂；记忆和填充中图分类号：TP391.4文献标志码：Adoi：10.3969/j.issn.1003-501X.2010.01.09TrackingandDetectionofMovingInfraredMulti-targetinComplexDynamicBackground1211SHIWen-jun，WANGDeng-wei，XUHai-quan，WANGHao(1.GraduateStudentsBrigadeofNavalAeronauticalandAstronauticalUniversity,Yantai264001,ShandongProvince,China;2.PatternRecognitionandIntelligentSystem,HuazhongUniversityofScienceandTechnology,Wuhan430074,China)Abstract:Anefficientapproachbasedonwavelettransformispresentedtodetectthevariationdegreeofdynamicbackground.Firstly,somecandidateregionscanbeobtainedbyprocessingIRdatathroughwavelettransform,thenthedegreeofthedifferencebetweencurrentandreferencedbackgroundcanbejudgedthroughdetectingthedifferenceoftheabovefeatureregions.Finally,somesmallmovingcandidatetargetscanbedetectedbyeliminatingbackground.Aftereliminatingbackground,dataassociationandrobusttrackingofthosetargetscanberealizedbylevelsettrackingmethodbasedonregion-basedactivecontourwithdynamicpriors.Dynamicpriorsincludeshapedescriptor,intensityinformation,movingfeaturesandetc.Inaddition,targets’mergingandsplittingphenomenaoccasionallyariseduringmulti-targettracking.Thisproblemcanbesolvedby‘memorizingandfilling’.Theproposedapproachisvalidatedtotrackmulti-targeteffectivelybyusingactualinfraredimagesequenceswithcomplexdynamicbackground.Experimentresultsindicatethefeasibilityandeffectivenessoftheproposedmethod.Keywords:wavelettransform;region-basedactivecontourmodel;mergingandsplitting;memorizingandfilling0引言红外多目标的跟踪和检测方法是卫星预警、精确制导、告警和监测等领域的一项关键核心技术，对复杂背景条件下的港口内运动多目标跟踪与检测研究是现今的热点之一。通常检测红外多目标的方法有基于收稿日期：2009-06-15；收到修改稿日期：2009-08-12基金项目：国家自然科学基金资助项目(60736010)作者简介：石文君(1981-)，男(汉族)，湖北大冶人。博士研究生，主要研究工作是红外目标检测，导弹突防和对抗。E-mail:shiwen_79_1@163.com。\n50光电工程2010年1月[1]运动轨迹质心迹累加的序列检测方法，基于多特征融合的方法，动态规划和航迹关联方法等。基于运动轨迹质心迹累加的序列检测方法适用于深空背景下的点目标检测；多特征融合方法的运算量较大，可靠性较差；动态规划和航迹关联方法对于解决复杂红外环境里的目标检测问题的鲁棒性较差。同时，港口内大多存在如高大建筑物、停泊舰船、大铁架、码头和山峰等红外特征显著的物体。这些红外特征显著的物体[2]对复杂动态背景下运动目标的检测有很大的影响。运用上述传统算法很难有效的检测出目标。因此，根据红外多目标跟踪和检测中实时性和精确性的要求，结合港内红外分布的特点，文中提出了先用小波变换的方法实现动态复杂背景的抑制，然后运用区域主动轮廓模型的水平集方法实现红外多目标跟踪。图1显示了本文在复杂动态背景条件下红外运动多目标跟踪和检测的流程图。先对序列图像采用小波变换，实现背景抑制；然后对各个连通区域运用区域主动轮廓模型的水平集方法求取区域的结构特征、灰度特征和运动特征等，并结合连通区域的先验知识，通过比较和判断实现前后帧间的各个连通区域的数据关联，从而实现对红外多运动目标的连续跟踪和检测目标。RawIRimageRegionfeaturesextractionDynamicpriorsLevelsettrackingmethodbasedComparisonandMemorizingWavelettransformBackgroundsubtractiononregion-basedactivecontourjudgmentcandidatetargets图1复杂动态背景下红外多目标跟踪和检测的流程图Fig.1Flowchartofinfraredmulti-targettrackingincomplexdynamicbackground文章的组织结构为：1)先介绍小波变换和采用小波变换实现复杂背景抑制的具体方法；2)背景抑制后，对序列图像的各个连通区域运用区域主动轮廓模型的水平集方法进行图像分割，并求出各个区域的结构特征、灰度特征和运动特征，这里用形状描述因子来表述区域结构特征，用区域的平均灰度来描述区域的灰度特征，用Kalman滤波来描述区域的运动特征；3)通过对前后帧各个连通区域比较以上特征来实现图像间各个连通区域的关联，在关联中会出现多目标“合并和分裂”现象，采用“记忆和填充”方法来实现对多目标的稳定跟踪；4)最后根据先验知识和检测条件来提取最终得到的目标和参数。1小波变换小波变换具有低熵性、多分辨率、去相关性、选基灵活等特点，可同时进行时频域的局部分析，能够[3]灵活地对图像局部奇异特征进行提取。文中采用小波变换方法实现对复杂动态背景抑制的目标。用尺寸[4]为M×N的函数f(x,y)表示原始图像，其二维离散小波变换是：1M−1N−1Wϕ(j0,m,n)=∑∑x=0y=0f(x,y)ϕj0,m,n(x,y)(1)MNi1M−1N−1iWψ(j,m,n)=∑∑x=0y=0f(x,y)ϕj,m,n(x,y)(2)MNj/2jjij/2ijjϕ(x,y)=2ϕ(2x−m,2y−n)(3)；ψ(x,y)=2ψ(2x−m,2y−n)(4)j,m,nj,m,n其中：i代表了值H(水平)，V(垂直)和D(对角)，j0是任意的开始尺度，Wϕ(j0,m,n)系数定义了图像在尺度ij0的f(x,y)的近似，W(j,m,n)系数则表示图像对于j≥j0的水平、垂直和对角方向的细节。ψ由于Daubechies(dbN)小波总结了多分辨分析的概念和金字塔式压缩编码方法，并把小波变换与传统的滤波器组概念联系了起来，因此，这里选用Daubechies小波族中的db3小波作为小波基系数进行小波变换。2基于小波变换的背景变化程度估计算法流程传统背景变化程度估计方法是根据图像间像素的差异，这样处理的结果使得运算量过大，达不到实时[5]处理的要求。为了更准确、更具效率的实现背景抑制，这里，利用小波变换的细节特性，通过比对当前[6]图像和参考背景图像小波变换后的细节若干部分来确定背景移动程度。通过估计背景变换程度来确定参考背景，实现背景抑制，这样处理的目的是为了减少运算量和提高抑制静态场景的能力，为后续进行运动\n第37卷第1期石文君等：复杂动态背景下的红外运动多目标跟踪与检测51多目标的跟踪和检测打下基础。具体的算法流程如下：i1)选取第一帧图像作为背景图像b(x,y)，根据此帧图像小波变换后得到四个子图像w(x,y)(i={A，H，biV，D})，在w(x,y)(i={A，H，V，D})图像中根据式(5)选取数值最大点作为基准点，在内存中保存该点在b原始图像的坐标及灰度数据，并记为S(x,y,g)(x、y分为该点横、纵坐标，g为该点灰度)；HHVVS(x,y)=maxw(j,m,n)×w(j,m,n)+w(j,m,n)×w(j,m,n)(5)maxbbbbm,ni2)对接下来帧的图像f(x,y)进行小波变换得到图像w(x,y)(i={A，H，V，D})，分别保存水平子图fHV像wf(x,y)中大于一定阈值TH的区域{NHk}和垂直子图像wf(x,y)中大于一定阈值TV的区域{NVl}，并计算区域NH和NV对应原始图像的灰度和坐标点，可得到数据{NHk(x，y，g)}和{NVl(x，y，g)}。用式⑴中的基准点中的灰度分别比对这些区域的平均灰度值，当(NHk⋅g)/(S⋅g)或(NVl⋅g)/(S⋅g)值中有满足区间(0.8∼1.25)的值时，则从中取数值最接近1的数据，并把值赋于N(x，y，g)，N(x，y，g)为此帧图像与背景图像的比较点，并转3)；若所有比值都不在上述区间，则转1)，并把此帧图像作为背景图像。3)根据S(x，y，g)与N(x，y，g)中的x，y值大小调整此帧图像与背景图像的比对位置，可以得到背景抑制后的图像T(x，y)：T(x,y)=f(x,y)−b(x+∆x,y+∆y)(6)当(S⋅x−N⋅x)×(S⋅x−N⋅x)+(S⋅y−N⋅y)×(S⋅y−N⋅y)0，P(φ)为水平集正则项，P(φ)=(∇φ(x)−1)dx;f(x)=。∫iε2K(x)M(φ(x))σi文中通过上式实现f(x)和f(x)的更新，从而实现不需要重新初始化水平集。固定f(x)和f(x)，对φ1212求微分来最小化F(φ,f,f)，其梯度下降流为12∂φ∇φ2∇φ=−δ(φ)(λe−λe)+vδ(φ)div()+u(∇φ−div())(9)ε1122ε∂t|∇φ||∇φ|M2M22另外E(C,L,I(t))=−∑log(δ(A(C,I(t)),i))L+β(1−∑L)(10)priori=1tii=1iM式中：前一项为与先验知识相关的概率项，后一项为约束项，满足：∑L=1。i=1i\n52光电工程2010年1月δ(A(t),i)=w(i)P(A(t)|λ)(11)tti加权系数：w(i)=maxδ(j)t=maxP(qq=S,A|λ)(12)tt−1ji1?t−1,ti1?t−1j=1?Mq1,q2,?qt−1P(A(t)|λ)(i=1?M)为基于先验知识的概率函数。i总能量函数的梯度下降流为∂C∂Edata(C,I(t))∂Eprior(C,L,I(t))=−−a(13)∂t∂C∂C∂E(C,L,I(t))ML2∂δACItipriorit((,()),)∂A(C,I(t))=−∑××(14)∂Ci=1δt(A(C,I(t)),i)∂A∂C∂δ(A(C,I(t)),i)∂P(A(C,I(t))|λ)ti=w(i)(15)t∂A∂A∂LMMi2=∑δt(A(C,I(t)),i)Li−βLi(1−∑Li)(16)∂ti=1i=13.1动态先验知识中形状描述因子为了在序列图像前后帧之间比较、匹配连通区域间的结构特征，可以通过式(17)来判断图像前后帧区[10]域间形状{S1，S2}是否匹配。这里，m为形状S1到形状S2的映射，κ1和κ2为对应的形状曲率。22E(m):=[κ(s)−κ(m(s))]1+m′(s)ds+a•|1−m′(s)|ds(17)∫S112∫S1根据式(17)表述的思想，对图像中区域轮廓结构特征可以用形状[11]Red描述因子S(d,s)来描述。d表示区域的拐点到中心点的距kvertexareavertexBlackN22离总和，对应式(17)的第一项，d=∑((v−O)+(v−O))，vvertexi=1ixxiyyi为区域的拐点，v和v为对应的横、纵坐标，O为区域中心点，O和ixiyxBlueO为对应的横、纵坐标；s为区域面积，对应式(17)的第二项。yarea图2显示了区域中的拐点(红色点)和中心点(蓝色)。3.2多目标跟踪中的目标合并和分裂现象图2区域拐点和中心点示意图多目标在运动中会出现合并和分裂现象，这里采用对存储队列进Fig.2Vertexesandcentralpointofregion行“记忆和填充”方法来解决这种问题。具体方法为：假设Ti和Tj为合并的两目标，Tij为Ti和Tj合并形成新的目标。首先，根据坐标和平均灰度特征判断该目标是不是新出现的目标，即：如果满足下式则认为Tij为合并目标。2221Tij.xkTij.ykTij.gk<××

查看更多