基于光流的运动估计与匹配方法研究

基于光流的运动估计与匹配方法研究

分类号TP391密级公开重庆邮电大学硕士学位论文论文题目基于光流的运动估计与匹配方法研究(题名和副题名)英文题目ResearchontheMethodsofMotionEstimationandMatchingBasedonOpticalFlow硕士研究生李文羽指导教师胡学刚教授学科专业计算机应用技术论文提交日期2010年5月论文答辩日期论文评阅人答辩委员会主席2010年5月16日\n独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得重庆邮电大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名：签字日期：年月日学位论文版权使用授权书本学位论文作者完全了解重庆邮电大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权重庆邮电大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。(保密的学位论文在解密后适用本授权书)学位论文作者签名：导师签名：签字日期：年月日签字日期：年月\n重庆邮电大学硕士论文摘要摘要本文主要研究了视频图像序列光流的运动估计及匹配应用问题，它是计算机智能化的一个基本问题，也是动态图像分析的核心问题。图像系列光流运动估计是快速而准确地检测图像系列帧间运动的一类技术，在经济和国防建设中有着广泛的应用前景，具有非常重要的研究意义。本文首先介绍了二十世纪八十年代以来国内外对光流运动估计和匹配问题研究的各类算法，分析了光流运动估计及匹配方法的研究现状。其次，作为理论基础，不但详细推导了H-S光流法的基本方程和数值解法，而且全面论证了Log-gabor函数的性能。最后，客观的分析了近年来光流运动估计和匹配算法中存在的不足之处，引出了本文研究的重点内容：基于梯度优化的多尺度视频光流估计和基于两步运动估计的系列图像匹配算法。第一，提出一种基于梯度优化的不同运动幅度视频图像光流估计的新算法。先用Loggabor滤波器对原视频图像进行相位、尺度滤波，再用所得的特征图像来计算时空梯度，最后根据时空梯度计算光流。该算法模型同时运用由粗到精的图像金字塔方法对视频图像分层处理。理论分析和实验结果表明，该算法适用于大幅度的视频运动光流估计，不仅能得到适合人眼视觉分辨率特性的图像，而且使时空梯度更加优化，光流计算更准确。并且在时间复杂度上与传统光流计算方法相当，在计算精度上优于H-S、段先华等人提出的算法。第二，以光流法(OpticalFlow)为基础，结合简化的仿射变换(SimplifiedAffineTransform)模型，提出了一种基于两步运动估计的系列图像匹配算法——SAT_OF算法。该算法弥补了传统的图像匹配方法的不足，而且使图像匹配残差明显减小。此外，在保证简化仿射变换参数正确的同时，使用了更加简单直接的解法，大大降低了计算的复杂性。实验表明，对存在大位移运动、复杂形变的图像，该算法更有效。关键词：光流；运动估计；Log-gabor滤波；金字塔方法；图像匹配；简化射变换III\n重庆邮电大学硕士论文AbstractAbstractThethesisfocusonthetechnologyofmotionestimationandmatchingofopticalflowinthevideoimagesequences,whichisknownastheprinciplefieldofintelligentcomputeranddynamicimageanalysis.Thetechnologyofopticalflowmotionestimationthatcanfastandaccuratelydetectinterframemotionhasawideapplicationprospectsandhasaveryimportantresearchsignificanceintheareasoftheeconomicandnationaldefenseconstruction.Thispaperfirstanalyzesthevarioustypesofalgorithmsandtheresearchsituationofopticalflowmotionestimationandmatchingathomeandabroadsince1980s.Inthenextplace,asatheoreticalbasis,theH-S’sbasicequationofopticalflowmethodandthenumericalsolutionisnotonlyderivedindetail,buttheperformanceofLog-gaborfunctionisfullydemonstratedaswell.Finally,weobjectivelyanalyzeshortcomingsoftherecentopticalflowmotionestimationandmatchingalgorithms,leadingtothefocusofthecontentsofthispaper:multi-scaleopticalflowestimationofthevideobasedongradientoptimizationandaImagematchingalgorithmbasedontwo-stepmotionestimation.Firstly,anewalgorithmbasedongradientoptimizationispresentedforopticalflowestimationofvideoimageswithdifferentmotionrange.OriginalvideoimagesarefirsttransformedbyusingLoggaborfilteringinphaseandmeasure,andthenthespatio-temporalgradientiscalculatedbyusingtheimagesofthefeatureobtained,lastopticalflowiscalculatedinthelightofthespatio-temporalgradient.Inthemeanwhile,thevideoimagesarelayeredandprocessedbythealgorithmmodelusingcoarse-to-fineimagepyramidmethod.Boththeoryandexperimentshowthatthealgorithmisappliedtothevideoopticalflowmotionestimationofthesignificantrange.Thevideoimageswhicharesuitableforhumanvisualcharacteristicsoftheresolutioncannotonlybegained,butalsothespatio-temporalgradientismoreoptimizedandopticalflowcalculationismoreaccurate.Besides,Thetimecomplexityofthisalgorithmisequivalenttothatofthetraditionalopticalflowmethod,andintheaccuracyofthealgorithmissuperiortothemethodssuggestedbyH-S,Duanetc.Secondly,atwo-stepmotionestimationalgorithmisproposedtomatchaseriesofimages,whichisbasedonOpticalFlowmethod,andcombineswithSimplifiedAffineTransformmodel.ThealgorithmcompensatesthedisadvantageofclassicalimageIII\n重庆邮电大学硕士论文Abstractmatchingmethods,andobviouslyreducesimagematchingerror.Besides,withtheuseofsimpleanddirectsolution,ThemethodcannotonlyassurestheaccuracyofSimplifiedAffineTransformparametersbutalsogreatlyreducescomputationalcomplexity.Experimentresultsshowthatthealgorithmismoreeffectiveforimageswithlarge-scalemotionandcomplexdeformation.Keywords:Opticalflow;Motionestimation;Log-gaborfiltering;Pyramidmethod;Imagematching;SimplifiedaffinetransformIII\n重庆邮电大学硕士论文目录目录摘要…………………………………………………………………IAbstract……………………………………………………………II第一章绪论………………………………………………………11.1论文选题背景…………………………………………………………………11.2光流运动估计研究现状………………………………………………………21.2.1基于微分技术的方法…………………………………………………21.2.2基于频域的方法………………………………………………………31.2.3其它光流估计方法……………………………………………………51.2.4小结……………………………………………………………………51.3图像系列中匹配技术研究现状………………………………………………51.3.1图像匹配中基本的空间变换…………………………………………61.3.2刚性匹配方法…………………………………………………………71.3.3非刚性匹配方法………………………………………………………81.3.4小结……………………………………………………………………91.4论文主要工作………………………………………………………………101.5论文结组结构………………………………………………………………11第二章光流运动估计和匹配技术基础…………………………122.1H-S光流向量计算……………………………………………………………122.1.1亮度恒定假设…………………………………………………………122.1.2光流基本方程…………………………………………………………122.1.3孔径问题………………………………………………………………132.1.4平滑性准则……………………………………………………………132.1.5总误差目标函数………………………………………………………142.1.6时空图像差分方法……………………………………………………152.1.7总误差目标函数的最优化方法………………………………………152.1.8求解过程的数值计算方法……………………………………………162.2log-gabor滤波器……………………………………………………………172.2.1一维log-gabor函数及其特性………………………………………172.2.2二维log-gabor滤波器的构造………………………………………192.3仿射变换……………………………………………………………………202.4本章小结……………………………………………………………………22V\n重庆邮电大学硕士论文目录第三章基于梯度优化的多尺度视频光流估计…………………243.1引言…………………………………………………………………………243.2计算优化的时空微分梯度…………………………………………………243.2.1log-gabor滤波器的设计……………………………………………243.2.2时空微分梯度的计算…………………………………………………253.3金字塔光流运动估计………………………………………………………263.4实验结果及分析……………………………………………………………283.5本章小结……………………………………………………………………31第四章一种基于两步运动估计的系列图像匹配算法…………334.1引言…………………………………………………………………………334.2基于两步运动估计的匹配算法……………………………………………344.2.1仿射运动估计…………………………………………………………344.2.2光流运动估计…………………………………………………………354.2.3SAT_OF算法模型………………………………………………………364.3实验结果分析………………………………………………………………374.4本章小结……………………………………………………………………40第五章总结及未来的工作………………………………………415.1总结…………………………………………………………………………415.2未来的工作…………………………………………………………………41致射………………………………………………………………43攻读硕士期间从事的科研工作及取得的研究成果………………44参考文献……………………………………………………………45V\n重庆邮电大学硕士论文第一章绪论第一章绪论1.1论文选题背景随着多媒体和网络通信技术的飞速发展，计算机系统越来越注重动态图像的处理和分析，心理学已经证明，人类对运动物体比对静止物体更敏感，但计算机系统对动态图像系列的处理能力仍然低下。要使计算机系统能智能化地处理动态图像系列，最关键的问题就是对视频图像系列运动估计进行研究。图像系列运动估计是快速而准确地检测图像系列帧间运动的一类技术。广义的运动估计包括硬件和软件方法[1]，硬件方法是运用传感器检测运动，而软件方法是直接利用各种算法对图像系列进行处理。本文主要研究运动估计的软件实现方法。自1979年在美国费城召开了第一次序列图像处理的专题研讨会开始，有关图像序列运动估计软件方法的研究日益增多。国防科技大学的黄新生教授从对图像处理的方式上把运动估计分为图像块法、特征法、相位法和像素法四类[2]。块匹配法假设块内各像素作相同运动，根据一定的匹配准则，在前一帧某一给定的搜索范围内找出与当前帧中某一块最相似的块，即块匹配，由匹配块与当前块的相对位置计算出运动位移，所得运动位移即为当前块的运动矢量。块匹配法简单、有效，目前发展相对成熟[3-9]。块匹配运动估计非常适合基于离散余弦变换的视频编码方案，因此，已被近来的国际编码标准MPEG-1[10,11]、MPEG-2[12,13]和H.261[14]采用。但缺点是固定的块尺寸限制了运动估计的精度，而且它不适合处理运动场中的不连续值。基于特征的运动估计，首先要在参考图像中确定一组特征结构（如：角点、边界等）作为标识，并对当前图像进行搜索，以寻找到对应的特征结构，从而获得图像序列的运动矢量[15,16]，具有鲁棒性，然而计算机系统对不同图像系列的特征结构的选取非常困难，需要人工分析。与相位有关的运动估计方法有相位相关法[17]和小波滤波器法[18]，这类方法能方便的检测出图像的尺度变换和旋转变换，具有良好的时频局部化能力，但使用变换带来了额外的计算量。像素法是利用像素灰度值之间的关系进行运动估计，常见的像素法主要有灰度投影法、光流场法等。灰度投影法[19]是一种统计意义上的特征匹配方法，局限性在于要求图像具有一定的衬比度和较明显的灰度变化。我们知道，运动图像是客观物体在运动过程中在观察着的观测平面上（传感器）成像的结果，从观察者角度来看，运动在本质上是几何变化，而几何变化表现在图像像素强度的变化。从研究图像像素强度出发，进行运动图像的定量分析，计算图像的运动参数既是必要的也是可能的。48\n重庆邮电大学硕士论文第一章绪论Horn和Schunck于1981年提出了光流基本方程[20]，给光流运动估计参数的计算提供了理论支持。基于光流模型的图像运动估计方法，其基本思想是将运动图像函数作为基本函数，根据图像强度守恒原理建立光流约束方程，通过求解光流约束方程，计算运动参数。中科院王嘉等人提出：在视频序列中，通常存在着两种运动，一种是由于摄像机位置或参数的变化而引起的整个图像的变化；另外一种是由于场景中物体的运动而引起的局部图像的变化。前者称之为全局运动，后者则称为局部运动[21]。而光流法能较好的计算出这两种图像系列中的运动估计参数。近年来，国内外许多大学和研究机构针对该课题开展了大量的相关研究并取得了丰硕的研究成果。1.2光流运动估计研究现状物体运动在真实世界中呈现的是三维场景，通过各种视觉模型的透射或正交投影，在图像平面上形成“二维运动场”。动态图像序列的运动估计实际上就是这种“运动场”的估计，这种运动场被称之为“光流场”。计算光流场的基本假设是由Horn和Schunck在文献[20]中提出的一阶差分全局平滑约束方法中的“亮度恒定假设”，即相邻序列图像中对应像素点的亮度保持不变。那么光流场的估计就是对这些像素在相邻帧之间的运动估计。有关光流估计理论基础将在第二章给出详细推导过程。1.2.1基于微分技术的方法同Horn和Schunck运用速度矢量场光滑的全局约束相比，以Lucas和Kanade为代表的一阶差分局部平滑运动参数估计方法将其局部化，在一个小的邻域运用了带权值的窗函数来约束光流方程[22,23]:或.（1.1）Lucas和Kanade假设速度矢量在一个小的空间邻域内为常数，设代表一个窗函数，同时认为速度矢量在的小区域恒定。那么通过最小化下式,（1.2）得出方程：48\n重庆邮电大学硕士论文第一章绪论,（1.3）对于，在时有，和.解方程（1.3）得：.（1.4）令，和分别用，和表示，所有的求和都是在邻域内进行。则速度矢量可以表示为：,（1.5）这里只要非奇异则可以得到一个唯一的解。根据附加约束条件的不同，Nagel提出了基于二阶微分算子附加约束全局光流估计方法[24]；Wohu等人用多重局部约束和非线性平滑条件的表面模型来计算图像系列的光流场[25]；Terzopoulos和Hildreth分别提出了更好的有向平滑度约束条件的轮廓模型来计算光流[26]；Bergen等人在分层框架里提出基于微分的运动估计模型[27]，等等。可以知道，时空域内基于微分的光流估计技术存在以下几个问题：1)弱化“亮度恒定假设”，使相邻序列图像中对应像素点的灰度变化频率小于序列图像的采样频率，但基于图像灰度的微分技术，仍会产生很大的光流场估计误差，并且由于要附加各种约束条件，加大了计算的复杂度。2)若是图像纹理的变化频率大于两帧图像之间的采样频率，用差分的方法无法准确恢复图像信息。所以，基于图像灰度的光流差分方程无法处理复杂高清晰纹理结构的图像。3)各种差分滤波器的设计并不是完全达到理想的系统化，因此由于邻域内过估计和欠估计带来的误差传递而导致的病态方程，使运动场估计的可控制性大大降低。另外，差分方法通常对噪声和亮度变化敏感。1.2.2基于频域的方法根据近些年来在频率域对运动场估计的研究[28,29]，发现运动图像的一些性质在频域表现的十分突出与稳定。因为动态图像序列处理的对象是在时间域上前后相关的一系列空间图像，针对这一特点，很多运动估计48\n重庆邮电大学硕士论文第一章绪论算法通过对时域上相连的图像采样，设计对运动敏感的一组方向滤波器来检测运动场，可以克服上面基于图像灰度的微分技术中出现的一些问题。如果把二维图像系列看作二维连续信号在时间频率上的采样系列，可以在频域研究二维运动时空序列运动场的特性。设二维信号是沿着和方向分别以和同时变化的连续图像信号，表示为,（1.6）对（1.6）式进行傅立叶变换：,（1.7）我们就可以得出（1.8）式所示的结果：,（1.8）其中是水平方向空间采样频率，是垂直方向空间采样频率，是时间采样频率。是二维信号的傅立叶变换，如（1.9）式所示：.（1.9）根据Heeger在文献[29]中论述，二维傅立叶变换的能量谱分布在一个时空频率域的平面上，这个平面就是.（1.10）由以上的分析可知，如果把图像分成足够小的区域，使每个区域的运动矢量都可以用此区域在图像序列中的运动来唯一近似，则求解动态图像序列运动场的问题就是要找出这样的速度和，使每个区域频域的能量函数都集中在一个平面上，满足这样条件的速度矢量就组成了图像的速度矢量场。Heeger提出，速度分量可以利用滤波器的响应来检测，且设计对运动敏感的方向滤波器Gabor波波器，用来检测速度。二维Gabor滤波器如下：,（1.11）这里，（，，）是滤波器的中心频率，即滤器在（，，）的频域输出值达到最大，（，，）是高斯函数的时空窗宽度。通常用到的模型是一对具有相同带宽和方向的正交Gabor滤波器，相位分别是奇对称和偶对称。Gabor滤波器的能量输出就是如式（1.11）的正弦相位函数与其形式相同的余弦相位函数的平方和，它的能量输出是不随相位变化的，可用下式表示：48\n重庆邮电大学硕士论文第一章绪论.（1.12）Gabor滤波器的能量输出公式表明在中心频率为（，，）的运动-能量滤波器对一个时空信号的频率响应。滤波器将会对能量集中在中心频率（，，）处的时空信号产生最大的响应，而对远离中心频率的信号抑制。实质上，Gabor滤波器在此处的应用就是一个具有方向的时空带通滤波器。1.2.3其它光流估计方法近年来，光流估计的方法仍然不断涌现。为了进一步弱化视频图像系列光流运动估计的两个基本假设：(1)沿运动方向图像灰度恒定不变；(2)图像运动场基本平滑变化。Yeon-Ho等人[30]提出了对有运动不连续和大的图像灰度变化两种情况下能够较准确的计算光流运动参数的模型；Chamorro-Martínez和Fernández-Valdivia[31]在2007年将一个新的运动模式识别的方法运用到光流估计当中，通过对不同的运动模式的提取和选择，计算出每个实际运动的光流场，然后合成图像系列的光流场参数。对于物体运动有遮挡和多重运动交叠的情况下难于计算光流场的问题，随着这种方法的提出而迎刃而解。1.2.4小结从二十世纪八十年代以来，国内外对光流运动估计方法的研究成果不断出现。随着新技术和新理论的产生并应用到光流估计方法中，促使图像系列光流估计方法也不断的向前发展。但是，鲜见有把视觉分辨率特性引入到全局微分技术中来估计光流场。本文针对这种情况，在第三章提出了基于梯度优化的多尺度视频光流估计，从一个新的角度更加准确的计算出图像系列全局和局部运动的光流估计参数。1.3图像系列中匹配技术研究现状图像匹配是对不同时间、不同视角48\n重庆邮电大学硕士论文第一章绪论、不同成像模式的两幅或多幅图像进行空间几何变换，使得各个图像的共有特征在几何上能够匹配对应起来的技术[32]。其实质就是两幅或多幅图像在空间和灰度上的映射。如果用和代表图像系列中的两帧，和分别表示相应位置上的灰度值，则图像间的映射可表示为：,（1.13）式中，表示一个二维空间坐标变换，即：，且是一维灰度或辐射变换。一般情况下，寻找空间或几何变换是解决匹配问题的关键，这一变换可参数化为两个单值函数和：.（1.14）图像匹配是图像分析和处理的关键步骤，是图像对比、数据融合、变化分析和目标识别的必要前提。匹配技术主要应用在遥感图像处理、医学图像处理、制图学、计算机视觉、目标识别等方面。1.3.1图像匹配中基本的空间变换变换就是将一幅图像中的坐标点变换到另一幅图像的坐标系中。在图像匹配中常见的基本空间变换有刚体变换、仿射变换、投影变换和非线性变换[33]。1)刚体变换刚体是指内部任意两点的距离保持不变的物体，就是组结构比较硬的不易发生形变的物体。刚体变换使得一幅图像中任意两点间的距离变换到另一幅图像中后仍然保持不变，刚体变换可以分为旋转和平移。其变换关系为,（1.15）其中是像素的空间位置，是的旋转矩阵，是的平移向量。矩阵满足：，，是的单元矩阵。2）仿射变换仿射变换是将直线映射为直线，并保持平行关系的变换。它可以是各向同性的均匀尺度变换、各向异性的非均匀尺度变换或剪切变换等。均匀尺度变换多用于使用透镜系统的照相图像，在这种情况下，物体的图像和该物体与成像的光学仪器间的距离有直接的关系。非均匀尺度变换或剪切变换常用于台架倾斜信息的校正。表达式仍可用式（1.15）表示，只是知矩阵是一个没有限制的矩阵。所以，刚体变换是仿射变换的一种特殊情况。关于仿射变换理论将在第二章详细介绍。3)投影变换48\n重庆邮电大学硕士论文第一章绪论投影变换将直线映射为直线，但是不再保持平行性质。投影变换主要用二维投影图像与三维体积图像的匹配。基变换关系如下：,（1.16）基中，为的实数矩阵，.4）非线性变换非线性变换把直线变换为曲线。这种变换一般不能简单地用矩阵来表示，通常采用多项式函数、指数函数等来表示。非线性变换主要用于组织结构较软的易发生形变的非刚性物体图像的匹配。根据相邻两幅图像发生变换的类型，可以把图像系列匹配分为刚性匹配和非刚性匹配两类。1.3.2刚性匹配方法刚体图像匹配的变换模型主要是全局刚体变换，即：由旋转和平移变换组成。如果采用图像的质心和主轴作为图像的参考特征，通过一次运算就确定变换参数，有其速度快、易实现和全自动化的优点。主轴匹配法[34]就是通过平移使图像的质心对齐后，再通过对齐主轴方向的方法来实现图像的匹配。假设相邻两帧图像中需匹配的目标部分只是发生了刚性体变换，为了实现两帧图像的匹配，首先把图像进行预处理，使两图中的目标部分同背景部分分割开来，形成二值图像和，再这两个二值图像作为匹配的输入，通过下述方法进行计算，得出旋转矩阵角度参数和位移参数和。对于二值图像和，将目标图像中的目标像素点作为一个点集，，图像中目标的像素点作为点集，.对于这两个点集，分别计算和的质心（1.17）和协方差矩阵和（1.18）:,(1.17).(1.18)48\n重庆邮电大学硕士论文第一章绪论显然矩阵和都是二阶实对称矩阵，故可分解为以下形式，,（1.19）基中，和是矩阵的特征值，且，矩阵的列向量是与特征值对应的单位特征向量，它们就是主轴的方向，同理。这样就可以得到旋转矩阵，并通过反正弦或反余弦函数求得，再同两图像质心之差求得位移参数.这样，通过使用变换参数对原相邻第一帧图像进行空间变换即可得到第一帧图像向第二帧图像匹配结果。在理论上只要待匹配图像中的目标相同，就可以达到较高质量的匹配结果，但在实际中，由于获得图像的时间不同或者其他条件不同，图像中的目标要达到完全相同是十分困难的。这类刚性图像匹配的最大缺点就是匹配精度不高。1.3.3非刚性匹配方法由于在实际应用中，图像系列之间的变换是很复杂的，刚性图像匹配方法虽然简单、快速，但是只能适用于在存在变形或刚性体的匹配。许多重要的应用需要非刚性变换来描述图像之间的空间关系。任何非刚性匹配方法都可以由以下三部分来描述[35]。1）联系源图像和目标图像的空间变换。2）测量目标图像和源图像相似性的相似性测度。3）决定最优变换参数的优化方法。非刚性图像匹配方法主要有基于空间变换的匹配方法和基于物理模型的匹配方法两大类[36]。1)基于空间变换的非刚性匹配方法，采用图像的空间变换来拟合图像的变形。Joseph和David在文献[35]中提出了使用多项式和基函数来进行非刚性图像的匹配。基于二次多项式的变换模型为：,（1.20）系数确定了一个空间变换的30个自由度。代替（1.20）中使用多项式作为高次项的线性组合，也可以使用一组基函数的线性组合来描述变形场。通常用一组正交的基函数，如傅立叶（三角）基函数或小波基函数的线性组合描述变形场。48\n重庆邮电大学硕士论文第一章绪论样条最初是指用长的柔性木条或金属条模拟船和飞机的表面，这些样条通过沿着它的长度附加不同的权重发生弯曲。类似的，可以将样条函数用于模拟图像的空间变换。Rohr等人[37]提出了薄板样条弹性匹配的近似方法。薄板样条插值可以定义为：,（1.21）其中，.这是金属板在载荷下无限延伸变形在点的方程。在强加载荷作用下薄板发挠曲。作用类似刚度函数，当接的零时，载荷接近点载荷，当增加时，载荷开始更宽分布产生光滑表面。采用近似薄板样条，能够克服控制点对之间的各向同性及各向异性误差。但很难模拟局部变形，不适合具有局部几何差异的图像匹配。同薄板样条相比，B样条可以控制局部变形，改变控制点只影响它附近局部邻域的形状改变[38]。2）基于物理模型的匹配方法，图像之间的差异被认为是由某种物理变形引起的，基于物理模型的匹配方法就是构造能够拟合这种变形的物理模型。首先，由Bajcsy等人[39]提出，用于大脑图谱和人体CT图像的匹配。思路是将源图像目标图像的变形过程建模为一个物理过程，类似于拉伸一个诸如橡皮的弹性材料。弹性体的变形可以由Navier线性偏微分方程来描述：,（1.22）为变形场，表示在方向上的位，为作于弹性体的外力，为梯度算子，为拉普拉斯算子。参数和是描述弹性体行为的Lamé弹性常数。其次，Christensen等人[40]提出了粘性流体模型。在流体匹配中，源图像被建模为粘性流体，流体在内力的作用下去拟合待匹配的图像。流动变形用Eulerian坐标系来描述，流体匹配的变形可由Navier-Stokes偏微分方程表示为：,（1.23）除了微分是作用于速度场而不是位移场之外，方程（1.22）同方程（1.23）是类似的。粘性流体模型允许大变形，原则上它可以实现任何复杂的形变。最后，基于光流场模型的图像匹配方法[41]最初是在计算机视觉中提出的，主要是为了补偿时序图像的两幅连续帧之间物体和视点的相对运动。关于光流场模型的理论将在第二章详细介绍。1.3.4小结48\n重庆邮电大学硕士论文第一章绪论通过前面对刚性匹配和非刚性匹配调查和分析可知，刚性匹配是基于刚性变换基础上的一种快速的匹配方法，但是用刚性变换很难真正模拟图像系列物体之间的运动变化，因此匹配精度不高，在应用中只是一小部分。非刚性匹配是基于各种非线性变换和物理形变模型的基础上的图像系列匹配方法，同刚性变换相比，这些非线性变换和物理形变模型能够模拟许多图像系列物体之间的运动变化。但是非刚性匹配对于物体运动有较大的不连续时计算精度需要进一步提高，对非刚性匹配的评估也需要进一步研究。针对这种情况，本文第四章提出了一种将刚性变换和非刚性变换相结合的系列图像匹配方法，即一种基于两步运动估计的系列图像匹配算法。因此，很大程度上解决了匹配精度不高的问题，而且能实现自动匹配。1.4论文主要工作光流运动估计与匹配方法研究课题有着广泛的应用前景，可以应用于通信领域、生物学研究和医学诊断领域、工业自动化领域。此外，在军事、交通运输、场景监视、气象科学研究和气象预报、航空航天和飞行控制的虚拟现实、微观领域等均有广泛应用。因此，论文分别分析了图像系列的光流运动估计和匹配技术的研究现状，提出了基于梯度优化的多尺度视频光流估计和一种基于两步运动估计的系列图像匹配算法，并对这些算法进行了仿真试验。本文所做的工作是重庆市自然科学基金项目《非线性扩散方程（组）解的性质及其在图像处理中的应用》（CSTC2007BB2450）的部分工作，论文提出的一些新算法得益于该项目的研究成果。1)提出了一种基于梯度优化的多尺度视频光流估计方法。该方法基于Loggabor波波器对原相邻帧图像进行不同相位、尺度滤波，用所得的特征图像计算新的时空梯度，然后在金字塔框架下，对HS光流模型方程进行求解，计算出精确的光流场。仿真实验结果表明，该算法具有适用于大幅度的视频运动估计的特点，不仅能得到适合人眼视觉分辨率特性的图像，而且使时空梯度更加优化，光流计算更准确。且在时间复杂度上与传统光流计算方法相当。相关研究成果已投《重庆大学学报》，现在正处于该刊审稿阶段。2)以光流法为基础，结合简化的仿射变换模型，提出了一种基于两步运动估计的系列图像匹配算法——SAT_OF算法[42]。该算法弥补了传统图像匹配方法的不足，而且使图像匹配残差明显减小。此处，在保证简化仿射变换参数正确的同时，使用了更加简单直接的解法，大大降低了计算的复杂性。实验表明，对存在大位移运动、复杂形变的图像，该算法更有效。48\n重庆邮电大学硕士论文第一章绪论相关研究成果发表在中文核心期刊《计算机应用研究》2009年9月第26卷第9期上。1.5论文组织结构本论文共分五章，全文组织结构如下：第一章绪论。介绍了本文的研究背景，以及光流估计和匹配的研究现状，分析了现有图像系列中光流估计和匹配技术存的问题，由此引出了本文的主要研究工作。第二章光流估计和匹配方法的理论基础。本章首先介绍了HS光流算法的模型及数值解法；其次详细介绍了Loggabor滤波器的构造以及分析它的优良特性；最后叙述了仿射变换的功能，并进行了总结。第三章基于梯度优化的多尺度视频光流估计。主要介绍了我们在基于Loggabor滤波器的视频光流估计方面所做的研究工作，得到一种新的基于梯度优化的多尺度视频光流估计算法。第四章一种基于两步运动估计的系列图像匹配算法。主要介绍了我们在基于运动估计的系列图像匹配算法方面所做的研究工作，得到一种新的系列图像匹配算法。第五章总结及未来的工作。总结了本文在视频图像运动估计方面所做的研究工作，并指出以后应该研究的方向。48重庆邮电大学硕士论文第一章绪论48\n重庆邮电大学硕士论文第二章光流运动估计和匹配技术基础第二章光流运动估计和匹配技术基础2.1H-S光流向量计算2.1.1亮度恒定假设光流研究是利用运动图像序列中的强度数据的时域变化和相关性，确定图像像素位置的运动情况，是建立在Horn和Schunck在文献[20]中提出的“亮度恒定假设”基础上的,其一般表示为：.（2.1）2.1.2光流基本方程根据人或动物（传感器）视觉感知原理，客观物体在空间上一般是相对连续运动的，在运动过程中，投射到视网膜平面（传感器平面）上的图像实际上也是连续变化的。因此，我们可以假设运动图像函数是关于变量、和的连续函数。设物体成像点在时刻、位置的强度值。如果用和表示图像在该点的水平和垂直速度分量，则在时刻图像点从移动到位置，强度值为，其中，分别表示水平和垂直方向上位移。根据（2.1）式，对于同一个目标点来说，可以认为在时刻、图像点的强度应当与在时刻、图像点的强度相等，即：,（2.2）应用泰勒公式展开，略去高阶项，当，，很小的时候，有,（2.3）把（2.2）与（2.3）合并，就可近似得到：,（2.4）公式（2.4）适用位移矢量表示，现在两边同时除以，得到，或，,（2.5）48\n重庆邮电大学硕士论文第二章光流运动估计和匹配技术基础其中表示速度矢量，也可称为光流矢量，是的空间梯度矢量，公式（2.5）就经常被称为基本光流方程。它反映了运动图像时间梯度与空间梯度之间的时—空微分关系，表示图像强对时间变化率等于强度空间变化率与运动速度的乘积。这里我们假定很小，使得，。此公式成立的条件，也是基于光流恒定假设的前提之上。2.1.3孔径问题若令，，，则式（2.5）可简记为：，或，,（2.6）方程的物理意义可用图（2.1）表示：图2.1光流方程向量流示意图由图2.1可以看出，方程的解落在平面上的一条直线上，落在这条直线上的向量，其法向流方向上的投影是确定的，而与之垂直的方向上的分量无法求解，这一问题被称为“孔径问题”。2.1.4平滑性准则孔径问题的存在说明，对于两个未知量和，只有一个方程，我们不能单凭和确定速度矢量48\n重庆邮电大学硕士论文第二章光流运动估计和匹配技术基础。为了解出两个未知量，要求我们必须给出新的约束条件，那么什么样的约束条件对于视频图像来说是合理呢？通常的约束是流矢量在空间平滑变化，使我们能利用周围一个小的邻域的亮度变化去估计处的运动。一种方法是用两个速度的梯度平方和来表示：.（2.7）另外一种表示方式是用拉普拉斯算子：.（2.8）在计算的时候，我们采用第二种方式。拉普拉斯算子的近似计算类似下面过程：；,（2.9）其中，和可以如下定义:,(2.10).(2.11)一般情况下，我们取，则上述的模板可以表示为图2.2，图2.2模板图2.1.5总误差目标函数根据基本光流方程，设基本的误差函数如下：48\n重庆邮电大学硕士论文第二章光流运动估计和匹配技术基础.（2.12）基于光流准则（2.12）和运动平滑性准则（2.8）的联合，可以得到如下总误差目标函数：,（2.13）其中为极小化问题的总误差，是附加约束的拉格朗日乘子。2.1.6时空图像差分方法在总误差目标函数中的，其中牵扯到三个时空偏导数衡量：，和.根据HS光流法，三维时空偏导数的差分近似表示为：图2.3三维差分模型由此可知：,（2.14）,（2.15）,（2.16）48\n重庆邮电大学硕士论文第二章光流运动估计和匹配技术基础这里用到的时空梯度的间隔即是图像时空采样的间隔。2.1.7总误差目标函数的最优化方法总误差目标函数的最优化即是将目标函数极小化，这里使用线性最小二乘LLSE方法来优化目标函数（2.13）。实际处理时，引入时空图像中梯度，和的差分数值近似（2.14）、（2.15）和（2.16），并将微分用拉普拉斯算子来表示（见式2.8）。首先，可运用均方差MSE方法，最小化总误差目标函数，为了使（2.13）在整个图像区域最小，可将分别对和求导，并取导数为零，即，.（2.17）我们可得到两个等式,（2.18）.（2.19）用上面提到的拉普拉斯算子，可以近似得到：,（2.20）.（2.21）其次，通过解这个方程组，我们可以得到速度和的解：,（2.22）.（2.23）2.1.8求解过程的数值计算方法以上两式（3.22）和（3.23）提供了用迭代法求解和的基础，我们结合Lucas和Kanade在文献[41]中提出的迭代方法来具体求解。根据改进的Ganss-Seidel迭代法则，可以得到每一点的速度，,（2.24）48\n重庆邮电大学硕士论文第二章光流运动估计和匹配技术基础.（2.24）这里的和迭代初始条件通常规定为零，因为在光流方程中，一般认为每一个像素的变化是连续而缓慢的，所以用于估算的结果通常不超过1像素/帧。2.2Log-gabor滤波器2.2.1一维Log-gabor函数及其特性因为对数函数在原点的奇异性，在空间域不能构造Loggabor函数的可析表示。但可以退回到频域中设计波波器，然后进行数值Fourier反变换，得到它们在空间域中的形状[43]。在对数频率尺度上，Loggabor函数在频域的传递函数形式为：.（2.25）这里，为滤波器的中心频率。为了何证波波器的形状恒定，对于不同的中心频率，必须保持不变。例如，当为0.74时，大致相当于滤波器为1倍频的带宽，为0.55时相当于2倍频，为0.41时相当于3倍频。Field[44]指出，使用在对数频率尺度上传递函数为高斯函数的滤波器可以对图像进行更有效的编码，而Loggabor函数是对数频率尺度上的高斯函数，因此，Loggabor函数能更真实地反映自然图像的频率响应。Loggabor函数在线性频率和对数频率上的传递函数图示为：图2.4Loggabor函数在线性频率尺度形状48\n重庆邮电大学硕士论文第二章光流运动估计和匹配技术基础图2.5Loggabor函数在对数频率尺度形状Loggabor函数有两个重要特征：1）Loggabor函数总是没有直流（DC）分量。2）Loggabor传弟函数在高频端有一个延长的尾巴。Field关于自然图像统计的研究显示，首先Loggabor函数与人类视觉系统的度量一致，因为人类视觉系统的度量显示出有响应在对数频率尺度上对称性的细胞。其次存在长尾巴的Loggabor函数避免普通函数过度表示低频分量，对高频分量表示不足的缺点。Loggabor小波函数的实部叫偶小波，虚部叫奇小波，它们通过Fourier反变换，得到在空域中的形状。当带宽增加时，它们的形状变得更加“尖锐”，当带宽小于1倍频时，函数的形状几乎与传统gabor函数的形状相同，说明了Loggabor函数具有紧密的空间滤波器捕获宽的谱信息的能力。图2.6、图2.7、图2.8分别给出了三个调制到相同中心频率上的不同带宽的Loggabor小波函数图形。图2.6带宽为1倍频的奇、偶正交Loggabor小波图2.6带宽为2倍频的奇、偶正交Loggabor小波48\n重庆邮电大学硕士论文第二章光流运动估计和匹配技术基础图2.6带宽为3倍频的奇、偶正交Loggabor小波Loggabor滤波器实际是带通滤波器，在频域中的显示如下：图2.7一维Loggabor滤波器2.2.2二维Log-gabor滤波器的构造由于图像系列中的每帧属于二维空间的函数，若要用Log-gabor函数来对图像滤波，必须构造二维Log-gabor滤波器。根据上面讨论的一维Log-gabor函数及其特性，我们在频域构造二维Log-gabor滤波器的一个可行方法是用极性可分离的二维高斯函数。在半径方向，沿着频率轴方向，用与设计一维高斯滤波器相同的方法设计滤波器，即，中心频率和带宽成几何增长的高斯函数。在角度方向上，滤波器的剖面为高斯函数，此时标准偏差与滤波器的角度间隔的比值基本上是常数，确保了在空间域中滤波器的长宽比为定值。这样，在角度方向上传递函数为：.（2.26）将半径方向高斯函数（式2.25）和角度方向的高斯函数（2.26）联合起来，在频域中，构造出二维Loggabor滤波器如下：,（2.27）其中，和是二维Loggabor滤波器的角和半径标准差，是滤波器的方向，是中心半径频率。二维Log48\n重庆邮电大学硕士论文第二章光流运动估计和匹配技术基础gabor滤波器是具有多尺度和多方向的滤波器，能够提取图像不同方向和尺度的运动特性。图2.7显示了在频域中一维径向尺度要素，其一维角度方向要素和具有方向和尺度二维要素的图示如下：图2.8二维Loggabor方向滤波器图2.9二维Loggabor方向、尺度滤波器同一维Loggabor小波滤波器一样，二维Loggabor滤波器在频域也是用复数表示，它的实部是偶对称Loggabor小波滤波器，而虚部是奇对称Loggabor小波滤波器，二维偶、奇对称滤波器如下图所示：图2.10二维Loggabor偶、奇对称滤波器根据Field在文献[44]中指出的，通常我们用到的局部能量模型如下式：,（2.28）这里和分别是偶对称和奇对称Loggabor滤波器与图像系列卷积的结果。2.3仿射变换仿射变换是仿射或射影几何的中的一种基本变换[45]。仿射变换定义如下：若变换：，，是非奇异线性变换，，则变换48\n重庆邮电大学硕士论文第二章光流运动估计和匹配技术基础称为仿射变换。非奇异，即变换矩阵可逆，亦即其行列式。是线性变换，即有：，其中，、为实数，、.二维欧氏空间上的仿射变换可以表示为：.（2.29）所有的几何变换都可以通过写成齐次形式而用一个方阵和一个列向量乘积的形式来表示。把（2.29）式写成齐次坐标形式即为：,（2.30）其中、、、、、均为实数，与分别是相邻两帧中相对应两个点的坐标，为平移矢量，为旋转、缩放、错切的合成变换的矩阵表示。二维仿射变换的齐次形式（2.30）式可以简写为：,（2.33）其中，、为齐次坐标。在这种表达形式，仿射变换是一种线性变换，即有,(2.31)其中，和为实数，和为两个齐次坐标，为（2.30）式中的仿射变换矩阵。对（2.29）式中6个参数、、、、、相邻两帧中两个对应点的坐标转换关系。对这些参数施以特殊限制，可得到一些熟悉的变换：令，，则得到旋转和平移变换；令，，，则得到几何中的同位相似，即图像中的尺度（缩放）变换；令，，，，则得到错切（剪切）变换。事实上，仿射变负包括：平移、旋转、缩放、对称（或称反射）、错切（或称切变、剪切）变换以及它们的复合变换。它们的变换形式如下：48\n重庆邮电大学硕士论文第二章光流运动估计和匹配技术基础1）平移：；2）旋转：；其中，为须时针旋转的角度，水平方向正向向右，竖直方向正向向上。3）缩放：或；其中，、为比例缩放因子（）。上面左式为等比例缩放（或称均匀尺度变换），右式为不等比例缩放（或称非均匀尺度变换）。4）对称：或;5）错切：或或；其中、不同时为.一个包含平移、旋转和等比例缩放变换的合成变换可以表示为：.（2.31）上式也可表示为：,（2.32）这里、是坐标矢量；是平移矢量；是比例变化因子，是旋转矩阵。可以看出：是正交矩阵，可保持图像像中向量之间的夹角角度不变。在此基础上再加上错切和非等比例缩放等畸变就成为一般的仿射变换形式。仿射变换具有6个自由度（对应于其变换式的6个系数）。仿射变换具有将平行线变换成平行线、将有限点映射到有限点的一般特性。仿射变换的乘积和逆变换仍然是仿射变换。2.4本章小结本章主要介绍了图像系列中光流运动估计和匹配技术所用到的理论基础。包括HS光流算法、Log48\n重庆邮电大学硕士论文第二章光流运动估计和匹配技术基础gabor滤波器、仿射变换。HS光流算法是基于微分技术的非常有代表性的方法，从模型的建立到数值解法有完备的理论体系。但是这种方法对较大运动不连续图像系列失效，而且对用原始图像求梯度也不十分准确；可以匹配相邻两帧中小的弹性形变，即不能匹配较大位移的变换。通过从一维Loggabor滤波器到二维Loggabor滤波器的构造，可知这种对数滤波器有与人眼视觉特性函数相似的性质；而仿射变换对二维图像是一种功能十分强大的变换，可以模拟相邻两帧图像大距离的仿射变形。针对HS光流算法的不足，以及二维Loggabor滤波器和仿射变换的优良性能。本文将在第三章提出基于梯度优化的多尺度视频光流估计；将在第四章提出一种基于两步运动估计的系列图像匹配算法。48\n重庆邮电大学硕士论文第三章基于梯度优化的多尺度视频光流估计第三章基于梯度优化的多尺度视频光流估计3.1引言运动估计是视频系列图像处理的一项重要研究内容，计算精确的光流场成为视频图像应用中非常重要的工具[42,46]。自Horn和Schunck在文献[20]中首先提出计算系列图像光流的时空微分方法以来，光流运动估计相关理论和技术迅速发展[41,47,48]。近年来,段先华等提出基于相位微分技术的方法[49]，王嘉等在文献[21]中提出基于三参数模型的全局光流估计方法，Chamorro-Martínez等在文献[31]中提出基于运动模式识别的局部光流估计方法，从新的角度对光流运动估计进行研究，引起众多学者的关注。其中文献[47,49]运用相位滤波来计算光流比较精确、鲁棒，但他们应用的滤波器中的Gabor传递函数不仅是在线性频率尺度上的高斯函数，不具有适合人眼视觉分辨特性，而且包含有DC分量，不能构造互成正交对的滤波器，也不能保证视频图像处理的质量。此外，当相邻两帧中目标存在较大的不同幅度运动的情况下，计算光流也不准确。图像处理归根结底是要为人服务的，那么自然应该使用与人类视觉系统认识特性一致的计算机制。Field在文献[44]中提出，人们已经证明人类视觉系统具有非线性，而这种非线性具有对数性质，并且发现当使用滤波器的传递函数为在对数频率尺度上的高斯函数时，可以对图像进行更有效的编码。此外，有零DC响应滤波器的条件很重要，否则我们就不能构造互成正交对的滤波器，就不能在亮度大小跨几个数量级的条件下处理图像，也就不能保证所处理的视频图像的质量。本文在文献[47,49]光流计算的基础上，结合Loggabor滤波和金字塔方法，提出了一种适应性更强的基于梯度优化的不同运动幅度光流估计新算法。该算法先用Loggabor滤波器对原视频图像进行相位、尺度滤波，再用所得的新的特征图像来计算时空梯度，最后根据时空梯度计算光流；并且运用由粗到精的图像金字塔方法对视频图像分层处理。理论分析和实验结果表明，该算法适用于大幅度的视频运动光流估计，不仅能得到适合人眼视觉分辨率特性的图像，而且使平均匹配残差减小，光流计算更准确。同时在时间复杂度上与传统光流计算方法相当，在计算精度上优于Horn和Schunck、段先华等人提出的算法。3.2计算优化的时空微分梯度3.2.1Log-gabor滤波器的设计48\n重庆邮电大学硕士论文第三章基于梯度优化的多尺度视频光流估计为了构造Loggabor滤波器，我们将坐标原点设在图像区域中心，设为滤波器的中心频率，为滤波器的初始方向角；和分别是极径和极角，和分别是半径标准差和角标准差，在时空域上定义Loggabor函数滤波器如下：.(3.1)考虑到对数函数在原点的奇异性，我们规定。为了保证滤波器的形状恒定，对于不同的中心频率，的值必须保持不变。通常情况下，取0.74时，滤波器大致可以获得1倍频率的带宽；取0.55可以获得2倍频的带宽；取0.41时可以获得3倍频的带宽。容易发现，上面定义的Loggabor函数滤波器有两个重要特性：一是Loggabor函数没有DC分量；一是该滤波器的传递函数图像在高端有一个延长的尾巴，与人类视觉系统在对数频率尺度上对称性的细胞响应一致。3.2.2时空微分梯度的计算设表示输入图像；是滤波输出图像；*表示卷积；和分别是滤波器的方向和尺度。用Loggabor滤波器对输入相邻帧图像进行Loggabor变换，即，；,(3.2)这里为滤波的初始方向，为滤波的尺度。把所有方向和尺度的滤波器滤波输出图像相叠加，作为Loggabor滤波器滤波的方向、尺度特征图像，即.(3.3)一般地，图像的梯度可以用来计算，由于Loggabor滤波后得到的新的特征图像是在原视频帧图像上进行对数频率滤波的结果，因此新的图像具有适合人眼视觉的自然特性，能在时域、空域和方向上获得最佳的分辨率。于是我们采用如下的公式来计算特征图像的梯度：48\n重庆邮电大学硕士论文第三章基于梯度优化的多尺度视频光流估计，，,(3.4)本文后面的实验表明，这样的梯度计算光流场更准确。取特征图像的相邻两帧，如果表示特征图像在点的灰度值，表示特征图像在点的灰度值，那么特征图像的时空微分梯度的数值计算可根据(3.4)式用如下差分公式计算：,(3.5a),(3.5b).(3.5c)3.3金字塔光流运动估计光流参数的计算基于如下两个假设：(1)沿运动方向图像灰度恒定不变；(2)图像运动场基本平滑变化。考虑系列图像中的连续两帧图像，设时刻第一帧图像上点经过时刻运动到第二帧图像点，灰度值相应地由变为显然当时可得到较高的计算精度。然而，在实际应用中，通常相邻两帧图像具有不同幅度的运动，存在运动速度大于1个像素/帧，因此采用传统的光流法不能得到精确的光流场。基于上述原因，并考虑到图像噪声的影响，本文采用一种基于Loggabor滤波器和图像金字塔的梯度光流计算方法。该方法的基本思想是构造Loggabor滤波的特征图像序列的一个金字塔[50]，如图3.1所示。金字塔表示中，较高的层是下层平滑后的采样形式，原始图像层数等于零。当图像分解到一定的层后，相邻帧间图像运动量将变得足够小，满足光流计算的约束条件，可以进行光流估计。在实际计算时，由高层到低层进行，当某一级的光流增量计算出来后，将加到其初始值上，再进行投影重建，作为其下一层的光流计算初值。这一过程不断进行，直至估计出原始图像的光流。48\n重庆邮电大学硕士论文第三章基于梯度优化的多尺度视频光流估计图3.1四层图像序列金字塔框架设表示大小为的原始相邻图像的灰度()，它位于金字塔的第0层。依次生成N层高斯金字塔的第，，，层，分别表示为，，…，。对于其中的第L(0≤L≤N-1)层图像，其灰度采样计算公式为：,(3.6)且的定义域如下:，.依据由粗至精的计算方式，较高层的误差将不断的向较低层传播和扩大。因此，在进行基于分层结构的光流计算时，分解层数不能太多。一般地，。设图像金字塔框架中第L层相邻两帧图像满足光流计算基本条件，可建立如下极小化方程,(3.7)式中，分别为速度分量邻域和邻域中的平均值；为Lagrange乘子。实际上，（3.7）式是泛函的极值问题，依据变分原理，得到如下两个Euler方程：,(3.8a),(3.8b)根据（3.8a）、（3.8b）式可计算出，；可用如下松驰迭代方程求解，这里是迭代次数48\n重庆邮电大学硕士论文第三章基于梯度优化的多尺度视频光流估计,(3.9a),(3.9b)把（3.5）式代入（3.9a）、（3.9b）式求解第L层光流场；迭代结束的条件为满足预先给定迭代次数或估计误差。令为L层初始光流猜测值，由N-1层到L+1层递推计算得到。最顶层初始光流猜测值，为第L层计算得到的光流结果，上下层间光流传递过程为，,(3.10)上述递推过程自顶向下进行，直到第0层计算完毕并得到最终的光流计算结果：.(3.11)3.4实验结果及分析为了说明本文算法的效果，这里基于MATLAB7.1平台下，选用两组图像进行计算光流场的实验。实验对象分别选取背景和树木都发生不同幅度运动的landscape图像和向右平移和旋转的hand图像（如图3.2和图3.3），并将本文方法与文献[20]和[49]的算法进行比较，从客观指标和主观视觉效果两个方面进行评价。运动估计评价的客观指标通常选用平均匹配残差，该指标能客观的反映光流场计算的准确性[51]。平均匹配残差可定义为,(3.12)其中、是相邻两帧图像，分别是图像的长和宽。为了估计本文算法的性能，所以我们选用平均匹配残差作为一个测度。本文取12个方向，6个尺度的Loggabor滤波器，最小波长等于8，，，通过对原始系列图像进行滤波得到特征图像；然后取4层金字塔，，每层中迭代3次来计算光流场。根据(3.12)式，两组试验的匹配残差如表3.1所示。48\n重庆邮电大学硕士论文第三章基于梯度优化的多尺度视频光流估计表3.1实验结果的mean对比表图像Horn光流法段等光流法本文算法landscape25.226718.576312.6244hand5.59892.6712.4368由表3.1可知，本文算法得到的匹配残差比文献[20]中Horn&schunck算法和文献[29]中段先华等人的算法平均残差明显减少，说明本文算法计算光流精度更高。原因主要有两点，一是用对数滤波器对图像进行滤波后获得的特征图像具有较高的适合视觉特性的空间分辨率，空间梯度比较好，再用时空梯度计算光流较精确。二是运用图像金字塔框架分层计算光流，把图像大幅度的运动通过采样变为符合光流假设条件的平滑运动，平滑的越好，光流计算也就越精确。(a)原第一帧(b)原第二帧(c)Horn残差(d)段残差48\n重庆邮电大学硕士论文第三章基于梯度优化的多尺度视频光流估计(e)本文算法残差(e)Horn光流场(f)段光流场(g)本文算法光流场图3.2Landscape系列图像的运动估计光流场及匹配残差图(a)原第一帧(b)原第二帧(c)Horn残差(d)段残差48\n重庆邮电大学硕士论文第三章基于梯度优化的多尺度视频光流估计(e)本文算法残差(f)Horn光流场(g)段等光流场(h)本文算法光流场图3.3hand图像的运动估计光流场及匹配残差图观察图3.2、图3.3中的(c)、(d)、(e)残差图，亮度区域越大且亮度越亮，残差越大。对比可以看出，本文算法残差较小，且较大残差的分布更为随机，说明本文算法计算的光流矢量更准确，使图像恢复的精确性得以提高。由图3.2中风景合成相邻图像(a)、(b)知树离摄像机镜头较近，背景较远，当摄像机角度向右转动时，树向左位移较大，背景向左位移较小。从(f)、(g)、(h)三种方法的光流场可以看出，(f)描述不同运动幅度运动有较大误差，(g)有一定的改善，而本文方法的光流场能较好的描绘出树的运动速度较大，背景运动速度较小，且光流较准确；从图3.3中挥手实际系列图像相邻两帧(a)、(b)可以看出，手是向右移动且向右下有一定转动。比较(f)、(g)、(h)光流场可知，本文算法的光流场能更形象的描绘出手的挥动，且光流更精确。3.5本章小结本章48\n重庆邮电大学硕士论文第三章基于梯度优化的多尺度视频光流估计给出了一种新的基于梯度优化的不同幅度运动的视频图像光流估计算法。用Loggabor对数滤波器对原始系列图像进行滤波，得到符合人眼对数视觉特性和较高分辨率的特征图像，再用新特征图像计算梯度；对有不同幅度运动或有较大运动不连续的系列图像，用金字塔分层的方法使较大运动在低分辨率图像上变得平滑，从而准确计算出光流场。实验表明该算法与Horn和Schunck光流法、段先华等光流法相比，平均匹配残差明显减小，光流运动估计参数计算也更精确。随着计算机硬件性能的提高，使用该光流估计算法在线实时处理图像是下一步的研究工作。48\n重庆邮电大学硕士论文第四章一种基于两步运动估计的系列图像匹配算法第四章一种基于两步运动估计的系列图像匹配算法4.1引言系列图像匹配就是将相邻帧图像进行比较，以确定图像间目标或点的对应关系或相对变形。这一问题是图像处理和计算机视觉领域研究的热点，被广泛应用于数字视频图像的压缩编码、电子稳像技术、医学图像分析等等。总结有关系列图像匹配的方法[2,52],主要分为基于形状匹配的方法和基于运动预测的方法。其中基于形状匹配的方法就是处理由各种变换引起的形状变化，如仿射变换法、多项式变换法等。基于运动预测的方法是利用物体的运动特性，预测目标在下一帧中的位置和形变，主要包括光流法和块匹配法等。基于形状匹配的仿射变换方法由于能够准确的把发生了较大平移、旋转、缩放、对称、错切变换及它们的复合变换的图像进行匹配，被越来越多的学者研究和应用，其参数越多意味着匹配目标越准确，文献[21]提出可以根据不同的需要灵活的选用不同的参数模型。但是当图像或目标有遮挡、局部扭曲、弹性变形等复杂形变时，常常有很大的匹配误差。根据文献[20，23]，基于运动预测的光流法最大优点就是可以求得光流场，表示出相邻图像中一幅图像的每个像素点在另一幅图像中的具体映射位置，从而克服了基于形状匹配的方法的不足[31,53]。但是对像素灰度不变区域运动估计的精度存在问题，大位移的运动目标匹配甚至失败等。于是，有很多研究人员把这两种方法进行融合，得到了许多改进的模型，但是有的方法计算的最终结果不是回归到了基于形状匹配的全局估计参数[54]，就是变成文献[51]中提出的基于运动估计的矢量场。到目前为止，真正把这两种方法结合起来同时处理系列图像的精确匹配问题的研究还比较少。为此，我们以光流法（OpticalFlow）为基础，结合简化的仿射变换(SimplifiedAffineTransform)模型，提出一种新的系列图像匹配算法，称为SAT_OF算法。本算法分为两个步骤：第一步推导计算简化仿射变换参数，得到图像的全局粗略估计；第二步再利用光流松弛迭代求解公式计算粗略估计图像与模板图像的光流场，进一步得到比较精确匹配的图像。为了改善相邻图像间有较大位移计算的精度，建立了多尺度空间迭代算法。实验结果表明，我们的方法在匹配精度上明显优于以往的方法。48\n重庆邮电大学硕士论文第四章一种基于两步运动估计的系列图像匹配算法4.2基于两步运动估计的匹配算法4.2.1仿射运动估计假如取视频系列图像中相邻两帧分别为I1和I2，为了减少全局运动估计的计算量，提高估计速度，我们考虑到系列图像一般大小是相同的，即I1、I2每一对应的维数值相等。所以这里认为摄相机先只有沿着平行于目标的方向移动和转动，从而运用简化的仿射变换模型：,(4.1)由上式可知，图像只有旋转和平移。为了便于求解，令,(4.2)于是（4.1）式变为另一种方程组形式,(4.3)把上式中第一个方程两边同时减去，第二个方程两边同时减去，并用速度近似代替位移，有下式成立：.(4.4)这样可以利用光流法计算简化仿射变换参数，避免了文献[21]中使用迭代的最小二乘方法计算复杂和计算量大的问题，现在我们推导简单直接的计算过程。根据Hornschunk在文献[20]中提出的时空2-D模型，同一个像素点在时刻位置的强度与在时刻位置的强度应该相等,即：,(4.5)根据图像运动场基本平滑变化，函数中变量具有连续性，可将上式右边在点按Taylor公式展开，计算后得：48\n重庆邮电大学硕士论文第四章一种基于两步运动估计的系列图像匹配算法,(4.6)其中，令以上方程变为另一种形式：,(4.7)上式就是基本的光流约束方程，它反映了图像时间梯度和空间梯度之间的时-空微分关系，表示图像强度对时间变化率等于强度的空间变化率与运动速度的乘积。把式（4.4）代入式（4.7）并进行整理得超定方程：,(4.8)为了计算参数，令把方程（4.8）写成向量形式：,(4.9)上式中若令，,,，同时将上式等号两边左乘以得矩阵方程：,(4.10)如果非奇异，就可以得方程（4.10）的唯一解，否则在实际应用中设此方程的解为零。由矩阵元素分析知，只要图像不是完全平坦光滑，总是可以求出所得的解：,(4.11)我们把（4.11）式求得的代入（4.2）式，计算出进行粗略估计的全局运动参数，一直迭代到图像金字塔的最高层。至此可以对图像进行简化的仿射变换，得到粗略匹配图像。4.2.2光流运动估计48\n重庆邮电大学硕士论文第四章一种基于两步运动估计的系列图像匹配算法为了计算上一步所估计图像与模板图像I2的局部运动和各种形变的估计参数，且解决光流计算的不适定问题，杨勇[55]等将二维标号场引入光流运动估计中，使光流估计算法得到极大优化。,(4.12)式中为附加约束平滑条件，且为大1的常数。是与标号场有关的量，先计算相邻帧k与k+1的帧间差：,(4.13)由于噪声的存在，未变化区域FD不一定为0，选最优化阈值T[56]得标号场：,(4.14)于是的值为：,(4.15)（4.12）式实际上是泛函的极值问题，可用变分法求得两个欧拉方程,得到如下的松弛迭代求解公式：,(4.16a).(4.16b)对全部值，当达到预先设定的最大迭代次数或结果满足事先给定的估计容差，迭代计算结束，最终得出光流场，可以用来进行图像和I2匹配，得到最终结果匹配图像，基本解决了局部运动和弹性形变部分没有得到匹配的问题。从这两步的求解过程可以看出，我们不需要对图像进行分割和目标提取，使匹配的过程更加简单，大大提高了算法效率。4.2.3SAT_OF算法模型48\n重庆邮电大学硕士论文第四章一种基于两步运动估计的系列图像匹配算法本文的SAT_OF算法模型如图4.1所示：NoInitiationSecondstepFirststepOutputYeslayer<3图4.1两步运动估计的算法结构4.3实验结果分析为了说明SAT_OF匹配算法的效果，我们基于Matlab7.1平台下，选用两组图像进行匹配实验：向右平移和旋转的hand图像（如图4.2）；图像和树木都发生不同运动的landscape图像（如图4.3）。比较的模型算法，在横向比较上选用了已有的Horn光流图像匹配算法；在纵向比较分析中选用仿射匹配算法。我们取金字塔层数为3层，迭代次数n=20,，加权系数＝25，在图4.2、图4.3的实验中，以(b)中第二帧图像作为模板图，根据运动估计复原后的图像，可以看出本文算法计算的图像与模板图最接近。而根据运动估计复原后的图像与模板图的匹配残差图，本文算法的效果更加明显，比由仿射变换和Horn光流法复原的图像匹配精度更高，且较大残差的分布更为随机，这对于由图像运动的位移信息作图像恢复有利。而且从图4.2中(c)与(b)对比可知，因图像中手只有平移和小角度的旋转，通过仿射变换进行运动估计已经比较准确，光流法再修正就比较少，这符合我们简化的仿射变换模型的理论分析。48\n重庆邮电大学硕士论文第四章一种基于两步运动估计的系列图像匹配算法(a)原第一帧(b)原第二帧(c)仿射变换法(d)Horn光流法(e)本文方法(f)图(c)、图(b)灰度差(g)图(d)、图(b)灰度差(h)图(e)、图(b)灰度差图4.2hand图像的运动估计匹配及灰度差图像48\n重庆邮电大学硕士论文第四章一种基于两步运动估计的系列图像匹配算法(a)原第一帧(b)原第二帧(c)仿射变换法(d)Horn光流法(e)本文方法(f)图(c)、图(b)灰度差(g)图(d)、图(b)灰度差(h)图(e)、图(b)灰度差图4.3landscape图像的运动估计匹配及灰度差图像客观结果评价参数我们选用平均灰度差（Mean），参数的计算公式为：.（4.17）48\n重庆邮电大学硕士论文第四章一种基于两步运动估计的系列图像匹配算法上式中，以为模板图像，在计算时分别被原始第一帧、仿射变换、Horn光流法、本文算法经运动估计后复原的图像所代替，M、N分别是图像的长和宽。两组实验的平均灰度差如表4.1所示。表4.1实验结果的Mean对比表由表4.1知，从纵向比较可以看出，本文算法与仿射变换得到的平均灰度差相比，有明显减少，这与SAT_OF算法的理论分析是相一致的，由仿射变换先对全局运动作概略的估计，再由光流法对局部的运动和形变进行估计而得到的匹配精度有很大提高；从横向来看，虽然Horn光流法能够完成精度比较高的匹配，但是经本文两步运动估计之后，平均灰度差较Horn光流法有明显减少，从而说明用本文算法计算的运动估计参数来匹配复原图像效果更好。4.4本章小结本文给出了用两步运动估计参数来对视频系列图像作复原匹配的算法，先用仿射变换粗略估计运动参数，然后用光流法进一步精确估计。在推导仿射变换参数的过程中我们用了有别于以前最小二乘方法的方程解法，大大降低了计算的复杂性。实验表明：本文的两步运动估计更准确，得到的平均灰度差明显减小。但是，本文算法因建立在光流法运动估计基础之上，由于存在平滑约束条件和多次迭代，导致运动估计结果图像有一定的模糊，这对匹配算法是不利的，所以提高匹配后图像的质量是本文下一步所要研究的工作。48\n重庆邮电大学硕士论文第五章总结及未来的工作第五章总结及未来的工作5.1总结光流运动估计和匹配方法是动态图像处理中的关键所在，随着理论的创新和技术的进步，推动着运动估计和匹配方法不断更新，进一步完善，有的算法在实际应用中已经给人们带来了极大的便利。本文主要对基于梯度优化的微分光流运动估计和基于运动估计的匹配方法进行深入研究。首先，对近年来光流运动估计和匹配算法全面进行分析和总结，我们知道大多数光流运动估计算法主要通过对光流基本方程附加不同的约束条件来改进光流参数计算的准确性，而匹配方法也只是用一种单一的变换模型，这样，使光流估计和匹配算法的性能存在一定的局限性；其次，提出一种基于Log-gabor函数的不同运动幅度视频图像光流估计的新算法。先用Loggabor滤波器对原视频图像进行相位、尺度滤波，再用所得的特征图像来计算时空梯度，最后根据时空梯度计算光流。该算法模型同时运用由粗到精的图像金字塔方法对视频图像分层处理。理论分析和实验结果表明，该算法适用于大幅度的视频运动光流估计，不仅能得到适合人眼视觉分辨率特性的图像，而且使时空梯度更加优化，光流计算更准确。最后，以光流法(OpticalFlow)为基础，结合简化的仿射变换(SimplifiedAffineTransform)模型，提出了一种基于两步运动估计的系列图像匹配算法——SAT_OF算法。该算法弥补了传统的图像匹配方法的不足，而且使图像匹配残差明显减小。论文的最后对给出的新的光流运动估计和匹配方法进行了分析，对新算法的不足之处进行了探讨。5.2未来的工作由于时间、技术条件和个人能力有限，本文提出的基于光流的运动估计和匹配方法还存在许多不足，还有很大的发展空间，主要包括以下几个方面：1）本文提出的基于梯度优化的多尺度视频光流估计和基于两步运动估计的系列图像匹配算法实验时的主要目标是针对图像处理的质量和估计参数的准确性，没有从算法的时间复杂度和空间复杂度上对算法进行优化和讨论。因此，本文算法还需要不断实验和改进，在算法的时间复杂度和空间复杂度两个方面达到最优是后续研究的一个目标。2）本文算法实现是基于灰度图像基础上的，未来的实际应用主要是48\n重庆邮电大学硕士论文第五章总结及未来的工作彩色图像处理，怎么样计算彩色动态图像的运动估计参数，并且直接用于视频彩色图像处理，这些都需要进一步完善。3）我们研究的成果最终要转化为在各个行业中的实际应用技术，实时在线产品的处理对算法的稳定性、鲁棒性要求很高，例如：纺织品在线检测技术目前还处在人工抽样检测水平，把动态图像处理技术应用到纺织实时在线检测仪器上，提取特征运动估计参数，实现自动化检测产品是可行的的。因此，在基于光流法的运动估计和匹配算法完善的基础上，未来的工作主要是针对具体行业应用系统的开发。在论文完成的过程中，由于时间仓促，本人水平有限，论文中必然存在错误和不妥之处，希望得到各位老师和同学的批评指正。48\n重庆邮电大学硕士论文致谢致谢三年的研究生生活转瞬即逝，值此论文即将完成之际，在此我谨向所有关心和帮助过我的亲人、老师、同学和朋友致以诚挚的谢意。首先，衷心感谢我尊敬的导师胡学刚教授。在研究生学习和生活期间，我得到了胡老师悉心的指导和极大的帮助。是胡老师率先为我打开科研的大门，引领我在科学研究的道路上前行。从论文的选题、课题研究和实验到论文的完成，胡老师倾注了很多心血。胡老师渊博的学识，开阔的思路，严谨治学的作风和辛勤工作的态度，永远是学生学习的榜样。同时，要感谢蒋伟、王顺、孙慧芬、吴勇以及实验室所有师兄弟姐妹们，在同他们进行有益的探讨过程中，使我受益非浅，才得以最终完成此论文。感谢好友张勤、何坤、裴俊豪、罗虎以及2007级计算机2班的全体同学，是他们的帮助使我很快适应由工作到研究生学习的生活，愉快的渡过了在重邮的三年时光。感谢重庆邮电大学研究生部、计算机学院、数理学院的领导、老师和全体研究生，是他们创造了良好的学习氛围，对我的论文工作给予了很大的帮助和支持。在这里，我要特别感谢我的妻子余玲和家人。他们无私的支持、默默的关怀和深深的爱是我不断进取的动力，他们无比的信任、温暖的鼓励和殷切的期望激励着我一直努力拼博。如果没有他们的全力帮助，我很难有充沛的精力来完成学习任务和科研课题。最后，衷心地感谢在百忙之中评阅论文和参加答辩的各位专家和教授。48\n重庆邮电大学硕士论文攻读硕士期间从事的科研工作及取得的研究成果攻读硕士期间从事的科研工作及取得的研究成果1.从事的科研工作：[1]2008.01—2009.12，非线性扩散方程（组）解的性质及其在图像处理中的应用。重庆市自然科学基金项目（编号：CSTC2007BB2450）。参研。[2]2007.11—2009.10，非线性抛物方程（组）解的大时间行为及其应用。重庆邮电大学博士启动基金项目（A2007—54）。参研。2.发表或即将发表的论文：[1]胡学刚，李文羽.基于梯度优化的多尺度视频光流估计[J].重庆大学学报，审稿中.[2]李文羽，胡学刚.一种基于两步运动估计的系列图像匹配算法[J].计算机应用研究，2009，26（9）：3563—3565.48\n重庆邮电大学硕士论文参考文献参考文献[1]钟平.机载电子稳像技术研究[D].中国科学院长春光学精密机械与物理研究所，2003.[2]黄新生,杨庆伟,王亦平等.图像系列运动估计综述[J].计算机仿真，2008,25(5):180-184.[3]TKogaetal.Motioncompensatedinterframecodingforvideoconferencing[C].inProc.Nat.Telecommun,Conf.,NewOrleans,LA,Dec.1981,pp.G5.3.1-G5.3.5.[5]ShanZhu,Kai-KuangMa.Anewdiamondsearchalgorithmforfastblock-matchingmotionestimation[J].IEEETransonImageProcessing,2000,9(2):287-290.[6]MGhanbari.Thecross-searchalgorithmformotionestimation[J].IEEEtrans,Commun.,1990,38(7):950-953.[7]王晓燕，郑建宏.用于快速块匹配运动估计自适应十字模式搜索[J].电子与信息学报，2005，27（1）：104-107.[8]Yong-ShengChen,Yi-PingHung.FastBlockMatchingAlgorithmBasedontheWinner-UpdateStrategy[J].IEEETrans.OnImageProcessing,2001,10(8):1212-1222.[9]Sung-JeaKo,Sung-HeeLee,Kyung-HoonLee.Digitalimagestabilizingalgorithmsbasedonbit-planematching[J].IEEETrans.OnConsumerElectronics,1998,44(3):617-622.[10]ISO/IECJTC1CD11172.Informationtechnology-codingofmovingpicturesandassociatedaudiofordigitalstoragemediauptoabout1.5Mbit/s-part2:Codingofmovingpicturesinformation[S].Tech.Rep.,1991.[11]D.LeGall.MPEG:Avideocompressionstandardformultimedia[S].Commun.ACM,1991,34(4),47-58.[12]ISO/IECJTC1/SC29/WG11MovingpictureExpertsGroup[S].MPEG2testmodel,1993,4.[13]D.LeGall.TheMPEGvideocompressionalgorithm[S].Signalprocessing:ImageCommun.,1992,4(2),129-140.[14]CCITTSGXV.RecommendationH.261-Videocodeoforardiovisualservicesatp*64kbit/s[S].Tech.Rep.COMXV-R37-E,1990.[15]朱娟娟，郭宝龙.电子稳像的特征点跟踪算法[J].48\n重庆邮电大学硕士论文参考文献光学学报，2006，26（4）：516-521.[16]宋永江，夏良正，杨世周.基于多直线特征的电子图像稳定算法[J].中国图像图形学报，2002，7A（4）：363-368.[17]LHill,TVlachos.OntheEstimationofGlobalMotionUsingPhaseCorrelationforBroadcastApplication[J].IEEE1999,465.[18]宋传鸣，王相海.小波域视频运动估计研究进展[J].计算机学报，2005，28（10）：1716-1727.[19]赵红颖，熊经武.获取动态图像位移矢量的灰度投影算法的应用[J].光电工程，2001，6（28）：51-54.[20]HornB.K.P.andSchunckB.G.Determiningopticalflow[J].ArtificialIntelligence,1981,17:185-203[21]王嘉，王海峰，刘青山等.基于三参数模型的快速全局运动估计[J].计算机学报,2006,29(6):920-927[22]张昀.视频图像系列的运动参数估计[D].西北工业大学，2005.[23]B.Lucas.GeneralizedImageMatchingbytheMethodofDifferences[D].PhDthesis,SchoolofComputerScience,Camegie-MellonUniversity,Pittsburgh,PA,1984.[24]NagelH.-H.Ontheestimationofopticalflow:Relationsbetweendifferentapproachesandsomenewresults[J].Artif.Intell.,33:299-324.[25]WohnK.etal.Motionestimationbasedonmultiplelocalconstraintsandnonlinearsmoothing[J].PatternRecognition,1983,16(6):563-570.[26]TerzopoulosD.Regularizationofinversevisualproblemsinvolvingdiscontinui-ties[J].IEEETans.PatternanalysisandMachineIntelligence.1986,8(4):113-124.[27]Bergenetal.Hierarchicalmodel-basedmotionestimation[C].InProceedingsofECCV(SantaMargherita.Italy),SpringerVerlag,1992,237-252.[28]AdelsonEH.andBergernJR.Spatiotemporalenergymodelsfortheperceptionofmotion[J].JournalOpticalSocietyofAmericaA,1985,2(2):284-299.[29]HeegerDJ.Modelfortheextractionofimageflow.JournaloftheOpticalSocietyofAmericaA,1987,4:1455-1471.[30]Yeon-HoKimetal.Robustmotionestimationundervaryingillumination[J].ImageandVisionComputing,2005,23:365-375.[31]Chamorro-MartínezJ,Fernández-ValdiviaJ.Anewapproachtomotionpatternrecognitionanditsapplicationtoopticalflowestimation[J].IEEETransactionsonSystems,Man,andCybernetics-partC:ApplicationsandReviews,2007,37(1):48\n重庆邮电大学硕士论文参考文献39~51.[32]时永刚，邹谋炎.图像匹配中统计型相似性测度的比较与分析[J].计算机学报，2004，27（9）：1278-1283.[33]LisaGB.ASurveyofimageregistrationtechniques[J].ACMComputingSurveys,1992,24(4):325-376.[34]AlpertNM.Bradshawetal.Theprincipalaxistransformation-amethodforimageregistration[J].Journalofmuclearmedicine,1990,31:1717-1722.[35]JosephHajnal,DavidHawkes,DerekHill.Medicalimageregistration.http://www-ipg.umds.ac.uk/d.hill/hhh,2001.[36]王海南等.非刚性医学图像匹配研究综述[J].计算机工程与应用，2005，41（11）：180-184.[37]K.RohrElasticregistrationofMultimodalMedicalImages:ASurvey.http://www.kuentliche-intelligenz.de,2000.[38]ZhiyongXie.ImageregistrationusinghierachicalB-Splines[D].Phdthesis.ArizonaStateUniversity，2002.[39]BajcsyR.etal.Multiresolutionelasticmatching[J].Computervision,GraphicsandImageProcessing,1989,46:1-21.[40]G.Christensen.Deformableshapemodelsforanatomy[D].PhDthesis.WashingtonUniversity，1994.[41]B.D.Lucas,T.Kanade.Aniterativeimageregistrationtechniquewithanapplicationtostereovision[J].ProceedingsofImageingUnderstandingWorshop,1981,121-130.[42]李文羽，胡学刚.一种基于两步运动估计的系列图像匹配算法.计算机应用研究，2009，26（9）：3563-3565.[43]肖志涛等.Loggabor函数.信号处理，2002，18（5）:399-402.[44]FeldDJ.Relationsbetweenthestatisticsofnaturalimagesandtheresponsepropertiesofcoticalcells[J].TheOpticalSocialofAmericanA,1987,4(12):2379~2394.[45]杨晓峰.基于仿射变换模型的图像目标定位跟踪方法[D].华中科技大学，2005.[46]章毓晋编著.图像工程(中册)图像分析(第二版)[M].清华大学出版社,2005.[47]FleetDJ,JepsonAD.Computationofcomponentimagevelocityfromlocalphaseinformation[J].InternationalJournalofComputerVision,1990,5(1):77~104[48]GautamaT,VanHulleMM.Aphase-basedApproachtotheEstimationofthe48\n重庆邮电大学硕士论文参考文献opticalflowfieldusingspatialfiltering[J].IEEETransactionsonNeuralNetworks,2002,13(5):1127~1136.[49]段先华,王平安等.基于相位微分技术的光流估计[J].数据采集与处理,2005,20(3):249~253.[50]江志军,易华容.一种基于图像金字塔光流的特征跟踪方法[J].武汉大学学报(信息科学版),2007,32(8):680~683.[51]郭丰俊,杨新等.基于HUBER函数的序列图像位移场估计算法[J].高技术通讯,2001,(1):38~42.[52]梁英宏，王知衍，曹晓叶等.视频图像理解的一般性框架研究[J].计算机应用研究,2008,25(7):2203-2207[53]王新卫，周利莉，肖永隆.一种基于自适应梯度的运动估计算法[J].计算机工程,2007,33(14):198-200[54]XiongJing-Yi,LuoYu-Pin,TangGuang-Rong.Animprovedopticalflowmethodforimageregistrationwithlarge-scalemovements[J].ActaAutomaticaSinica,2008,34(7):760-764[55]杨勇，王杨，吴乐南.基于标号场的光流法二维运动估计[J].电子与信息学报,2001,23(12):1321-1325.[56]ARusenfeldC.K.Avinash.DigitalPictureProcessing[z].NewYorkAcademyPress,1976,263-27048