运动模糊车牌图像的恢复、定位、校正及分割方法研究
南京航空航天大学硕士学位论文运动模糊车牌图像的恢复、定位、校正及分割方法研究姓名：付晓莉申请学位级别：硕士专业：信号与信息处理指导教师：吴一全20081201\n运动模糊车牌图像的恢复、定位、校正及分割方法研究AbstractWiththerapiddevelopmentsofcomputerandimageprocessingtechnologies,automaticlicenseplaterecognitionbecomesanimportantpartoftheIntelligentTransportationSystem.Althoughtherearemanyresearchesonautomaticlicenseplaterecognitiontechnology,mostofthemarebasedonthehypothesisthattheimageisofverygoodquality.WhileinthepracticalIntelligentTransportationSystem,vehicleimagesacquiredarealwaysmotion-blurred,anditsautomaticlicenseplaterecognitiontechnologieshaverarelybeenproposed.AllthesemaketheALPRresearchesofmotion-blurredvehicleimagesverymeaningful,whichmainlyincludemotion-blurredimage’srestoration,licenseplatelocationandtilt-correction,characterssegmentationandcharactersrecognition.Thispaperfocusesgreatlyontherestorationofthemotion-blurredvehicleimages,thelicenseplatelocationandtilt-correctionandcharacterssegmentation.Aftertheanalysisoftheexistingmotion-debluralgorithms,twomotion-deblurmethodsaregiveninthispaper.ThefirstistheonebasedonPSFestimationandspatialregularization,itusesRadontransformandfuzzysettoestimatetheblurredangleandblurredlength,andthenusesamodifiedautomatic-parameterspatialregularizationmethodtorealizethemotion-blurredimages’restoration.Thesecondistheonebasedonfuzzysupportvectorregression,insteadoffindingtheblurmodel,itdirectlyrestorestheimagewiththehelpoflearningpropertyofSVR.Alltheexperimentalresultsshowthatthesealgorithmscanwellappliedtorealizetherestorationofmotion-blurredvehicleimages.Consideringtherestoredimageisnotasgoodastheidealimageintermsofimagequality,traditionallicenseplatelocationalgorithms’accuracywillbeaffected,thusnewlocationmethodsareneeded.Alocationmethodbasedonchaosgeneticalgorithmisproposed,itfirstlyconstructsafeaturefunctionbasedonthelicenseplate’scharacteristics,andthenusesthechaosgeneticalgorithmtorealizeglobaloptimizationsearching,thusrealizesthebestlocationofthelicenseplate.Theexperimentalresultsshowthattheproposedalgorithmisveryusefuldespiteofthelowqualityimagesandhasgoodadaptiveability.Whenitcomestothelicenseplatetilt-correction,analgorithmbasedonthecornerpointsdetectionandinertialprincipalaxisofthecharactersisproposed,andalgorithmcomplexityii\n南京航空航天大学硕士学位论文comparisonswithotheralgorithmsarealsoincluded.Theexperimentalresultsshowthatthemethodproposedinthispaperisnotonlywithhighspeedbutalsowithhighprecision.Inthecharacterssegmentationphase,afastiterativealgorithmforimagesegmentationbasedontwodimensionalminimumcross-entropyhasbeenproposed,whichrealizesthefastandprecisesegmentationofthelicenseplate.Thecharacterssegmentationisthenrealizedthroughprojection.Keywords:automaticlicenseplaterecognition,restorationofmotion-bluredimage,estimationofPSF,fuzzysupportvectorregression,chaosgeneticalgorithm,detectionofcornerinformation,twodimensionalminimumcross-entropyiii\n南京航空航天大学硕士学位论文图、表清单图1.1车牌自动识别系统框图..................................................................................................2图2.1运动模糊图像的退化模型..............................................................................................7图2.2模糊车辆图像及其频域响应..........................................................................................9图2.3噪声对f(x)曲线的影响.................................................................................................12图2.4各种恢复方法比较一....................................................................................................18图2.5各种恢复方法比较二....................................................................................................18图2.6各种恢复方法比较三....................................................................................................19图3.1原始清晰的车辆图像....................................................................................................25图3.2PSF为L==15,θ0的运动模糊、SNR=20dB的高斯噪声模糊后的图像.................25图3.3本文FSVR方法与SVR及神经网络恢复方法的比较...............................................26图4.1拍摄质量良好的车辆图像的定位结果........................................................................32图4.2有一定模糊的车辆图像的定位结果............................................................................33图4.3模糊恢复后带振纹的车辆图像的定位结果................................................................33图4.4本文定位方法与其他方法的实验结果比较一............................................................33图4.5本文定位方法与其他方法的实验结果比较二............................................................34图4.6本文定位方法与其他方法的实验结果比较三............................................................34图5.1水平倾斜的两种情况....................................................................................................36图5.2垂直倾斜的两种情况....................................................................................................36图5.3水平垂直倾斜的两种情况............................................................................................37图5.4Hough变换图示............................................................................................................38图5.5水平倾斜车牌及其垂直边缘图....................................................................................40图5.6本文校正方法实验结果一............................................................................................44图5.7本文校正方法实验结果二............................................................................................44图5.8各校正方法对模糊车牌的校正结果一........................................................................44vii\n运动模糊车牌图像的恢复、定位、校正及分割方法研究图5.9各校正方法对模糊车牌的校正结果二......................................................................44图5.10车牌上下边界划定......................................................................................................47图5.11车牌垂直校正..............................................................................................................47图5.12车牌左右边界划定......................................................................................................48图6.1二维直方图的定义......................................................................................................52图6.2车牌图像的分割结果比较一......................................................................................54图6.3车牌图像的分割结果比较二......................................................................................54图6.4车牌图像的分割结果比较三......................................................................................55图6.5本文阈值分割方法对模糊车牌图像的处理结果......................................................55图6.6车牌反色操作结果......................................................................................................55图6.7加权平均滤波模板......................................................................................................56图6.8滤波去噪结果..............................................................................................................57图6.9字符分割结果..............................................................................................................58表2.1两种方法对不同模糊方向和长度的鉴别结果............................................................16表2.2无噪声时模糊方向和模糊长度的鉴别结果比较.........................................................16表2.3加噪声时模糊方向和模糊长度的鉴别结果比较.........................................................16表2.4模糊车辆图像复原的ISNR（dB）比较....................................................................19表3.1模糊车辆图像复原的ISNR（dB）比较....................................................................26表4.1车牌定位实验结果........................................................................................................33表5.1各种车牌倾斜校正方法的比较.....................................................................................45表6.1本文算法与原始方法的运行时间比较（单位:s）......................................................55viii\n南京航空航天大学硕士学位论文注释表ALPRAutomaticLicensePlateRecogntion车牌自动识别FSVRFuzzySupportVectorRegression模糊支持向量回归IMPSIntegratedMultiPassSystem集成的车牌识别系统ISNRImprovementofSignaltoNoiseRatio改善信噪比ITSIntelligentTransportationSystems智能交通系统PSFPointSpreadFunction点扩展函数RBFRadialBasisFunction径向基函数RTVNPRRealTimeVehicleNumberPlateRecognition实时车牌识别SVMSupportVectorMachine支持向量机SVRSupportVectorRegression支持向量回归ix\n承诺书本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人享有著作权的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本人授权南京航空航天大学可以有权保留送交论文的复印件，允许论文被查阅和借阅，可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段保存论文。（保密的学位论文在解密后适用本承诺书）作者签名：日期：\n南京航空航天大学硕士学位论文第一章绪论1.1课题的研究背景和意义随着计算机、通信等现代信息技术的发展，信息的自动化处理技术在人们的社会活动和生活的各个领域得到了广泛的应用，图像的自动检测识别技术也越来越受到人们的重视。汽车是现代社会的主要交通工具之一，在人们的日常生活中越来越普遍，车牌的自动识别技术已成为智能交通系统（ITS）中的重要研究课题。采用车牌自动识别技术对实际环境中摄像机采集到的质量各异的车辆图像实现实时准确的识别，有助于实现车辆管理的自动化、智能化。车牌自动识别（ALPR）是计算机视觉与模式识别技术在智能交通领域应用的重要研[1]究课题之一。这一课题涉及的领域包括模式识别、图像处理、人工智能、信息论、计算机科学等多门学科，是一门综合的应用技术。车牌自动识别技术目前可广泛应用于以下各个领域：高速公路、桥梁、隧道等自动收费管理系统，城市交通车辆管理，超速车和违规车辆的识别、记录，电子警察，海关边境交通监控，以及管制区、国家重要机关部门的进入控制等。目前车牌自动识别技术的研究虽然已有很多，但多是假设图像采集设备采集到的车辆图像较为理想。而在智能交通系统中，采集到的车辆图像因受到不均匀光照、复杂的外界背景干扰、运动模糊等因素的影响而质量各异，且图像的识别效果与图像质量有关，低质量的图像会降低车牌自动识别的准确率。由于车牌自动识别技术在现代智能交通系统中具有举足轻重的作用和巨大的应用潜力，因此有必要对车牌自动识别技术做进一步的研究，讨论诸如运动模糊等情况的车辆图像的自动识别技术，以扩大车牌自动识别技术的领域。运动模糊是引起车牌图像模糊的主要原因之一，本文主要针对运动模糊车牌图像的恢复、定位、校正及分割方法做一些研究。1.2车牌自动识别系统的概述目前，针对运动模糊车辆图像的车牌自动识别技术的研究还不深入，还没能形成一个如同清晰车辆图像那样的完整的识别系统。现有的研究主要集中在运动模糊恢复算法的研究或是清晰车辆图像的车牌自动识别技术的研究上。本节主要介绍清晰车辆图像的车牌自动识别系统的发展概况，在第二章中将对运动模糊恢复算法的发展概况做详细介绍，此处1\n运动模糊车牌图像的恢复、定位、校正及分割方法研究就不再单独列出。另需特别说明的是，为了区分车牌定位时所处理的包含车牌、车身及其背景的图像和倾斜校正时所处理的定位后的纯车牌图像，本文将前者称为车辆图像，后者称为车牌图像加以区别。1.2.1车牌自动识别系统的原理实际应用的车牌自动识别系统常包括图像预处理、车牌定位、车牌校正、字符分割、[2]字符识别五个部分，具体如图1.1所示。图像预处理车牌定位车牌校正字符分割字符识别输出结果图1.1车牌自动识别系统框图图像预处理部分：在车牌识别系统中，由于图像采集设备采集到的车辆图像受到光照、环境干扰、运动等因素的影响而质量各异，如不进行必要的预处理，将影响车牌识别的准确性。因此，首先应对采集到的车辆图像进行增强、恢复等预处理操作，突出车牌部分特征，以便更好的进行车牌定位等后续操作。车牌的定位部分：车牌的定位实际上就是根据车牌区域的纹理特征、几何特征等，在整个车辆图像中寻找最符合车牌特征的区域的过程，其本质就是在参数空间找寻最优定位参数的问题，是一个全局寻最优的过程。车牌的倾斜校正：采集到的车牌如果是倾斜的，必须先对其进行倾斜校正，以免影响后续字符识别的准确性，这是因为3°以上的倾斜就会对车牌的识别产生影响。字符分割：对定位校正后的车牌图像进行字符分割，即将车牌图像在经过去边框等处理后将车牌部分分离出一个个单个的字符（包括汉字、英文字母和数字等），以便进行后续的字符识别。字符识别：对分割后的字符进行处理，识别并输出车牌字符识别的结果。1.2.2现有的车牌自动识别系统正因为车牌自动识别系统具有良好的发展前景，所以车牌自动识别系统的开发和研究工作在国内外皆受到相当大的关注。如今，发达国家的车牌自动识别系统在实际交通系统中已取得了成功的应用。这不仅仅和其技术领先有关，还与这些国家的车牌比较单一，易于识别有关。目前广泛应用的车牌自动识别系统包括英国IPI公司研发的实时车牌识别（RTVNPR）系统、新加坡Optasia公司开发的IMPS系统、FORNIX公司开发的自动可视监测识别汽车牌照的图像识别软件包等。通过对这些公司的车牌自动识别系统进行分析可2\n南京航空航天大学硕士学位论文以了解到，车牌自动识别系统一般包含有计算机、摄像头、图像采集设备、相应的图像处理软件等，有的还有来车检测装置。系统的应用场所大都为停车场、收费站、交通路口等，采用的技术主要包括了传感器、数据采集、图像分割识别和数据库管理等。在实际应用中，车牌自动识别系统的核心技术为车牌定位、校正、分割和识别。与一些发达国家已经成功应用的车牌识别系统相比，我国的开发应用进展显得缓慢。这是因为我国的实际情况与国外有所区别，国外车牌规格比较统一，而我国车牌不够规范，较为多样化。不同汽车类型的车牌有不同的规格、大小和颜色，给处理带来了一定的困难。目前国内开发车牌识别系统的公司主要有：上海高德威智能交通系统有限公司、北京汉王科技有限公司、亚洲视觉科技有限公司、智慧光科技有限公司、沈阳聚德视频技术有限公司、中智交通电子系统有限公司等。此外，国内的很多高校和科研院所都做过车牌自动识别系统的研究并开发了相关的产品，如清华大学、浙江大学、东南大学、西安交通大学、上海交通大学和中国科学技术大学等。1.2.3车牌自动识别技术发展概况从上节的介绍中可知，一个完整的车牌自动识别系统的核心技术包括车牌定位、车牌校正、字符分割和字符识别，定位、校正、分割技术的发展概况在本文的第四、五、六章中将分别做详细介绍，此处不再赘述。本小节主要介绍目前的车牌字符识别技术的发展概况。车牌字符识别的方法很多，目前主要有以下几种：[3](1)模板匹配法。该方法从字符的整体出发，通过计算模板和待测图像的相关性进行识别。该方法对于有变形、位移、旋转的待识字符识别效果较差，且运算时间长；[4](2)神经网络法。神经网络由于具有较强的曲线拟合及模式分类能力，在字符识别中得到了广泛的应用，但这类算法的收敛速度较慢，无法保证全局最优，且对比较难分的字符适应性不强；[5](3)基于独立分量分析的方法。独立分量分析通过提取字符特征，以信息理论中负熵作为估计输出分量之间独立性的目标函数,并在此基础上对待识别字符进行重建,通过对重建模型的误差分析进行字符识别。该方法所用的判别标准是重建模型与待识别字符的重建误差，判别标准较为简单，算法的鲁棒性不高，且对于一些形态比较相像的字符,如8和B、0和Q、0和U识别率较低；[6-8](4)基于支持向量机的方法。支持向量机能够较好地解决小样本、非线性及高维数等模式识别问题。该算法是建立在结构风险最小化原理基础上的新算法，它在使训练样本分类误差极小化的前提下，最大程度地提高了分类器的泛化能力。利用该算法进行车牌字符识别，在训练样本相对较少且图像质量较差的情况下，可得到较高的识别率，并克服神3\n运动模糊车牌图像的恢复、定位、校正及分割方法研究经网络所固有的过学习和欠学习的缺点。1.3高速运动下车牌自动识别的一些新问题前人对车牌自动识别技术的研究多是基于静态或者低速运动的车辆图像，这样的图像模糊程度不大，主要做一些基本的预处理方面的工作就可以了，更多的工作集中于后续的车牌定位、字符分割及识别部分。然而，对于高速运动的车辆就产生了很多新问题：(1)因为车辆高速运动，加之曝光时间通常较短，得到的图像往往是模糊的，这就要首先做图像恢复处理，通过得到的模糊图像来建立退化模型以反推原始的图像，或是直接根据模糊图像利用机器学习等特性来复原图像，最终得到一幅大致上比较清晰的照片以供后续处理；(2)由于现有的大多数车牌定位方法对图像质量的适应能力不强，模糊恢复后的车牌图像质量虽有一定的改进，但与清晰图像仍有差距，这就需要对现有的定位方法做一定的改进，以适应模糊恢复图像。1.4课题主要研究任务前人虽已对车牌的自动识别技术做了很多研究，但处理的多是静态的或是低速运动的车辆图像，图像本身的模糊程度不大，只要做一些简单的预处理方面的工作就可以了，更多的工作集中在后续的车牌定位、字符分割及识别部分。然而在智能交通系统中，得到的车辆图像有时是模糊的，需要对现有的车牌自动识别技术做进一步的改进，这其中就包括了运动模糊车辆图像的恢复、车牌定位、校正及分割识别等内容。本文主要讨论以下内容：(1)对运动模糊车辆图像进行恢复处理：综合考虑现有的图像恢复算法，寻求能够有效实现运动模糊车辆图像恢复的算法。(2)对恢复后的车辆图像实现车牌定位：针对恢复后的车辆图像，寻求一种定位算法，该定位算法要充分利用车辆图像的各种特点，且对车辆图像质量要有一定的适应能力，使之在车牌倾斜、图像对比度低、带有模糊恢复振纹等干扰时仍能准确地定位。(3)车牌倾斜校正：在车牌倾斜校正中，要克服现有倾斜校正方法速度慢、精度低的缺点，准确而快速地求得车牌的倾斜角度，并且精确划定车牌的边界。(4)在车牌字符分割时，运用快速阈值分割方法进行二值化，用投影法对字符区进行字符切分。1.5本文章节安排在本文的内容安排中，用五章的篇幅分别讨论运动模糊车牌的恢复、定位、校正及分4\n南京航空航天大学硕士学位论文割。各个步骤对应的章节中会专门介绍该步骤中前人研究的算法，因此不再集中用一章介绍前人的研究工作。同理，各个步骤的实验结果也在各自对应的章节里予以分析，不再最后安排一章来分析实验结果。本文章节的具体安排如下所述：第一章绪论。概述了课题研究的背景意义、车牌识别系统及其技术的发展概况、高速运动下车辆自动识别的新问题，详述了本论文的主要任务以及各章的内容安排。第二章基于PSF估计和空域参数自适应正则化的运动模糊恢复算法。主要总结了现有的基于PSF估计的运动模糊恢复算法，在前人研究的基础上对算法做了一定的改进，阐明了该算法的原理和步骤并给出了实验结果。第三章基于模糊支持向量回归的模糊恢复方法。在分析现有的盲恢复算法的基础上，实现了一种基于模糊支持向量回归的盲恢复算法。文中给出该算法的原理和方法，并对实验结果进行了分析比较。第四章基于混沌遗传的车牌定位方法。考虑到恢复后的车辆图像的质量较之清晰的图像仍有差距，给出了一种基于混沌遗传的车牌定位方法，对该算法的原理和流程进行了详细描述，并将实验结果与其他方法做了比较。第五章基于角点检测和惯性主轴的车牌倾斜校正方法。为提高校正的准确性和速度，综合车牌区域的特征，提出了一种基于角点检测和惯性主轴的车牌倾斜校正方法。阐明了该校正算法的原理和流程，并对结果进行了分析。第六章基于二维最小交叉熵阈值分割的快速迭代算法。为快速准确地对车牌图像进行二值化，在综合前人研究的基础上，推导了一种基于二维最小交叉熵阈值分割的快速迭代算法进行车牌图像的二值化，并做滤波去噪等处理，然后再借助相关的投影信息和先验知识来分割字符。第七章总结与展望。总结了目前的研究成果，并指出了下一步工作方向。1.6本文的主要创新点本文对运动模糊车牌图像的恢复、定位、校正及分割方法进行了全面、深入的分析和总结，在已有研究的基础上，对有关算法做了改进或给出了新的算法，主要的创新点如下：(1)在基于Radon变换估计运动模糊方向的研究基础上，改进了模糊方向的鉴别方法，使其精确度更高；同时采用基于模糊集的模糊长度估计方法，克服了传统的基于Radon变换或是Hough变换模糊长度估计方法抗噪性能差的缺点，在图像受到噪声污染时仍能很好的估计出模糊长度。在估计出PSF的基础上，采用空域参数自适应的正则化恢复方法恢复模糊图像，选择自适应的正则化参数及自适应加权处理的拟合项和正则化项，一定程度上5\n运动模糊车牌图像的恢复、定位、校正及分割方法研究第三章基于模糊支持向量回归的模糊恢复方法第二章中讨论的是图像盲恢复的第一大类方法：根据模糊图像估计出PSF，再根据估计出的PSF采用经典的频域或空域恢复方法实现模糊图像的恢复。这种方法将图像恢复的过程分成两个阶段，运算量小，但PSF估计的稍许偏差即会造成模糊恢复的极大误差，因此这种方法对PSF估计的精确度要求很高。实际上盲恢复还有第二大类方法，这种恢复方法的点扩展函数的辨识与图像的恢复是同时进行的，即根据模糊图像估计出PSF并同时恢复图像，如现有的基于神经网络的盲恢复法、基于支持向量回归的盲恢复法等。本文提出一种基于模糊支持向量回归的退化图像恢复方法，通过解一个二次优化问题得到全局最优解，建立回归模型，以恢复不同的模糊图像。该方法克服了神经网络的模型选择与过学习问题、局部极小问题等，同时也克服了噪声等对传统支持向量回归机泛化能力的影响。3.1算法形成的背景支持向量机（SVM）是一种在统计学习理论基础上发展起来的新型通用分类和回归工具，能较好的解决了小样本、非线性、高维数等实际问题。[32]支持向量机首先将分属不同类的样本映射到一个高维的特征空间中，在高维空间中构造支持向量机以寻找一个具有最大间隔的分隔平面来实现分类或回归。由于SVM具有较为完备的理论基础和较好的学习性能，目前它已广泛应用于诸如字符识别、图像分类、人脸检测、疾病检测、非线性时间序列预测等领域。但传统的支持向量机存在对噪声和野值敏感的问题，在有噪声和野值存在的情况下，其泛化能力将受影响。为解决这一问题，[33]Lin等人提出了模糊支持向量的概念，即在机器学习中，给每个训练样本分配一个隶属度，对隶属度比较大的样本给予充分的重视，而对于隶属度较小的(可能是异常数据)予以限制，从而实现对噪声和野值点的抑制。3.2基于模糊支持向量回归的恢复方法3.2.1支持向量回归的原理Vapnik首先提出将ε−SVR用于回归问题,设训练数据集(,)XY，in=1,2,...,，X是iii第i个样本的输入模式，Y对应于第i个样本的期望输出。支持向量机用于回归问题，是i20\n南京航空航天大学硕士学位论文h利用核函数将输入数据映射到高维特征空间R，在特征空间实现线性回归[34]。首先利用一个非线性映射ϕ(.)把数据映射到一个高维特征空间，然后在高维特征空间进行线性回归，设回归函数为f()XwXb=<>,()ϕ+（3-1）h上式中，<⋅⋅>,为特征空间中的内积，wR∈且bR∈。对于回归估计问题就是求解w和b，使得对于样本以外的输入X，满足fX()−
−≤bε（3-2）求解式(3-1)的参数w和b等价于下面的约束优化问题，即在下式(3-4)的约束下求式(3-3)的最小值：1nminwwCT++∑(ξξ*)（3-3）*iiwb,,,ξξ2i=1YfX−≤()εξ+iii*f(XY)−≤+εξi=1,2,...,n约束条件为：iii（3-4）*ξξ,0≥ii式(3-3)中，C为惩罚因子，用来表示函数f的平滑度和允许误差大于ε的数值之间的折中，主要在提高泛化能力和减小误差之间起调控作用；ε是一事先设定好的正数，用来*控制算法希望达到的精度；变量ξii,ξ为训练样本上的误差代价。这是一个二次优化问题，其对偶问题为：1nn***n*min∑∑(α−−ααα)()<ϕϕ()XX,()>++εαα()−−∑Y(αα)（3-5）αα,*2ij,1==iijjiji1iii=1iiin*∑()ααii−=0i=1i=1,2,...,n约束条件为：（3-6）*0,≤≤ααCiiα**解这个二次优化问题可以确定系数、α和w，对应α−α≠0的点称为支持向量，iiii可见支持向量的数目小于训练样本点数。w的表达式为n*w=∑()ααϕii−(Xi)（3-7）i=1于是回归函数的表达式为：n*f()XX=−<∑(ααϕ)(),()ϕX>+b（3-8）iiii=1从上式可以看出，利用支持向量进行回归估计的计算复杂度和输入的维数是不相关的，而21\n运动模糊车牌图像的恢复、定位、校正及分割方法研究仅依赖于支持向量的数目。偏值b用任意一个支持向量通过Karush-Kuhn-Tucker最优化条件计算可得。上面的优化过程需要计算高维特征空间的内积，定义核函数K(,)⋅⋅为高维特征空间中的内积运算，即KXX(,)=<>ϕϕ()X,()X（3-9）ii它是可以满足Mercer条件的任意对称函数，本文采用常用的径向基核函数2XXi−KXX(,)ei=−xp2（3-10）2σ因此，最终的回归函数的表达式为n*f()XK=∑(ααii−)(,)XiX+b（3-11）i=13.2.2模糊支持向量回归的原理[35,36]模糊支持向量回归算法，就是给每个样本都赋一个模糊隶属度，这样不同的样本对决策函数的学习有不同的贡献，从而可以减小外部的影响。设训练数据集(,,)XiiiYs，in=1,2,...,。每个样本点都带有一模糊隶属度s，s是小于1的正数。则回归问题变成求ii下式（3-12）的最小值，即：1nminwwCsT++∑(ξξ*)（3-12）*iiiwb,,,ξξ2i=1YfX−≤()εξ+iii*f(XY)−≤+εξi=1,2,...,n约束条件仍为：iii*ξξ,0≥ii则其对偶问题转化为：1nn***n*min∑∑(α−−ααα)()<ϕϕ()XX,()>++εαα()−−∑Y(αα)αα,*2ij,1==iijjiji1iii=1iiin*∑()ααii−=0约束条件变为i=1i=1,2,...,n（3-13）*0,≤≤ααCsiii最终得到模糊支持向量回归的回归表达式可表示为：n*fX()=∑()ααii−K(XXbi,)+（3-14）i=122\n南京航空航天大学硕士学位论文*上式(3-13)中系数αi、αi的上界是模糊隶属度的函数，核函数K(,)XXi仍取式(3-10)的径向基函数。3.2.3模糊支持向量回归隶属度函数的确定从式(3-14)中可知，对给定的问题选择合适的模糊隶属函数是十分重要的，目前隶属度函数的研究很多，但还没有一个通用的方法。在大多数情况下，隶属度函数是基于样本点和聚类中心之间距离定义的，本文采用HaoTang等人提出的一种新的模糊隶属度函数[37]，它既考虑样本点与类中心的距离，也考虑样本点与k最近邻域间的距离。具体定义如下：设d=−XX,,ij∈(1,2,...,)nandi≠j（3-15）ijijdd,,...,d,dii12i(2nn−−)(1i)则可以得到（3-16）dd≤≤≤...d≤dii12i(2nn−)(i−1)定义邻域间的模糊隶属函数µ为ib=1ik∑dijj=1µ=B=max(,bb,...,bn)其中k是一常数，即k最近邻域（3-17）i12bµ=iiB定义样本点与中心的隶属度函数为：XX−t=−1centeriX是样本点的均值（3-18）imax(X−X)centercenteri最终，本文中的使用的模糊隶属度函数为s=t•µ（3-19）iii3.2.4基于模糊支持向量回归的图像恢复基于模糊支持向量回归图像恢复主要是运用大量的退化图像gxy(,)与原始图像f(,)xy样本进行学习训练，将退化图像gxy(,)作为回归模型的输入图像，原始图像23\n运动模糊车牌图像的恢复、定位、校正及分割方法研究f(,)xy作为回归模型的目标图像，建立输入图像与目标图像的非线性映射关系φ(.)，使f(,)xy=φ((,))gxy[38,39]然后再用训练后的回归模型对实际退化图像进行恢复。对模糊图像而言，其非线性映射关系的建立可以依据退化过程来推出，从上章的介绍可以看出，运动模糊长度为L的水平运动模糊即可以看成是L个邻域像素对中心像素的映射，因此，可以将输入图像与目标图像间的非线性映射关系具体描述为“邻域对像素”的映射，目标图像中每一个像素值只与输入图像相应邻域像素值有关。邻域大小实验时选择。以128128×像素的图像为例,若对输入图像以33×像素的邻域按行或列的顺序逐点滑动,(12831)215876得到−+=个33×像素的邻域,并以这些邻域中心为采样点对目标图像进行采样得到15876个像素值.即对输入和目标图像建立15876个33×像素对1个像素的映射.将邻域像素按行或列的顺序排列就形成了9维输入对1维输出的非线性映射,训练数据对为15876。用“邻域对像素”法采集到模糊支持向量回归的训练数据后，即可以用模糊支持向量回归来实现模糊图像的恢复。3.3实验结果及分析本实验用图采用人工生成的方法。原始车辆图像以不同的PSF进行模糊，同时叠加高斯噪声。3.2.4节中的邻域大小选为77×，得到的训练集中向量的维数为49，77×的采样窗口沿着模糊图像移动，即可得到训练样本集。由于低对比度的像素块对SVR模糊图像和真实图像间映射关系的建立贡献小，本文中只选择像素块方差大于一定门限的样本点，这样得到的训练集通常只有未改进前的40%，从而减少了FSVR的运算量。用退化图像A和原始清晰图像A建立模糊支持向量回归模型，惩罚因子C=10，采用常用的径向基（RBF）核函数，其宽度系数σ=2，不敏感系数ε=0.1，然后将退化车辆图像B、C、D输入训练好的回归模型以恢复图像。为说明本文方法的有效性，给出了文献[38]的基于SVR的恢复方法以及基于BP神经网络的恢复方法的恢复结果，如图3.3所示。（a）清晰车辆图像A（b）清晰车辆图像B24\n南京航空航天大学硕士学位论文（c）清晰车辆图像C（d）清晰车辆图像D图3.1原始清晰的车辆图像（a）模糊车辆图像A（b）模糊车辆图像B（c）模糊车辆图像C（d）模糊车辆图像D图3.2PSF为L==15,θ0的运动模糊、SNR=20dB的高斯噪声模糊后的图像（a）FSVR恢复的车辆B（b）SVR恢复的B（c）神经网络恢复的B25\n南京航空航天大学硕士学位论文第四章基于混沌遗传的车牌定位在车牌自动识别技术中，经过模糊恢复等预处理的车辆图像下一步要进行的处理就是车牌定位。车牌定位是车牌自动识别系统中较为关键的步骤之一，设计出对车辆图像质量自适应强、速度快、准确率较高的车牌定位方法对于整个自动识别系统性能有着很重要的意义。本章首先总结车牌定位常用的算法和技术，然后提出一种基于混沌遗传的定位方法，以适应不同质量的车牌图像定位。4.1车牌定位方法的发展概况目前车牌定位的方法可以大致分为两类：一类是基于灰度图像的车牌定位方法，另一类是基于彩色图像的车牌定位方法。4.1.1基于灰度图像的车牌定位算法简介灰度图像数据量小，处理迅速简单，且由于图像处理发展前期受到硬件设备的存储量小、计算速度慢等因素的影响，因此长期以来图像处理主要是以灰度图像处理为主。[40]车牌区域具有不因外部条件变化而改变的特点：1)在车牌的矩形区域内边缘较丰富，呈现出规则的纹理特征；2)车牌区内有多个字符，字符和车牌底色区域在灰度值上存在跳变；3)车牌长宽有固定的比例。在传统的基于灰度图像处理的基础上，这些特点为车牌定位方法的研究提供了切实可行的依据。对于车牌定位的灰度图像处理算法，比较常用的有以下几种：(1)利用车牌中文字笔画变化频率比较稳定的特点，即笔画间隔的像素是稳定在某一个范围内，笔画数也存在下限的特征。设定阈值，通过扫描确定上下边界位置和左右边界[41]位置。这样在已缩小的范围内再用上述方法进行递归检测，直到车牌位置比较稳定为止。这种方法在拍摄角度、距离、光线都有很大调整的情况下，能够快速准确地定位、分割出车牌。不足之处就在于对那种引入文字背景的原始图像会出现很多错误，同时笔画间隔的像素是一个相对的概念，对于大小不同的车牌显然是不同的，所以此算法对原始图像的标准化要求很高。(2)扫描车牌各行，通过车牌区域的扫描线上灰度变化相对于没有通过车牌区域的扫描线有很明显的特征：灰度变化在车牌区很快，有很多明显的峰点和谷点以及车牌区峰点27\n运动模糊车牌图像的恢复、定位、校正及分割方法研究[42]的高度和谷点的高度基本相同。根据以上特征快速定位车牌。这种方法受图像中灰尘、脏污的影响较大。[43](3)直线检测，通过边缘提取，利用Hough变换检测出车牌边框直线来定位车牌。这种方法受车牌图像倾斜的影响较大，同时边缘检测也没有很好地消除其他无关的边缘，在有其他直线干扰时失效的可能性大大增加。[44](4)基于数学形态学的车牌定位方法通过对灰度图像采用形态学运算，同时把基于全像素点数学形态学处理的点运算转化为仅有几十条直线的线运算，提高了运算速度和抗干扰能力。[45,46](5)基于小波分解的车牌定位方法利用小波的特点对车牌图像进行分析，发现小波分解后的细节分量中有能较好体现出车牌位置的信息，特别是水平低频、垂直高频分量能提供更准确的车牌位置信息。再将小波分解后的混合边缘图像运用数学形态学算子进行精细定位。4.1.2基于彩色图像的车牌定位算法简介与灰度图像相比，彩色图像色彩丰富，信息具有原始性和完整性，在设备存储量和速度允许的情况下可以取得更好的处理效果。因此，很多研究人员认为彩色车辆图像比灰度图像更有利于图像分割和目标提取。车牌具有与车身、背景不同的颜色，所以近年来很多学者已经开始应用彩色图像处理技术进行车牌定位，采取的主要方法有：(1)采用多层感知器网络对输入彩色车辆图像进行彩色分割，通过投影法分割出潜在[47]的车牌区域并根据先验知识得出合理的车牌区域。[48](2)彩色边缘检测算子与区域生长相结合的车牌定位算法。这种方法的主要思想是通过边缘检测算子对彩色图像进行边缘检测，增强车牌区域，并借助数学形态学膨胀技术实现区域的连通，采用区域生长方法标记候选区域，最后利用车牌的先验知识，剔除虚假车牌区，确定真正的车牌区。(3)利用颜色空间距离和相似度进行车牌底色的颜色分割，再采用投影法根据车牌的[49]宽高比确定车牌候选区域，最后对候选区域的灰度图像进行纹理分割提取车牌。(4)将彩色图像转换到色调饱和度亮度空间（HSV空间），统计车牌底色在HSV空间中的各分量的经验范围并提取车牌候选区域，然后对候选区域进行投影分析和形态学操作[50]提取车牌。4.2基于混沌遗传的车牌定位方法4.2.1算法的形成28\n南京航空航天大学硕士学位论文车牌定位方法研究的虽然很多，但多是假设车辆图像质量良好。实拍车辆图像容易受天气、光照、运动模糊等外部因素的影响，使得车辆图像有较大的退化而难以识别。例如本文讨论的运动模糊车辆图像，虽然经过前述的模糊恢复，但图像质量与清晰车辆图像相比仍可能有一定的差距，在这种情况下，传统的车牌定位方法将不再适用。为提高车牌定[51,52]位算法对图像质量的适应能力，是湘全等人提出了结合遗传算法的车牌定位方法，实验表明他们的方法在图像分辨率低、车牌目标较小或是变形明显时能取得不错的结果，但有时不能得到全局收敛，且收敛速度比较慢，定位时间长。为提高定位算法对低质量车辆图像的定位精度，同时缩短定位时间，本文提出了一种基于混沌遗传算法的车牌定位方法，在遗传算法的基础上引入了混沌优化的理论，以实现全局收敛，并加快收敛速度。4.2.2混沌遗传算法的原理遗传算法对可能包含解的群体反复使用遗传学的基本操作不断生成新的群体，使群体不断进化，同时以全局并行搜索技术来搜索优化群体中的最优个体，以求得到满足要求的解。遗传算法虽有简单、鲁棒性好、自适应性强等优点，但也存在很多缺陷，如无法保证收敛到全局最优解、群体中最好的染色体丢失、收敛到最优解的时间过长等，为提高遗传算法的收敛速度和求取全局最优解的能力，本文引入混沌优化的理论。[53]混沌是自然界广泛存在的一种非线性现象，它充分体现了系统的复杂性。一般的，混沌是指由确定性方程得到的具有随机性的运动状态。常用的混沌模型是“虫口模型”，即一维Logistic映射，其数学模型如下：x=−µxx(1)k=0,1,2...（4-1）kk+1k式中µ为控制参数，µ值确定后，由任意初值x∈[0,1]，可以迭代出一个确定的时间0序列x,xxx,,...,。随着µ值的不同，该系统的稳定解呈现出不同的性质。式(4-1)中，012k当µ∈(3.56,4.0)时，上式进入混沌状态，具有混沌的一般特性，即随机性、遍历性、对初始条件的敏感性等。混沌运动的上述特性作为避免陷入局部极小的优化搜索机制，恰好可以弥补遗传算法易陷入局部最优、收敛速度慢的缺陷。本章将混沌优化和遗传算法结合起来，通过在进化的不同阶段进行混沌优化搜索，大大提升了遗传算法的寻优能力。混沌优化与遗传算法的结合主要表现在两个方面：(1)初始种群的混沌生成。传统的遗传算法中，随机生成的初始群体会有相当大一部分个体远离最优解，限制了算法的求解效率。利用混沌的遍历性进行粗粒度全局搜索，往往会获得比随机搜索更好的效果，以此来提高初始种群个体的质量和计算效率。对式(4-1)的x分别赋予m个不同的初值x,xx,...,，产生m个不同轨迹的混沌变量k01020m29\n运动模糊车牌图像的恢复、定位、校正及分割方法研究{}x,im=1,2,...,，按式(4-2)将m个混沌变量分别映射到优化变量的取值范围内使其变成kix∗混沌变量。kix∗=a+(ba−)x（4-2）kiiiikix∗∗∗∗{,,xxx...}对于固定的k，=代表一个可行解。对于每一个可行解计算其kkkk12m适应度，选择适应度较高的A个个体组成初始种群。需要说明的是，在初始种群的混沌生成过程中，为了保证混沌变量能充分地遍历，混沌序列应取足够的迭代次数（一般取400左右）。(2)优秀个体的混沌优化。利用混沌进行细粒度局部搜索，提高解的精度。选取遗传操作后种群适应度较高的个体，对这部分个体进行微小的混沌扰动并随着搜索过程的进行自适应调整扰动幅度，以进一步优化优秀个体的品质，引导种群快速进化。设x={,,...}xxx为进化过程中某代群体中的一个优秀个体，对其每一分量按式(4-3)进行12A混沌扰动。*x=+xSa（4-3）kj,,jkj其中j∈[1,]A，A为种群的大小，S为映射至[-1,1]区间的混沌变量，k为迭代次数，kj,*x为x经混沌扰动生成的混沌变量，a为与迭代次数k有关的比例系数，kj,jk-1qa=-1()，q为一正整数，依目标函数而定。k对于固定的k，x∗∗∗∗{,,xxx...}=代表一个可行解。对于每一个可行解计算其kkkk12m适应度，选择适应度较高的A个个体组成新的种群参加下一代进化。在优秀个体的混沌优化过程中，混沌序列可取较少的迭代次数（一般取50左右）。4.2.3混沌遗传算法的步骤(1)编码及参数设定：采用二进制或是实数编码表示各个变量，设定种群规模、适应度函数、交叉概率、变异概率、混沌迭代次数等参数；(2)初始种群的混沌生成；(3)选择适应度较高的个体；(4)以交叉概率Pc按适当的交叉方式对选中的多对个体交叉；(5)以变异概率Pm按适当的变异方式对选中的个体变异；(6)对新的种群中的优秀个体进行混沌优化；(7)重复步骤(3)到步骤(6)，直到满足终止条件。30\n南京航空航天大学硕士学位论文4.2.4车牌定位的适应度函数的确定从人眼视觉角度出发，车牌区域具有以下特点：1)车牌底色往往与车身颜色、字符颜色有较大的差异；2)车牌内字符之间的间隔比较均匀，字符和车牌底色在灰度值上存在跳变，而字符本身与车牌底色的内部都有均匀灰度；3)不同图像中车牌的具体大小、位置不确定，但其长度比变化有一定的范围；4)在车牌的矩形区域内存在丰富的边缘，呈现出规则的纹理特征。车牌区域有比较丰富的边缘和纹理特征。因此，首先在车辆图像上确定一个矩形区域，其左上角顶点的坐标为(,)xy，长度为l，高度为h，统计其中的边缘点数edgecount，并对区域里的每一行灰度值进行一维的波峰、波谷检测，然后统计区域波峰的密度Den，波∆m222峰的均值mp，波峰波谷均值差pt，波峰方差σp，波谷方差σt和波峰间距的方差σd，这6个特征组成的特征向量V具有较小的类内距离和较大的类间距离，而且只与波峰和波谷有关。与传统的灰度直方图分析方法相比，这种方法大大降低了对噪声的敏感度。对于已提取出的区域特征矢量VD=[]enmm∆σ222σσ，前3个特征pptptd分量值应比较大，后3个特征分量值应比较小，且各个分量的重要性并不相同，例如波峰密度比间距方差对类内距离的贡献更大。所以，应对V进行线性变换UWV=（W为权重矩阵），重要的特征分量赋予较大的权值，不重要的特征分量给予较小的权值。取特征函数为：f=edgecountU+（4-4）从不同位置、大小的区域提取出的特征矢量组成集合{}f，其中的最佳向量对应的区i域即车牌区域。由此可见，车牌定位的关键在于确定矩形区域的位置x,y，长度l和高度h，使从该矩形区域中提取的特征矢量为最佳。归根结底，车牌的定位过程是一个全局寻找最优的过程，可以用混沌遗传算法实现。4.2.5混沌遗传车牌定位方法的步骤(1)对车牌定位的过程进行参数编码。考虑到车牌定位的过程实质上是在整个车牌图像中寻车牌区域的过程，它的可变参量主要包括子图的位置(,)xy及其长度为l，高度为h。对这四个变量进行编码。目前遗传算法中的编码方式主要有二进制编码和实数编码，实数编码直接使用实数参与操作，具有表现方法直观、节省时空开销、计算效率高等特点。因此，本文采用实数编码；(2)初始种群的混沌生成；(3)以式(4-4)为适应度函数，计算适应度值。选择适应度高的A个个体；(4)对选择后的个体以重组概率P进行重组生成新的个体；c31\n运动模糊车牌图像的恢复、定位、校正及分割方法研究(5)对新个体以变异概率P变异操作；m(6)按式(4-3)对选择后的个体进行混沌优化；(7)如果对于最优个体适应度函数达到要求或者进化代数超过规定的代数，则终止进化；否则转(3)继续执行。4.2.6混沌遗传车牌定位方法的主要参数设置混沌优化中的µ取0.37，生成初始种群时混沌遗传迭代次数选为400，优秀个体的混沌优化时迭代次数为50。遗传算法中的种群规模A取为100，算法终止条件为进化代数50。重组率P取0.9，变异概率P取0.007。cm4.3实验结果及分析在P42.6GCPU、256M内存的计算机上用Matlab7.1仿真实现了本文算法。为了说明本文提出的基于混沌遗传的车牌定位算法对图像质量的适应能力好、定位准确等优点，图4.1~4.3分别给出了拍摄质量良好、有一定模糊以及带一定振纹的车辆图像的车牌定位结果。(a)原车辆图像（b）定位结果图4.1拍摄质量良好的车辆图像的定位结果32\n南京航空航天大学硕士学位论文(a)原车辆图像（b）定位结果图4.2有一定模糊的车辆图像的定位结果(a)车辆图像（b）定位结果图4.3模糊恢复后带振纹的车辆图像的定位结果[42]将本文基于混沌遗传的车牌定位方法与传统的基于纹理特征的定位及是湘全等提出[51]的基于遗传算法的定位方法进行比较，选择200幅不同质量的车辆图像进行测试。实验结果如表4.1所示。图4.4~4.6给出了其中三幅的实验结果图。表4.1车牌定位实验结果采集个数正确定位数准确率纹理特征法20015075％遗传算法20017286％本文方法20018793.5％（a）含有一定模糊的车辆图像（b）文献[42]纹理定位法（c）文献[51]遗传定位法（d）本文定位法图4.4本文定位方法与其他方法的实验结果比较一33\n运动模糊车牌图像的恢复、定位、校正及分割方法研究（a）含有多个字符干扰的车辆图像（b）文献[42]纹理定位法（c）文献[51]遗传定位法（d）本文定位法图4.5本文定位方法与其他方法的实验结果比较二（a）模糊恢复后的车辆图像（b）文献[42]纹理定位法（c）文献[51]遗传定位法（d）本文定位法图4.6本文定位方法与其他方法的实验结果比较三实验表明，本文提出的定位方法可靠，较之传统的基于纹理特征及基于遗传算法的定位方法，定位精度有了较大的提高，且对模糊恢复处理后的车辆图像仍有较好的定位效果。本文定位方法对图像质量的适应能力好，有比较好的应用前景。实验过程中发现，造成错误的因素主要有：34\n运动模糊车牌图像的恢复、定位、校正及分割方法研究第五章车牌倾斜校正由于摄像机的安装及地面起伏等原因，经车牌定位得到的车牌图像常有倾斜的情况，而3°以上的倾斜就会对后续的字符分割识别产生影响，所以通常都要对车牌进行校正。本章首先将在第一节介绍车牌的三种倾斜模式，由此引出车牌校正的步骤；并解释本文把校正过程分为水平校正和后续校正的原因。然后详细介绍水平校正的传统方法，提出基于角点检测和惯性主轴的车牌水平倾斜校正算法。最后简要给出了后续校正的方法。5.1车牌的倾斜模式及校正步骤5.1.1倾斜模式由于道路的坡度、车牌的悬挂以及摄像机与车牌之间倾斜角度的影响，使得拍摄到的车牌图像产生了倾斜，而3°以上的倾斜就会对后续的字符分割识别产生影响，所以通过车牌定位得到车牌图像后，通常都要进行倾斜校正。一般情况下，可将倾斜的车牌图像近似看成一个平行四边形，有三种倾斜模式：水平倾斜、垂直倾斜和水平垂直倾斜，分别如[54]图5.1、图5.2和图5.3所示：图5.1水平倾斜的两种情况图5.2垂直倾斜的两种情况36\n南京航空航天大学硕士学位论文图5.3水平垂直倾斜的两种情况图5.1为水平倾斜的两种情况，这时字符基本上无倾斜，车牌的水平轴x'与图像的水平轴x有一个倾斜角度α，只要求取α,将图像旋转−α即可。图5.2为垂直倾斜的两种情况。这时的倾斜实际上是同一行间像素的错位偏移。只要检测到垂直倾斜角度β进行错位偏移校正即可。图5.3为水平垂直倾斜的两种情况，既存在水平倾斜又存在垂直倾斜。这种倾斜模式是最常见的。可以先检测水平倾斜角度α进行水平倾斜校正，然后再求取垂直倾斜角度β进行垂直倾斜校正。5.1.2校正步骤由于车牌定位通常只是粗略地得到了车牌的位置，未能精确地标记出车牌的上下左右四条边界，而且车牌的倾斜也会使得各条边界的确定很不准确，因此可以在倾斜校正后确定车牌的四条边界，以方便后续的字符分割过程。本文车牌的倾斜校正过程包括水平倾斜校正、上下边界的确定、垂直倾斜校正、左右边界确定四个部分。经过水平校正后，车牌已经变成水平无倾斜的了，此时可以去除车牌上下多余的区域，精确划定车牌的上下边界；上下多余的区域去除后，又为垂直校正减少了干扰区域，使垂直校正结果更精确；垂直校正后，车牌左右的边界也可以划定了。由于水平倾斜校正是基础，垂直校正及边界确定可归纳为后续校正。目前车牌校正的研究大多是针对水平倾斜校正的，本文也主要关注水平倾斜校正的研究，下面主要介绍传统的水平倾斜校正方法以及本文提出的基于角点检测和惯性主轴的水平倾斜校正方法。5.2传统的水平倾斜校正方法[55-59][60-63]目前的车牌水平倾斜校正方法主要有：(1)Hough变换法；(2)旋转投影法；(3)[64-66]主成分分析法。下面简要介绍这三种方法。5.2.1Hough变换法Hough变换的基本思想是点、线的对偶性。图像变换前在图像空间，变换后在参数空37\n运动模糊车牌图像的恢复、定位、校正及分割方法研究间。具体校正过程是采用Hough变换来检测车牌区域上下边框两条平行直线的倾斜角，然后对车牌进行校正。Hough变换在待测直线有微小扰动和断裂甚至是虚线时，具有很强的检测能力。下面对经典的Hough变换原理做一个简要的介绍：直线ym=+xb可以用极坐标表示为ρ=xycos()θθ+sin()，其中(,)ρθ定义了一个从原点到线上最近点的向量（图5.4-a），这个向量与该直线垂直。考虑一个以参数ρ和θ定义的二维空间，x,y平面的任意一直线对应了该空间的一个点。因此，x,y平面的任意一直线的Hough变换是ρ,θ空间中的一个点。现在考虑x,y平面的一个特定的点(,)xy。过该点的直线可以有很多，每一条都对11应了ρ,θ空间中的一个点。然而这些点必须满足以x和y作为常量时的等式。因此在参11数空间中与x,y空间中所有这些直线对应的点的轨迹是一条正弦曲线，而x,y平面上的任一点（图5.4-b）对应了ρ,θ空间的一条正弦曲线（图5.4-c）。(a)(b)(c)图5.4Hough变换图示如果有一组位于由参数ρ和θ决定的直线上的边缘点，则每个边缘点对应了ρ,θ空00间的一条正弦曲线。所有这些曲线必然经过点(,)ρθ，因为这是它们共享的一条直线参00数（图5.4-c）。为了找出这些点所构成的直线段，可以将ρ,θ空间量化成许多小格。根据每一个(,)xy点代入θ的量化值，算出各个ρ，所得值（经量化）落在某个小格内，便00使该小格的计数累加器加1，当全部(,)xy点变换后，对小格进行检验，有大的计数值的小格对应于共线点，其(,)ρθ可用作直线拟合参数。有小的计数值的各小格一般反映非共线点，应丢弃不用。可以看出，如果ρ和θ量化得过粗，则参数空间的凝聚效果较差，找不出直线的准确的ρ和θ值；反过来，如果ρ和θ量化得过细，那么计算量将增大，需要兼顾这两方面，取合适的量化值。Hough变换法校正车牌主要是利用了车牌的上下边框信息，车牌其他部分都是无效的干扰信息。它不仅增加运算量，而且对倾斜角的测量带来不利的影响。因此为了加快校正38\n南京航空航天大学硕士学位论文速度，最大程度地减少运算时的干扰数据，应首先通过二值化的操作提取车牌边框的轮廓特征。由于，车牌有上下两条边框，而且这两条边框是平行的；接下来，便能运用Hough变换检测车牌图像中的平行线。平行线检测方法：(1)初始化一个变换域ρ,θ空间的数组，ρ方向上的量化数目对应图像对角线方向像素数，θ方向上的量化数目为90（角度从0～180度，每格2度，也可以设定其他值）。(2)顺序搜索二值图像中所有点，对每个点，在变化域的对应各点上加1。(3)求出变换域中的最大值点并记录。(4)将最大值点及其附近的点清零。(5)求出变换域中的第二个最大值点并记录。(6)判断这两个最大值点是否对应两条平行的直线，如果是，则画出这两条平行线，否则结束。检测出的两条平行线的角度就代表了车牌水平倾斜的角度，将车牌旋转后就可得到校正结果。5.2.2旋转投影法[60]李文举等人提出了一种基于旋转投影的车牌水平倾斜校正方法，该方法首先提取车牌图像的水平彩色边缘，然后以水平彩色边缘图像的中心为原点建立两个笛卡尔坐标系x-y和x’-y’。通过分析定位出的车牌图像可知，车牌字符区域呈长条型，其水平倾斜方向与车牌水平倾斜方向一致，同时字符区包含了大量的垂直边缘，而字符区以外的部分垂直边缘极少，如图5.5所示。因此可以通过检测车牌区域的垂直边缘水平倾斜方向，确定车牌的水平倾斜方向。若将垂直边缘经旋转后每隔一定角度向水平方向投影，当车牌旋转到水平方向位置时，投影后边缘点的纵坐标值间的方差取所有旋转角度情况下方差的最小值。设水平投影后边缘点纵坐标为y，均值为y，边缘点个数为N，则边缘点投影方差：iN221σ=−∑()yyiNi=1但是计算上式的方差最小值并非易事，因为当车牌边缘图像绕原点旋转时，投影值yi和均值y都随着旋转角度不断变化，每次旋转都必须重新计算，无法通过闭合表达式一步求出方差最小时的旋转角度。39\n运动模糊车牌图像的恢复、定位、校正及分割方法研究(a)水平倾斜车牌(b)垂直边缘图图5.5水平倾斜车牌及其垂直边缘图5.2.3主成分分析法主成分分析法首先检测车牌区域的边缘，然后将求车牌方向问题转换为求边缘点散布矩阵的特征向量问题。散布矩阵的表达式如下：NNNN2r∑∑∑()xixix−−mxm()()xmymixiy−−()ui∑uviiii==11i=1k=1S==NNNN2∑∑∑()xixiy−−mym()()ymymiyiy−−()uvii∑viii==11i=1i=1(5-1)选取散布矩阵最大的特征值对应的那个特征向量的方向即为车牌的水平倾斜方向。该特征向量的方向就可以认为是所有边缘点的主成分方向，故称主成分分析法。5.3基于角点检测和惯性主轴的车牌水平倾斜校正方法5.3.1算法的形成和基本思想Hough变换法先对车牌图像进行边缘检测，再由Hough变换确定车牌边框水平倾斜角度，以此作为车牌水平倾斜角度。但是现实中摄取的车牌图像常因噪声干扰及二值化等原因，使得车牌边框模糊甚至看不到，导致校正效果不理想，且计算量大；旋转投影法通过旋转车牌图像，将边缘点向坐标轴投影，找出每次旋转后投影的最大值，通过比较不同旋转角度投影的最大值，求取水平倾斜角度进行校正，该方法中最佳倾角的求取是一个寻优过程，要进行多次投影才能逐步逼近最佳倾角，因此计算量很大。上述方法均比较耗时，且当图像模糊、光照不均时倾斜校正的误差比较大。为提高车牌倾斜校正的速度及准确性，提出了一种基于字符角点信息和惯性主轴的车牌倾斜校正方法。在用Harris算法提取出车牌区域字符角点信息的基础上，通过寻找这些角点惯性主轴的方法来确定车牌的倾斜角度，从而实现车牌的倾斜校正。5.3.2基于Harris角点检测的角点信息提取车牌区域具有角点信息比较丰富的特征。所谓角点，就是二维图像中亮度变化剧烈的点，通常产生于两条或多条直线相交叉的区域。角点信息是图像的重要特征，对图形图像40\n南京航空航天大学硕士学位论文的理解和分析有着很重要的作用，在运动估计、目标识别等领域有着广泛的应用。车牌字符笔画中蕴含丰富的角点信息，如能准确提取这些角点信息，在车牌的定位和倾斜校正等方面将有很好的应用。因此，需要采用合适的方法准确检测出角点信息，此处采用Harris[67]角点检测法来检测车牌的角点信息。Harris角点提取方法的基本思想是：如果某一点向任一方向很小偏移即引起灰度的很大变化，则说明该点是角点。Harris角点检测算法具有较高的稳定性和鲁棒性，计算量少，提取的特征点均匀且合理，并且能够在图像旋转、灰度变化以及噪声干扰等情况下准确提取出角点。其具体原理为：已知灰度图像I(,)xy，则双梯度矩阵P定义为T∂∂II∂ITPX=∑ω()其中W是一个正方形区域(窗函数)，=(,)IIxy是偏微分XW∈∂∂XX∂X一阶差分逼近；ω()X是权重系数，用来强调某些重要的像素。定义矩阵M=⊗PG，即对所有像素进行Gauss卷积。由于矩阵M具有旋转不变aa性，其特征值与像素点在x和y方向上的一阶导数密切相关。对于灰度一致的区域，梯度值为零，相应的特征值也为零；在斜坡边缘上，其中的一个梯度将为零或者很小；只有在角点处，灰度变化最大，特征值明显增大。因此，可以根据这一特征，求出矩阵M的特a征值，它们的大小反映了像素点“突显”程度。如果（x,y）是一个特征点，则M的特征a值在以（x,y）为中心的局部范围内取得极大值。基于这一特性，可定义Harris角点提取算法的特征函数：2RMk=−det(aa)2×(trace(M))（5-2）式中det(M)=λλ，traceM()a=λ+λ，λ、λ是M的特征值，k一般取a121212a20.04。根据上述特征函数，选择合适的滤波方法（采用仅当该点是它的33×邻域内的极大值才判定为合法的极大值点的判别方法）去除非极大值点的干扰，最终可以得出图像的特征点，即角点信息。5.3.3改进的Harris角点检测采用另外一种Harris角点提取算法，它与前者的区别在于选择det(Ma)R=traceM()a作为其特征函数，对R中每个点在其邻域内做非极大值滤波（即将该点设为局部极大值），然后在这些局部极大值中找出值大于某一设定门限值的点，这些点组成的集合即是最终的41\n运动模糊车牌图像的恢复、定位、校正及分割方法研究角点信息。从实验结果可知，改进后的Harris算法得到的角点信息更加精简，能更好地反映字符的信息。这是因为5.3.2节所示的角点检测方法的局部极大值判定条件会检测到很多非车牌字符区域的角点信息，影响后续的惯性主轴的正确判断。5.3.4基于角点惯性主轴的倾斜检测与校正得到了车牌字符的上述角点信息后，将这些角点位置处的灰度值赋给一个新的矩阵，相应得到一幅车牌角点图像。可在此基础上，求解这些角点的惯性主轴，由此得到车牌的倾斜角度。灰度图像的惯性主轴是用来描述目标延伸方向的一个重要概念，是图像的重要[68]形状特征之一。设角点图像中角点坐标为(,)xy，in=1,2,...,，其中n为角点的数目。记角点集为iiSx=={(,)|iiyi1,2,...,n}，设角点集S的形心（即几何中心）是点Gxy(,)，其坐标为：n1nx=1∑xi，yy=∑i。ni=1ni=1容易验证，如果角点集S作了位移，则形心Gxy(,)也必定移动了同一量，于是存在唯一的位移使得S的形心位于任一给定的位置。由此得出结论，若要将S相对于位移归一化，可以简单地移动S使得它的形心G位于坐标原点，则角点集S对形心G的惯性矩为nmu=+∑()ii22v其中uxxvyy=−=−,（5-3）siiiii=1S对过原点G（即形心）直线D（α为该直线的倾角）的惯性矩为n2muα=−∑()iisinαvcosαi=1展开后可以得到nnn2222mα=−()2∑∑usinα()uvsinacosαα+()∑vcos（5-4）iiiiii==11i=1nnn22令mu=∑，mu=∑v，mv=∑，则20i11ii02ii=1i=1i=122mα=−msinα22msinacosαα+mcos（5-5）201102找出使该惯性矩mα最小的α，记作α0，则直线vu=tanα0称为S的惯性主轴。为了寻求使mα最小的α，将mα对α求导，并令结果等于零，可得02mmtanαα+−(mm)tan−=0110020021142\n南京航空航天大学硕士学位论文由此可得：−−±−+()mm2002()mm2002224m11tanα=（5-6）02m11即角点集S的惯性主轴方程为vu=tanα。0角点集S的惯性主轴的方向可以反映图像中车牌的倾斜角度。若记nnAm==∑∑()xxyy−−=⋅−⋅()xynxy11iiiiii==11nnnn222222B=mm−=−∑∑∑∑()()(xx−−yy=−−−xnx)(yny)2002iiiiiiii====1111则最终可以得到惯性主轴方程的斜率为2222−+BBA+4−−BBA+4k=或k=（5-7）2A2A还应根据mα二阶导数大于零来最终确定惯性主轴的斜率。按上述方法求得惯性主轴的斜率k后，对其求反正切α=arctank，可以得到车牌图0像的倾斜角，根据此角度对车牌图像进行旋转插值，即可以实现车牌的倾斜校正。5.4车牌水平校正结果分析及比较5.4.1水平校正结果用本文方法对100幅倾斜的车牌图像进行了倾斜校正实验，各参数的选择为：Harris算法中权重系数均取为1；高斯滤波器的大小为7×7；非极大值滤波判断准则选择3×3邻域内的极大值判为角点；改进的Harris算法中的门限值选择为1000。图5.6和图5.7分别给出了其中两幅车牌图像的校正结果。(a)原始的倾斜车牌图像（b）经Harris角点检测法(c)基于(b)的角点集惯性检测到的角点集主轴的校正车牌（d）改进后的Harris角点检测法(e)基于(d)角点集惯性检测到的角点集主轴的校正车牌43\n运动模糊车牌图像的恢复、定位、校正及分割方法研究图5.6本文校正方法实验结果一(a)原始的倾斜车牌图像（b）经Harris角点检测法(c)基于(b)的角点集惯性检测到的角点集主轴的校正车牌（d）改进后的Harris角点检测法(e)基于(d)角点集惯性检测到的角点集主轴的校正车牌图5.7本文校正方法实验结果二从图5.6、5.7可以看出,改进后的Harris角点检测算法,由于采用了非极大值滤波结合门限判别的方法来求取角点,所得到的角点信息较之未改进之前更加精确,减少了非车牌字符区域的干扰,校正精确度也更高。同时图5.8给出了本文方法与Hough变换法、投影法、主成分分析法对模糊图像校正结果的比较。从图中可以看出，本文提出的倾斜校正方法对模糊图像的校正方法好于Hough变换法及投影法，校正的精度高。（a）原始车牌图像（b）Hough变换法（c）投影法（d）主成分分析法(e)本文方法图5.8各校正方法对模糊车牌的校正结果一（a）原始车牌图像（b）Hough变换法（c）投影法（d）主成分分析法(e)本文方法图5.9各校正方法对模糊车牌的校正结果二44\n南京航空航天大学硕士学位论文5.4.2算法复杂度分析与运算时间的比较在P42.6GCPU，256M内存的计算机上，用MATLAB7.1编程实现上述算法。首先选取100幅没有水平倾斜的车牌图像，将这些图像水平旋转同一个角度，再分别用Hough变换法、旋转投影法、主成分分析法以及本文提出的水平倾斜校正方法对旋转后的图像进行水平倾斜校正处理，比较检测结果及旋转过的角度，得出各种方法的校正成功数目以及平均水平倾斜检测误差，列于下表5.1中。表5.1各种车牌倾斜校正方法的比较Hough旋转文中改进主成分文中改进变换法投影法前的方法分析法后的方法校正正确的图像数目7288929496平均校正误差(单位：1.2560.7340.3980.3760.356°)将提出的校正方法与旋转投影校正法和基于Hough变换的校正方法进行比较（均考虑二值图像），可以看出,基于Harris角点检测的两种倾斜校正方法对100幅图像进行处理，成功率分别是92％和96%，主成分分析法的成功率是94%，而用旋转投影法的成功率是88%，用Hough变换法的成功率仅有72%。下面对上述几种方法的运算量作一比较。设边缘点数均为N。Hough变换法的基本思想是将车牌图像的水平边缘点坐标(,)xy映射到对应的参数空间中，映射关系式为：oooρ=+xycosθθsin。旋转角度θ从−45~45，步长为1，即旋转次数L=91，车22牌长宽分别为ab、，则对角线长度为rab=+。Hough变换进行每次映射需要两次乘和一次加，计算量为3，计算所有边缘点和旋转角度的计算量为ONL(3××)，另外求全局最大值的计算量为OLr()×,因此总的计算量为OLr(3)×+××NL。旋转投影方法通过旋转坐标轴，计算每次旋转后的边缘点水平投影的4个最大值之和，记为D，最后再对所有D值进行比较，求出其最大值。每次投影的计算量为3（2次乘法、1次加法），投影的总计算量为ONL(3××)，求最大值的计算量约为OLb(4××)，因此总的计算量为OLbNL(4××+××3)。主成分分析方法是将求车牌方向问题转换为求边缘点散布矩阵的特征向量问题。散布矩阵的表达式如式(5-2)所示。其中两个均值计算量均为N，矩阵的第2、3两项相同，只需计算一次即可，因此散布矩阵总的计算量为ON(8×)。2×2矩阵特征向量的计算量相对于散布矩阵中大量数据求和的计算量而言可忽略不计，因此主成分分析方法的总计算量为ON(8×)。基于角点信息和惯性主轴的倾斜检测与校正方法中主要的运算量在于计算45\n运动模糊车牌图像的恢复、定位、校正及分割方法研究x、、、、ymmm，计算x或y的计算量均为N次加法，因此求得x和y共需2N次200211加法；而计算mm、或m每一个均需N次乘法和N次加法，则求得三者总的计算量为2011026N；最后由mm、和m求得tanα和一次反正切。一次反正切的计算量相对大量数据2011020求和的计算量来说可以忽略不计，因此所提出方法的计算量为ON(8×)。实验中，随机选取100幅19261×大小的存在水平倾斜的车牌图像，计算这100次除去图像读取、边缘检测等预处理过程的平均运算时间，得到如下结果：Hough变换910ms，旋转投影法135ms，主成分分析法10.12ms，未改进的角点惯性主轴法10.24ms，改进的角点惯性主轴法10.08ms，可以看出，角点惯性主轴的倾斜校正方法的速度快于Hough变换和投影法法，与主成分分析法相当。对比主成分分析法和本文方法可以发现，这两种方法在校正准确性和运算复杂度方面都很相似，比较两者的计算公式可以发现其差别在于，主成分分析方法通过求取矩阵的特征向量来确定水平倾斜方向，而本文方法使用了三角函数的方法。可以证明主成分分析法和本文提出的方法虽然从思想和推导过程来看是完全不同的，但是结论却有着一定的联系。综上所述，基于角点检测和惯性主轴的车牌水平倾斜校正方法检测到的角度精确，同时计算量小，校正速度快。5.5车牌的后续校正经过水平校正后，车牌已经变成水平无倾斜的了，这时可以去除车牌上下多余的区域，精确划定车牌的上下边界；上下多余的区域去除后，又为垂直倾斜校正减少了干扰区域，使垂直倾斜校正结果更精确；垂直倾斜校正后，车牌左右的边界便也可以划定了。这三个步骤合起来，便是车牌的后续校正。5.5.1车牌字符区上下边界的划定后续校正的第一步是精确划定车牌的上下边界。本文首先用Sobel垂直算子求取图像的垂直边缘，再对垂直边缘进行水平投影，得到每行的投影值R()i，i表示第i行，ih∈(1,)，图像一共h行；再按下式求Si()：Si()(1=−+++Ri)(RiRi)(1)(1ih≠,)(5-8)Si()实际上就是第i行、第i−1行、第i+1行的水平投影值R()i、Ri(1−)、Ri(1+)的累加之和；对第一行和最后一行不需此操作。由于字符区域水平投影值大于其他区域，所以这样做使得字符区域更突出，能区别于其他区域。取一定的阈值，从图像的中间一行向上检查，碰到的小于此阈值的第一行作为车牌的上边界。同理，从中间向下检46\n南京航空航天大学硕士学位论文查，得到车牌下边界。于是就得到车牌的上下边界。结果如图5.10所示：(a)原图像(b)上下边界划定结果图5.10车牌上下边界划定5.5.2车牌垂直倾斜校正后续校正的第二步是垂直倾斜校正。车牌的垂直倾斜是同一行之间像素的错位偏移，因此，要在同一行内对像素进行移位。设车牌高度为h，垂直旋转角度为β，旋转前图像(,)ij[60]内任一像素坐标为(,)ij，其垂直旋转后像素坐标为，则有每行的像素移位公式：0jji=+−(1)tan,ββ>00(5-9)jjhi=+−()tan()−ββ,0<0文献[60]利用垂直边缘的垂直投影来求垂直倾斜角度，本文中采用此种方法实现车牌o的垂直倾斜校正。依次以1为增幅旋转边缘图并进行垂直投影。每旋转一次，都记录图像的垂直投影是0的列数之和。当旋转角度等于车牌的垂直倾斜角度β时，垂直投影是0的列数最多，由此得到车牌的垂直倾斜角度。(a)原垂直倾斜车牌(b)垂直校正后结果图5.11车牌垂直校正5.5.3车牌左右边界的划定车牌垂直校正完成，就可以精确划定左右的边界了。用Sobel垂直算子求取灰度图像的垂直边缘，再对垂直边缘进行垂直投影，得到每列的投影值M()j，j表示第j列，jk∈(1,)，图像一共k列；再按如下公式求Tj()：TjMj()(1=−)(+++MjMj)(1)(1jk≠,)(5-10)Tj()实际上就是第j列、第j−1列、第j+1列的垂直投影值Tj(1−)、Tj()、Tj(1+)的累加之和；对第一列和最后一列不需此操作。取一定阈值，从左往右搜索，当大于此阈值时则停止搜索，得到左边界；类似地从右往左搜索，可以得到右边界。结果如图5.12所示。47\n南京航空航天大学硕士学位论文第六章车牌字符分割上一章完成了车牌的校正，精确地划定了车牌区域的边界。接下来就要进行字符分割。由于目前大多数字符识别算法都是针对单个的字符进行识别，因此字符分割的好坏对字符识别的结果起着非常关键的作用。字符分割主要包括车牌图像二值化、反色操作、滤波去[69]噪、字符切分四步，前三步为预处理步骤，不可或缺。本章将分节介绍各个步骤，重点讨论一种新的基于二维最小交叉熵的阈值分割方法以实现车牌图像的二值化。6.1车牌图像的二值化二值化实际上就是图像的阈值分割，是图像处理中的重要问题，也是计算机视觉研究中的一个经典难题。6.1.1二值化基础灰度图像一般是有256个灰度级的单色图像，它能够呈现出较为丰富的明暗度。但在识别车牌时，总是希望能把目标从背景中彻底分离出来。为了尽可能地减少背景像素的干扰，而保留目标区的信息，常常直接把图像分为目标和背景两部分。这样得到的图像只有两个灰度级:0和1，称这样的图像为二值图像，而由灰度图像得到二值图像的过程就称为图像的二值化。为了得到理想的二值图像，一般采用阈值分割技术，它对目标与背景有较强对比的图像的分割特别有效。把所有灰度值大于或等于阈值的像素判决为属于目标，否则这些像素点被排除在外，认为是背景。[70]阈值分割算法很多，是图像处理中比较成熟的内容，主要可分为十种之多。(1)直方图方法与直方图变换法；(2)最大类间方差法；(3)最小误差法与均匀化误差法；(4)共生矩阵法；(5)矩量保持法；(6)最大熵法；(7)简单统计法与局部特性法；(8)概率松弛法；(9)模糊集方法；(10)其他方法。[71,72]以上方法在实际应用中，性能较好、使用较多的当属最大类间方差法和基于熵的[73-75]阈值选取方法。6.1.2最小交叉熵阈值分割方法Li等人提出的最小交叉熵阈值分割法是一种基于灰度直方图的分割方法。其基本原理如下：49\n运动模糊车牌图像的恢复、定位、校正及分割方法研究[76]设有两个概率分布Pppp={,,,}L和Qqqq={,,,}L，Kullback定义了两个12n12n概率分布之间的信息理论距离D，也就是交叉熵，其具体定义为：npiDPQ(,)=∑pielog（6-1）i=1qinnnn因为∑∑pqii==1且有∑∑pqppiilog−iilog≤0，则有DPQ(,)0≥，当且仅ii==11ii==11当p=q时DPQ(,)0=。显然DPQ(,)是不对称的，即DPQ(,)≠DQP(,)，为此，定ii义一个对称的交叉熵：nnpqiiDPQs(,)=+DQPDPQ(,)(,)＝∑∑pqiilog+log（6-2）ii==11qpii交叉熵既可以看成是采用P取代Q作为单个系统概率分布时系统信息量变化的期望值，也可以看成是两个概率系统P和Q之间的信息量差异，因而可以用最小交叉熵准则实现系统的概率分布估计或者逼近。Li等人提出的最小交叉熵阈值分割即是基于这样一个准[77]则的分割方法。设原始图像为f(,)xy，分割后的图像为gxy(,)，其定义如下：µ1f(,)xyt
查看更多
