基于智能视频监控中的运动目标检测技术研究毕业学位论文

基于智能视频监控中的运动目标检测技术研究毕业学位论文

华东交通大学理工学院毕业设计华东交通大学理工学院本科生毕业设计（论文）资料袋题目名称学生姓名学号专业分院指导教师姓名职称序号资料名称袋内有者划√并写明份数序号资料名称袋内有者划√并写明份数1任务书7答辩专家评审表2开题报告8答辩评分表3原创性申明9成绩汇总表4毕业设计（论文）10图纸（）张5指导教师评审表11软件或程序光盘□软盘□（）张6评阅人评审表12其它综合评定成绩\n华东交通大学理工学院毕业设计华东交通大学理工学院InstituteofTechnology.EastChinaJiaotongUniversity毕业设计GraduationDesign（2009—2013年）题目：智能视频监控中的运动目标检测技术研究分院：电气与信息工程分院专业：电牵班级：2009-2学号：305姓名：蔡惠玲指导教师：殷爱菡填表日期：2013年2月13日\n华东交通大学理工学院毕业设计华东交通大学理工学院毕业设计原创性申明本人郑重申明：所呈交的毕业设计是本人在导师指导下独立进行的研究工作所取得的研究成果。设计中引用他人的文献、数据、图件、资料，均已在设计中特别加以标注引用，除此之外，本设计不含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究作出重要贡献的个人和集体，均已在文中以明确方式表明。本人完全意识到本申明的法律后果由本人承担。毕业设计作者签名：日期：年月日毕业设计版权使用授权书本毕业设计作者完全了解学院有关保留、使用毕业设计的规定，同意学校保留并向国家有关部门或机构送交设计的复印件和电子版，允许设计被查阅和借阅。本人授权华东交通大学理工学院可以将本设计的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编毕业设计（保密的毕业设计在解密后适用本授权书）毕业设计作者签名：指导教师签名：签字日期：年月日签字日期：年月日\n\n华东交通大学理工学院毕业设计摘要随着经济社会的快速发展，人们对信息化、智能化的需求日益增加，传统人工监视的方法已经很难满足监控要求，因此智能监控技术应运而生。智能监控是在无人为管理的情况下，利用计算机视觉技术自动分析视频监控序列，自动识别特殊目标和行为，对可疑事件实现自动预警。智能监控技术在公共安全、军事、交通等领域有重要应用价值，受到国内外研究人员的广泛关注。目标跟踪是智能监控的核心技术，是实现智能监控的重要保障，具有重要的研究意义。视频图像中运动物体分析关键的一步就是从连续的视频图像中提取出运动目标,即运动目标检测。传统的运动目标检测方法有三种：背景图像差分法、时态差分法和光流法,分析比较了各自的优缺点；运动目标检测是实现目标跟踪、实物监控、运动分析等任务的基础。但最终的失败是由于运动物体的提取因素易受背景，光照变化，阴影，运动速度的影响，所以能够更好的实现运动目标检测据目前看来是具有重要意义的。本文已运动目标检测被的基本概念为背景，对运动目标检测的广泛应用、目前所存在的主要问题和困难、及其算法改进进行了探讨，并结合目前已有的算法与实现运动目标检测的基本思路进行了分类综述，罗列出各类算法的主要优缺点，最后对该领域的发展趋势进行了展望。关键词：运动目标检测；相邻帧差法；光流法；背景减法；23\n华东交通大学理工学院毕业设计AbstractWiththerapiddevelopmentofeconomyandsociety,people’sdemandforinformationtechnologyandintelligentisincreasing.Thetraditionalmanualmonitoringmethodsaretoodifficulttomeetthemonitoringrequirements.Sointelligentmonitoringtechnologycomeintobeing.Withoutmanagement,theintelligentmonitoringsystemusescomputervisiontechniquestoautomaticallyanalyzevideosurveillancesequencesandautomaticityidentifyspecifictargetsandabnormalbehaviorsinordertoprovidewarnstomanagers.Intelligentmonitoringtechnologywhichispaidextensiveattentionbyresearchersathomeandabroad,isappliedinthefieldsofpublicsafety,military,transportationandothers.Targettrackingisthecoretechnologyofintelligentmonitoringtoguaranteetherealizationoftheintelligentmonitoringsystem,andithasimportantresearchsignificance.Videomotionanalysisinthekeystepistoextractmovingobjectsfromthevideoimages,thedetectionofmovingtargetsis.Thereare3kindsoftraditionalmethodsofmovingobjectdetection:thebackgroundimagedifferencemethod,temporaldifferentialmethodandopticalflowmethod,analyzedtheiradvantagesanddisadvantages;movingtargetdetectionistoachievethetargettracking,trafficmonitoring,behavioranalysistasksbased.Buttheresultingfailureduetofactorsofextractionofmovingobjectsaresusceptibletobackground,illuminationchanges,shadows,movingspeed,sohowtobetterrealizethemovingtargetdetectionisveryimportant.Thisarticlestartsfromthebasicconceptofmovingtargetdetection,movingtargetdetectionofextensiveuse,facingthemainproblemsanddifficulties,realizethemovingtargetdetectionalgorithmofthebasicclassification,andwithsomealgorithminrecentyearspublishedandimplementedandlatestprogressofthebasicideaofrealizingmethodofthecurrentmainstreammovingtargetdetectionthereview,discussesthemainadvantagesofvariousmethods,andprospectsthefuturedevelopmenttrendinthisfield.KEYWORDS:Movingobjectdetection;Temporaldifferencing;Opticalflow;Backgroundsubtracting;23\n华东交通大学理工学院毕业设计目录摘要IAbstractII目录III前言11绪论21.1选题的依据及意义21.2国内外研究现状及发展趋势21.2.1研究现状21.2.2发展趋势31.3设计的主要内容32运动目标检测的相关技术研究52.1运动检测技术概述52.2运动检测常用的方法62.2.1背景差分法62.2.2帧间差分法62.2.3光流法72.3基于Matlab的图像处理操作73目标运动检测方法关于帧差法的改进113.1帧差法的探讨113.2帧差法113.2.1实验结果与小结123.2.2三帧差分法143.2.3五帧差分法173.3本章小结224设计结论23参考文献24致谢2523\n\n华东交通大学理工学院毕业设计前言智能监控就是要用图像处理和计算机视觉的方法，通过对监控录像进行自动或实时分析来对动态场景中的目标进行定位、识别和跟踪，并在此基础上分析和判断目标的行为。运动目标检测与跟踪技术是智能视觉监控的重要部分，是指对图像序列中的运动目标进行检测、提取、识别和跟踪，获得人体的运动参数，如位置、速度、加速度等，以及运动轨迹，从而进行进一步处理与分析，实现对运动目标的行为理解，以完成更高一级的任务。这些技术己成为人工智能和计算机视觉领域的一个重要的研究内容。23\n华东交通大学理工学院毕业设计1绪论1.1选题的依据及意义在今天，人们不仅仅需要生活质量的提高，而且需要一个安全的社会环境，这个也反映了人们对安全问题的重视。随着上世纪末开始的信息技术高速发展，并受本世纪初西方国家的一系列恐怖袭击事件的影响，视频监控技术得到了迅速发展。对于某些敏感场合，如银行、商店、停车场、军事基地等，出于管理和安全的需要，人们必须知道该区域内发生的事件，于是采用某种特定方法来监视该场景，并且及时地对发生的异常事件做出适当的反应，这就是所谓的监控。如今，智能视频监控即使已经成为一项安全防范系统的重要组成部分，是一种防范能力较强的综合系统，随着网络、通信和微电子技术的发展，视频监控以其直观、方便、信息内容丰富而广泛应用于许多场合，从视频序列中检测运动目标是一个基础而又关键的任务，目前运动目标检测通常有三种方法，分别是：帧间差分法、背景消减法和光流法。然而运动目标分割、目标检测与跟踪是智能视频监控一个复杂而有待完善的问题，实际应用中对可靠性的要求很高，而且有些应用环境也非常复杂，这就使得对算法的实时性和可靠性的要求很高，基于此目标的检测与跟踪具有很强的理论研究价值，同时也具有广泛的应用前景及巨大的潜在经济价值，已引起了许多科研机构及研究人员的浓厚兴趣。近年来，随着数字图像处理、计算机视觉、模式识别及人工智能的飞速发展，还有军事以及公共场所中对于智能监控系统发展的需求，运动目标检测与跟踪技术受到了越来越多的关注，网络视频监控系统在维护社会安全、打击犯罪方面的作用日益突出。因此，对智能视频监控中运动目标的检测技术研究是有重要意义的。1.2国内外研究现状及发展趋势1.2.1研究现状随着科技的不断发展，计算机视觉技术的应用越来越广泛，面向复杂背景的视频监控系统出现的越来越多，视频监控系统在国防安全、公共安全和商业应用中的需要也是日益增强。目前，有很多国家投入大量的人力和资金到视频监控系统的研究上来。[1]在二十世纪九十年代末期，美国的DARPA(即DefenseAdvancedResearchProjectsAgency)就研究并开发了一个视频监控方面的项目VSAM[6]，其英文全称为videoSurveillanceMonitoring23\n华东交通大学理工学院毕业设计，该项目的目标是开发自动视频理解技术，用于实现未来战争中人力监控费用昂贵、非常危险或者人力无法实现等场合的监控。VSAM是一个战场监控系统，主要功能包括:对监控地区进行全方位的昼夜监控；通过先进的视频分析处理器实现智能化监控；根据运动对象行为的危害性进行自动提示和报警等。[2]在我国，视频监控方面的研究起步较晚，从21世纪初才开始介入智能视频监控系统的研究，目前研究的领域其主要集中于建筑物安防、城市交通管理等无人值守视频监控技术。由于近年国内经常主办国际赛事、国际展会和民众对安全进一步提高，国家也非常重视这块的研究工作。中国科学院北京自动化研究所模式识别国家重点实验室的视觉监控研究组处于领先地位。他们针对目前交通管制中需要大量的人力和财力问题，提出了一种基于三维模型的交通监控系统，在人运动分析、交通行为分析、交通场景监控和智能轮椅的视觉导航等领域取得了许多科研成果。1.2.2发展趋势智能视频监控是在传统的视频监控基础上发展起来的。传统的视频监控自投入应用已有数十年，其发展经历了三个时代。第一代：模拟时代。是以veR(VideoeassetteReeorders)为代表的传统闭路电视监控系统，主要由模拟摄像机、专用电缆、视频切换矩阵、模拟监视器、模拟录像设备和盒式录像带等构成。第二代：半数字时代。DVR使用户可以将模拟的视频信号数字化，并存储在电脑硬盘而不是盒式录像带上。进入二十一世纪后，随着网络技术的发展，DVR系统又进一步发展成为具有网络功能的NvR(NetworkDvR)系统。第二代视频监控系统从完全依靠人力分析发展到半自动分析。第三代：全数字时代，即网络化视频监视系统，它基于标准的TCP/IP协议，所以又称为IP监视系统。网络化视频监视系统能够通过局域网、无线网、互联网传输，布控区域大大超过了前两代系统。1.3设计的主要内容智能监控技术的研究在实际应用所占比重中越来越大，运动物体的视觉分析系统一般遵从四个处理过程：1)运动物体的分类；2)运动物体的检测与提取；3)目标物体的跟踪；4)目标物体的行为理解与描述[3]。运动物体的检测与提取以及目标物体的跟踪作为运动物体的视觉分析中的两项核心技术以及底层问题[4]，它们是后续各种高级处理和应用理解的基础，也是视频监控技术自动化和实时应用的关键，同时，它们也是当前图像技术研究应用的热点和焦点[5]23\n华东交通大学理工学院毕业设计。一般情况下，在物体的检测与提取过程中，场景中都会有光照，物体由于光照的操作而产生阴影，阴影的存在会导致物体的错误分类或者使不同的物体相互融合，给后续高级处理带来了错误的结果，导致不能够很好的跟踪物体以及对物体的行为进行理解和描述。因此，在运动物体的检测与提取过程中，必须去除阴影。静止背景下的运动目标检测方法主要有背景差分法、连续帧差法、光流法等，下文将会简单介绍各种方法的原理和特点。本文针对运动物体的检测与提取做了相当大的论述与实验，通过实验进一步证明论述的真实与可行性。本文选取的检测方法是帧间差分法，原始的两帧差虽可行，但在实验结果上还是有问题存在，于是我通过查阅资料与文献，将原始的方法进行改进，并通过实验证明了改进后方法的可行与优势。23\n华东交通大学理工学院毕业设计2运动目标检测的相关技术研究智能视频监控系统大致可分为四部分:目标检测、目标识别、目标跟踪和行为分析。而目标检测是作为其中最基础的部分，目标跟踪是被应用得最广泛的，目标识别则常用于辅助其他部分进行目标种类的区分。运动目标检测中的第一步是智能视频监控[6][7]，其目的是自动区分出视频图像序列中的运动和静止的像素点，从背景图像中将变化的部分提取出来。视频监控系统通过自动检测运动像素点的分析，利用形态学的操作来确定前景对象，最终根据前景对象的运动来判断是否有异常发生并且迅速报警。准确的对运动对象进行检测和分割的分类，跟踪和了解后处理是非常重要的，因为后期的工作主要是在运动区域上进行的。本章将介绍几种运动目标检测方法，详细阐述了这些方法的检测原理，根据大量相关文献阅读基础指出这些方法的优势和不足，并利用仿真技术进行仿真验证，实现了整个算法的流程，同时在细节上做了一些改进，并通过实验进行了验证。2.1运动检测技术概述监控场景的运动检测技术是智能视频监控系统中最基本也是最重要的技术，这种由计算机自动检测场景中运动目标的运动检测技术不仅可以代替监控人员的部分工作，而且也可以提高监控的准确率和存储的效率。智能视频监控系统会自动对监控所得到的视频图像序列进行运动检测，如果发现运动目标的运动特性或是位置满足特定的报警条件，系统便会自动报警，以此通知监控的人员。这样就可以在很大程度上，减轻监控人员的视觉负担，同时比传统的由人工进行监控更能及时有效和高准确率的进行预警和报警。为了用于以后查找监控画面而储存监控信息，视频监控系统一般都会配有视频存储模块，然而，由于监控的时间较长，就导致了视频存储数据量庞大，就对存储设备的容量提出了比较高的要求。但是，存储的目的在于监控场景中的可疑情况，大多数都是变化中的情况，如果长时间存储无变化的监控场景，存储量又很大，而有效的信息却很少，这就失去了存储视频的意义。如果运用运动检测技术，当有运动变化的时候进行存储，就会有效的节省存储的空间。因此，监控场景中运动检测技术在视频监控系统中有较强的实用价值。运动检测的目的在于从图像序列中提取变化区域中的前景。有效的分割目标区域对于目标建模，跟踪和行为理解等后期处理是一个很重要的依据，因为，后期的处理工作主要是在运动的区域上进行的。然而，因为实际背景图像的动态特性，如光照，天气，阴影，水纹波动和噪声干扰等的影响，使运动检测比较困难[8]。当前运动检测的主要研究方向为[9]：23\n华东交通大学理工学院毕业设计1．视频画面中有没有运动的产生，主要是对视频画面作定性的分析，当画面上有运动产生时，就会产生报警信息。2．单个目标的检测和提取，主要是检测较大目标的运动情况，如物体的运动方向等。3．多个运动目标的检测和提取，主要是要检测出视频画面上，多个运动物体的运动数量和方向。4．多个小物体的检测和提取，主要是检测视频上出现的各种体积很小的运动物体。一般情况下，图像序列是目标跟踪的处理对象，目标是力图从复杂的背景中识别或检测出跟踪目标，并预测目标的运动规律，实现对目标连续、准确的跟踪。在此过程中，必须解决有几个需要在进行目标跟踪的问题，那就是，如何确定次目标为跟踪对象？该跟踪对象具有怎样的外观属性？有什么特征？在目标跟踪中，上述三个问题对应的是如何利用检测技术对跟踪目标进行检测、目标的表示方法、应该选择目标的哪种特征。本章主要阐述目标跟踪算法的分类以及这三个与目标跟踪紧密相关的技术。2.2运动检测常用的方法2.2.1背景差分法背景差分法使用当前图像和背景图像进行差分，并将差分图像阈值化以此检测出运动物体，这是一种最常见的图像运动分割法。背景差分法的实质是利用视频中的每帧视频图像与确定的背景图像相减，比较其中的偏差以此得到变化区域，求得运动目标。假设表示差分后所得到的图像，当前帧图像为，背景图像为，则差分法的基本原理如下：(2-1)这种方法的优点是快速，准确，因为它只需要得到当前的一副图像，且用当前帧图像减去已知的背景帧图像得到差图像中只有当前帧中位置发生改变的物体，所以检测到的运动对象定位精确。然而，背景差分法是基于一个固定摄像机为先决条件，该方法在很大程度上依赖了背景图像的可靠性，背景图像需要不断更新以适应环境光线、阴影和天气的变化。2.2.2帧间差分法23\n华东交通大学理工学院毕业设计连续帧差法也可称为邻帧差法，这是最常用的运动目标灰度的分割方法，它对连续两帧的视频图像进行相减得到差分图像，然后在此图像上检测运动的变化区域，根据运动变化区域的灰度信息恢复原来的目标。这是根据背景像素点的灰度值以及位置都不变这一原则来检测前景运动目标的。帧间差分法有很多形式，通过连续两帧图像取绝对差分就是最简单的。设为邻帧差分后的图像，为当前帧图像，为当前帧的前一帧图像，而两者差分的计算公式可表示为：（2-2）帧间差分法的优点[10]是运算量小、方法简单，易于实现，由于算法中涉及到的主要是加减运算，所以处理速度比较快，实时性好。但差分法要求检测背景绝对静止或无基本变化，并且不能完全提取出所有相关的特征像素点。而且该方法只对那些与背景对比度较强的运动目标才能得出很好的检测结果。而对于那些与背景对比度不强的图像来说，容易在运动目标内部产生空洞、边缘出现断裂和破碎等现象。2.2.3光流法由于光流法对运动的检测，是利用运动的目标在视频图像间随着时间变化而变化的光流特性，根据一定的约束条件估算出运动所对应的光流，从而通过计算帧间像素的位移提取运动目标。光流法的基本原理[11]是，给图像中的每一个像素点都赋予一个速度矢量，就形成了一个图像的运动场，在运动的某个特定时刻，图像上的点与三维物体上的点对应，这种对应关系可由投影关系得到，根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动的目标，则光流矢量在整个图像区域就是连续变化的，当图像背景和物体存在相对运动时，运动物体形成的速度矢量就必然和邻域背景速度矢量不同，从而检测出运动物体的位置。当物体运动时，图像上对应物体的亮度模式也在运动，则光流就指图像亮度模式的表观运动。这个方法的优点是，即使在摄像机运动时也可以检测出场景中的运动目标，但大多数的光流计算方法相当复杂，要进行多次迭代运算，反应慢、计算量大、抗噪性能差，如果没有特别的硬件装置支持就不能被应用于全帧视频流的实时处理。在动态变化的环境中运动目标检测的帧间差分法具有较强的适应性，提取运动目标的关键在于准确定位目标和噪声之间的差异，从而准确地提取图像的分割阈值。背景减法[12]算法简单，易于实现，在背景已知的情况下，可以提供最完整的特征数据，并能完整地检测出运动目标，但由于在图像采集过程中的误差，背景光线的变化和其他干扰因素，影响了简单的背景减法效果。光流法支持的相机的运动，可以从背景中得到完整的运动信息，且很容易从背景中监测到相关前景目标，甚至是运动目标的一部分，因此实现对摄像机运动过程中独立运动目标的检测，但实时性差、计算开销较大，而且抗噪性能比较差。2.3基于Matlab的图像处理操作作为当今最为流行的第四代计算机于洋，MATLAB23\n华东交通大学理工学院毕业设计软件语言系统，由于它在科学计算、网络控制、系统建模与仿真、数据分析、自动控制、图形图像处理、航天航空、生物医学、物理学、生命科学、通信系统、DSP处理系统、财务、电子商务等不同领域的广泛应用以及它自身所具备的独特优势，目前MATLAB已备受青睐与关注。由于MATLAB的编程运算和人脑在进行科学计算的思路和表达方式完全一致，所以它不像其他高级语言那样，难以掌握。一般采集的视频图像并不能够直接用于目标检测中，不经过处理的图像不能明显的表现出差异所在，所以在这里，需要对采集的图像与视频进行处理，一下将简单介绍运用MATLAB对视频与图像处理的具体操作。MATLAB提供了少量视频处理函数，主要是针对AVI格式视频文件的读写；而其中Simulink提供了视频与图像处理的模块集，可以支持一些视频处理应用开发。1、图像的读取可用以下函数：A=imread(FILENAME,FMT)其中FILENAME指定图像文件的完整路径和文件名。如果在work工作目录下只需提供文件名。FMT为图像文件的格式对应的标准扩展名。如下：A=imread('D:\10.06.08nir\TTC10377.BMP');%读入图像2、图像的写入可用以下函数：imwrite(A，FILENAME,FMT)FILENAME参数指定文件名。FMT为保存文件采用的格式。如下：imwrite(I6,'nirdilatedisk2TTC10373.bmp');3、图像的显示可用以下函数：imshow(I,[lowhigh])I为要显示的图像矩阵。[lowhigh]为指定显示灰度图像的灰度范围。高于high的像素被显示成白色；低于low的像素被显示成黑色；介于High和low之间的像素被按比例拉伸后显示为各种等级的灰色。figure；imshow(I6);title('TheMainPassPartofTTC10373');figure；%创建一个新的窗口figure；subplot（m,n,p）；imshow（I）；Subplot(m,n,p)含义为：打开一个有m行n列图像位置的窗口，并将焦点位于第p个位置上。4、关于图像灰度的线性变换（2-3）上式中fA.>1时，输出图像的对比度将增大。反之fA<1时，则输出图像的对比度减小。示例图如下：23\n华东交通大学理工学院毕业设计图2-1图像灰度变换对比图5、灰度阈值变换及二值化，T为指定阈值（2-4）BW=im2bw(I,level);%level为人工设定阈值范围为[0,1]thresh=graythresh(I);%自动设定所需的最优化阈值。滤波：B=imfilter(f,w,option1,option2,…);f为要进行滤波操作的图像。w为滤波操作使用的模板，为一个二维数组，可自己定义。option1……是可选项，包括：a.边界选项（’symmetric’、’replicate’、’circular’）b.尺寸选项（’same’、’full’）c.模式选项（’corr’、’conv’）6、形态学图像处理①　二值图像腐蚀I2=imerode(I,SE);SE=strel(shape,parameters);I为原始图像，可以是二值或者灰度图像。shape指定了结构元素的形状。parameters是和输入shape有关的参数。②　二值图像膨胀I2=imdilate(I,SE);SE=strel(shape,parameters);I为原始图像，可以是二值或者灰度图像。23\n华东交通大学理工学院毕业设计shape指定了结构元素的形状。parameters是和输入shape有关的参数。原图像腐蚀后膨胀后图2-2形态学图像处理①　其他二值图像运算SE=strel(shape,parameters);I2=imopen(I,SE);%开运算I3=imclose(I,SE);%闭运算Ihm=bwhitmiss(I,SE1,SE2);%击中击不中变换形态学处理还有很多中，本文中只运用了以上三种，其他方法就不在此作过多赘述。8、图像分割及边缘检测图像分割一般采用的方法有边缘检测（edgedetection）、边界跟踪（edgetracing）、区域生长（regiongrowing）、区域分离和聚合等。图像分割算法一般基于图像灰度值的不连续性或其相似性。不连续性是基于图像灰度的不连续变化分割图像，如针对图像的边缘有边缘检测、边界跟踪等算法。相似性是依据事先制定的准则将图像分割为相似的区域，如阈值分割、区域生长等。图像的边缘点是指图像中周围像素灰度有阶跃变化或屋顶变化的那些像素点，即灰度值导数较大或极大的地方。边缘检测可以大幅度的减少数据量，并且剔除不相关信息，保留图像重要的结构属性。边缘检测基本步骤：平滑滤波、锐化滤波、边缘判定、边缘连接。23\n华东交通大学理工学院毕业设计3目标运动检测方法关于帧差法的改进3.1帧差法的探讨帧差法是在一个相对较短的时间范围内检测对相邻帧之间像素强度的变化。相邻两帧间差分法较为常用，使用相邻的两帧视频图像相减，相减后得到的帧差图像，噪声和运动区域存在诧异，这时可以使用一个同定的阈值进行二值化处理。[13][14]首先按照3-1的公式将相邻图像求出帧间差分值。在视频采集过程中，由于环境变化导致图像序列遭到噪声污染，所以获得帧差图像的时候，噪声也被算在帧差结果中。需要消除帧差图像中的噪声从而使运动区域区分出来。一般我们假设噪声是服从高斯分布的，可以按照公式用一个阈值消除整个图像的噪声，对图像进行二值化。（3-1）（3-2）为更好地利用多帧相关性，获得更可靠的运动信息，提出三帧帧差法。对公式（1）进行改进：（3-3）3.2帧差法在视频序列中人体的运动具有如下两个特点：1）人体运动的幅度一般都比较大。比如行走时整个人体的运动量较大，帧差法就能很好地检测出来；2）相对于静止的背景，人体或多或少都会有运动。而人体边缘的运动量较大，运动量较小的人体内部也总会存在着一些运动，当然人体内部的噪声也会比背景中的大。因此，在使用较大阈值检测出运动量较大的像素后，希望使用较小阈值能检测出如人体内部运动量较小的像素，从而改进检测结果中存在出空洞这个缺陷。[15]另外，因为视频序列的前后帧具有一定的相关性，视频中人体的运动是具有连续性的，对当前帧人体运动的检测可以与之前帧运动进行结合，利用帧间的相关性。因此，记录一个运动历史图MHI，其像素的值可表示该像素多久没有运动：23\n华东交通大学理工学院毕业设计（3-4）图3-1是人走动时的一个运动历史图，表记录时长。运用运动的历史图，可以较好地解决上述缺点。但是，若直接使用运动历史图检测，也会留下阴影，如图所示。图3-1结合前文提出的分级阈值方法进行处理，可以充分利用其优点，又可解决阴影问题。使用较大阈值来更新运动历史图，对其中最新的运动位置，再使用较小阈值检测得到结果。选择较大的阈值应保证不会失误检测到背景中的噪声，而选择较小的阈值应保证能检测出较多的运动人体内部的像素，可以接受一定程度的误检。具体方法如下：（3-5）（3-6）（3-7）（3-8）对于第k帧，先用公式计算出两帧帧差Dk，也可以使用公式计算三帧帧差。然后公式3-6运用较大的阈值thresholdl对Dk进行二值化得DLk。DLk表示当前帧一定是运动目标的像素，公式3-7使用DLk更新运动历史图MHIk。最后，公式3-8对MHIk值在大于0的位置运用较小的阈值thresholdl进行二值化得了当前帧的检测结果Mk。3.2.1实验结果与小结在多种静止背景中唯有一个人体运动的视频序列来进行这项实验。23\n华东交通大学理工学院毕业设计首先确定参数。通过对多个序列的分析统计，得到在三帧帧差中，运动时长τ设为20帧比较合适，对进行实验的序列一般都能获得较好的检测结果。而对于运动很迅速的序列，τ可以设得再小些，反之亦然。如图3-2所示，对三帧帧差二值化，a阈值为50，检测出的人体像素较少，并不足够用作后续处理。b阈值为10，人体像素能较好地检测出来，同时背景像素也被检测出很多。c使用改进的算法，大阈值设为50，小阈值设为10，于此，检测结果就比较完美了。对这3个二值图像中值为1的像素个数以及这些像素是否分类正确进行统计，得到表1。表一阈值分析统计表阈值检测出像素总个数/个正确检测（人体像素）/个错误检测（背景像素）/个阈值=50（图5a）3966395610阈值=10（图5b）12348111211227分级阈值（图5c）5769575712一般，进行帧差二值化后得到的结果还要运用形态学方法进行操作处理，一下对同定阈值得到的二值图像形态学处理结果和分级阈值所获得二值图像的形态学处理结果进行比较。[16][17]运用本论文提到的分级阈值帧差法，对静止背景的视频序列中的运动人体进行检测，其中部分的检测结果如图3-3所示。这种算法的运算量要不大，利于使用。结合以上分析，本论文提出的使用分级阈值二值化的运算方法，通过对帧差法的完善改进，最终实验表明，运用该方法视频序列中的运动人体能有效地被检验出来，而且具有实时性和可靠性。（a）固定阈值+闭运算（b）分级阈值+闭运算图3-2对固定值与分级阈值二值化进行形态学处理23\n华东交通大学理工学院毕业设计图3-3运动人体检测结果3.2.2三帧差分法三帧差分法是在二帧图像差分的基础上，对差分图像更进一步的处理，如逻辑“与”运算(AND)，以此得到二次差分结果。与二帧差分法相比，三帧差分法讲运动目标的位置和形状参数更加精确地检测出来，更好地获取了信息。[18]三帧差分原理如图3-4所示:图3-4三帧差分原理在图3-4中，设，，分别表示从视频序列中抽取的连续三帧图像。则三帧间差分法的原理是：先分别运用连续二帧差分法得到差分图像、与，其中、。将两幅差分图像、再进行“与”运算，最后得到差分图像，即。因为三帧差分法是对差分图像Dk与Dk+1进行“与”23\n华东交通大学理工学院毕业设计运算，前后差分图像的共同部分可以被提取出来，所以三帧差分法就能有效的克制两帧差分能使目标扩大的缺点。如图3一5(a)所示，帧间差分后物体的轮廓如图中粗线部分，从图中可明显看出物体扩大了。然而在三帧差分中则是将第k-1帧与第k帧的差分图像Dk和第k帧与第k+1帧的差分图像Dk+1,进行“与”操作，这样可以提取出两帧差分图像中共同的部分，如图3-4(b)中的粗线部分所示。[19]图3-5两帧间差分、三帧间差分的原理示意图因此，使用两帧差分法存在三大问题：第一，这两帧的重叠部分是不容易检测的，靠近的两帧可以直接相减，而保留下来的那部分则是两帧中变化相对较大的部分；第二，之前检测出的目标含有两帧中变化的那些信息，使检测到的目标比实际目标大，而且伪目标点大量存在；第三，当人体与背景的灰度值在部分区域上有相同或相似时，运动目标的部分区域就不能被检测到，可以通过使用三帧更准确的获得物体的轮廓。[20]23\n华东交通大学理工学院毕业设计现对两组连续的三帧图像序列进行三帧差分实验，两组分别是刚体和非刚体的图像序列。图3-6对人的三帧差分实验图23\n华东交通大学理工学院毕业设计图3-7图3-6、3-7分别是对连续的三帧图像序列做三帧差分的实验结果图，图的前两列是由两帧差得到的差分图像，第三列是由前两幅差分图像“与”操作得到的三帧差分图。由图可看出，两帧差分明显的将目标拉长了，三帧差分克服了这个缺点。但是就实验结果来看，三帧差后的图像存在较大的空洞现象，需要通过处理才能更好地提取目标。3.2.3五帧差分法目标跟踪的前提是运动目标检测，能不能准确、完整的检测出目标对之后的跟踪处理起到决定性的作用。使用一个标准的三帧差分法可以快速检测出运动目标的轮廓，但是，很难从背景完整的提取运动目标。运用三帧差分所得到的轮廓一般都不是不连续的，并有很大的空洞，因此对后处理工作有很大的影响。为了更好的地检测出运动目标，本论文对现有的标准三帧差加以改进，提出了依据连续五帧差分的运动目标检测方法。[21][22]其原理图如图3-8所示:23\n华东交通大学理工学院毕业设计图3-8改进后的五帧差分算法流程图对于三帧差分的改进主要有以下几点：(l)帧间差分是对于轮廓的提取，所以，为了获得准确的目标，一定要在进行帧间差分的时候就提取完整清晰的轮廓。(2)三帧差分是一种对连续图像中前帧与中间帧、中间帧与后帧分别进行两帧差分运算，然后利用“与”23\n华东交通大学理工学院毕业设计运算提取连续三帧序列图像前后帧差之间重合部分的方法。这种方法可以有效的解决运动目标的被拉长问题，但是对三帧间目标的重叠部分依旧不易检测出来。并且，在低对比度的条件下，运用三帧时间差分法依旧不能获得运动目标完整的轮廓。所以，在这里根依据差法的原理，运用多帧差分图像进行信息的融合，用来获取完整的运动目标轮廓。本论文采用连续的五帧帧间差分法，就是用中间帧与前两帧和后两帧分别进行帧间差分运算，将获得的两组差分图像进行“或”运算，并且进行形态学滤波等操作，最终得到完整的运动目标区域。(3)因为原始视频图像的清晰程度与图像本身的噪声污染等因素的影响，会让图像的质量降低。从视频中抽得的彩色图像转变为灰度图像之后，应对图像进行增强操作。本论文采用直方图均衡化来处理灰度图像，就是将灰度图像的直方图从相对比较集中的某个灰度区间，变为在全部灰度范围内的均匀分布，从而使图像的细节变的更清晰。算法操作[23]的流程如图3-8所示，详细步骤如下：(l)先要从视频中连续抽得五帧图像的序列，然后对图像进行灰度化处理，再执行直方图均衡化。(2)对于经过灰度均衡化处理的三帧图像序列，运用sobel算子进行梯度化，就是在垂直、水平方向上对连续的五帧灰度图像依次进行梯度化处理，其原理如下:（3-6）（3-7）将运用梯度处理后得到的的五帧图像分别标记：、、、、，其中为中间的图像，则图3-8中逐个对应d1，d2，d3，d4，d5。（3）运用中间帧跟前后两帧经过差分处理获得的差分图像，、、、，即（3-8）（3-9）（3-10）（3-11）（4）在获得的四个差分的图像中，与分别运行“与”运算会得到，与进行“与”运算就得到，即23\n华东交通大学理工学院毕业设计（3-12）（3-13）（3）分别对与进行滤波操作处理，然后用迭代阈值法将其进行二值化，将与二值化的图像进行“或”运算获得目标图。（3-14）(6)运用“或”运算获得的目标图会有目标点空洞和一些孤立噪声，对它进行形态学滤波消除局部噪声并连接边缘的没有连接部分，然后运用连通性检验的方法来填充充洞。现在选用两组图像序列来进行测试，为了验证以上的改进方法，分别对刚体和非刚体进行运动目标的检测。第一组，对运动中的人体进行检测，第二组，是对运动中的车辆进行检测。为了比较本论文提到的三帧差分与五帧差分，也对实验中的连续三帧图像进行了相似于五帧差分的操作过程，就是用连续的三帧图像进行图像均衡化，然后运用Sobel算子对图像进行梯度化操作处理[24]。对梯度化后的图像用三帧差分的算法进行操作，然后对三帧差分的图像进行连通性检测、二值化、形态学滤波、图像滤波，最后取得运动目标。以下就依次对两组avi视频序列抽取连续的三帧和五帧来进行目标检测，对运动目标分别使用三帧差分法与五帧差分法进行实验对比，下面显示的是这两组图像序列实验的对比图。图3-9、3-10：非刚体；图3-11、3-12：刚体；图3-9和3-11：预处理操作后三帧差分；图3-10、3-12：五帧差分。图3-9增加图像预处理的三帧差分对人体的检测图23\n华东交通大学理工学院毕业设计图3-10基于五帧差分的人体检测图图3-11增加图像预处理的三帧差分对车的检测图23\n华东交通大学理工学院毕业设计图3-12基于五帧差分的车辆检测图分别比较图3-9、3-6，图3-11、3-7，可以看出经过图像预处理操作的三帧差分比未经过图像预处理的效果好很多。然后比较图3-10、3-9，图3-12、3-11，本论文给提出五帧差分法要比增加了图像预处理的三帧差分法效果要好。从图3-10与图3-12就可以看出，此论文提出的的五帧差分法所检测出的目标的轮廓更加接近目标本身，并且显著的解决了拖影现象，并且消除了空洞。三帧差分是五帧差分的基础，所以将获得的两组三帧差分结果进行“或”运算，这样能够保留更多的目标信息，从而获得的目标检测图就会更加精准。3.3本章小结本章提出了对于运动目标检测的三种最常用的方法，分别是连续帧间差分法，背景差分法和光流法，对于这三种方法自身的优点和缺点以及各自的适用范围进行了简单的介绍和比较。在获取运动目标的区域部分，讨论了对阂值的选取。本章着重的研究了帧间差分法[25]，分别分析了三帧差分法和两帧差分的优点及缺点，依据三帧差分所存在的缺点对它进行了改进，对改进后的三帧差分进行理论和实验分析，将改进前后的结果进行比较，最后实验证明，运用改进之后的目标检测方法来提取目标，效果会更好。23\n华东交通大学理工学院毕业设计4设计结论在有效采集信息的基础上，智能视频监控系统比普通的网络视频监控系统具备更强大的图像处理能力和智能因素，可以为用户提供更多高级的视频分析功能，从而减轻监控人员的劳动量，提高监控效率和监控系统的准确度。所以在监控系统对智能化功能的需求下，随着智能视频分析技术的越来越成熟，视频监控系统的必然趋势是越来越智能化。对于监控视频[26]来说，一个完善的的运动目标检测系统可以不依靠摄像机的仔细放置，也不用太注重光照效果和画面内容是如何变化的，它都能够轻易的处理目标重叠、运动混乱、光照、阴影变化等情况对真实运动目标检测的影响。虽然至今该领域的研究成果显著，但因为还没有通用的目标检测理论，所以提出的检测算法都是针对具体问题的，没有适合所有图像的算法；而有关目标检测新的算法在日益增多，但是缺少评价算法性能的评价标准，使新的算法在和经典算法的对比中只能采用人眼观察的方法。目标检测算法缺少统一的、公认的、较好的、定量的评价标准，而且对比不同种算法性能的文章也比较很少，这些都是值得人们去讨论研究的课题。阅读了大量的文献之后，论文作了普遍的研究，主要是通过对先驱者们在运动目标检测方面提出的不同算法，并且着重分析了目前最常用的三种方法，分别是光流法、帧间差分法和背景差分法的原理和流程。在这个基础上，论文在对帧间差分法进行了详细的研究之后，对算法做了点完善和改进，主要针对传统的帧间差分法存在的问题，改善了检测的效果。论文中的运动目标检测算法计算较为简单，完全能满足智能视频监控技术中实时性的要求，在检测效果方面，相对于传统的对应算法有所改善，在室内场合以及背景较为简单的室外场合能取得较好的效果。23\n华东交通大学理工学院毕业设计参考文献[1][5]郝灿.视频监控中的运动人体检测与跟踪的算法研究[J].浙江师范大学.2010.6[2][4]吕行.基于Directshow的智能视频监控系统研究[J].中国西安.2007.3[3]钟志.基于异常行为辨识的智能监控技术研究[J].上海交通大学.2008.6[6]林洪文,涂丹,李国辉.基于统计背景模型的运动目标检测方法[J].计算机工程,2003,29(16):97-99.[7]张文杰,戚飞虎,江卓军.实时视频监控系统中运动目标检测和跟踪的一种实用方法[J].上海交通大学学报,2002,36(12):1837-1840.[8]梁国山.用于运动人体检测的改进的帧差法[D].电视技术，2009[9]施华,李翠华.视频图像中的运动目标跟踪[M].计算机工程与应用，2005,6[10]李庆忠,陈显华,王立红.一种视频运动目标的检测与识别方法[J].[11]杜晶晶.智能视频监控中运动目标检测与跟踪算法研究[D].西南交通大学.2009[12]刘亚,艾海舟,徐光佑.一种基于背景模型的运动目标检测与跟踪算法[M].信息与控制,voL.3INoA,Aug.2002.[13]汪德洋.智能视频监控关键技术研究[D].2005[14]谭铁牛.智能视觉监控研究进展.第二届全国智能视觉监控学术会议论文集[C].北京:科学出版社.2003.[15]卢燕斌.监控视频中运动目标检测和追踪的研究及应用[J].2010.6[16]张继霞.智能视频监控中人体的检测与跟踪研究[J].2007.[17]吴志刚.智能视频监控系统中目标检测算法的研究[J].武汉理工大学.2009.5[18]邹依峰.智能视频监控中的行人检测与跟踪方法研究[J]中国科学技术大学.2011.5[19]宋波涛.智能视频监控系统的设计与实现[J]吉林大学.2009.4[20]陈勇.智能视频监控中运动目标检测技术研究[J].武汉理工大学.2007.11[21]方帅,迟健男,徐心和.视频监控中的运动目标跟踪算法[J].控制与决策，2005.12[22]闫飞,胡宝霞.实时视频监控系统中一种快速运动目标检测算法[J].黑龙江.2008(01)[23]陈景波,陆建明,邬正义.交通场景中多目标的检测与跟踪[J].现代电子技术.2008(01)[24]邱德润,朱明旱,伍宗富.一种基于帧问差分与背景差分的运动目标检测新方法[J].湖南文理学院学报2007(1)[25]王栓,艾海舟,何克忠.基于差分图像的多运动目标的检测与跟踪[J].中国图象图形学报，VOL.4(A)，NO.6，Ju1.1999[26]欧扬,刘元祥.智能视频监控系统中运动检测技术的研究[J].工矿自动化,2004,6:15-16.23\n华东交通大学理工学院毕业设计致谢在这几个月的时间里，从对课题的理解，方案的设计，再到论文的写作，中间有着自己的努力，更有着老师和同学的关心和巨大的帮助。虽然整个大四下学期都没有课程，但是在毕业设计的完成过程中，就如同在学习一门专业的课程，从最开始的对各方面的概念都很模糊，到最后能搞清楚本课题的原理以及能够完成设计得出结果，从中获得的东西根本不是受益匪浅就能涵盖的。于此，我要对本论文的指导老师殷爱菡老师致以衷心的感谢！从论文的选题、有关资料的收集、课题的讨论，到论文的撰写和修改，导师都给了我悉心的指导和帮助，她温柔并耐心的回答我提出的每一个问题，让我很快消除了起初对她的陌生感，而她对学生认真负责的态度也让我由衷地敬佩。其次，我要感谢答辩组的各位老师，感谢你们在百忙之中抽出时间来评阅我的论文，并给予宝贵的指导意见。然后，我要感谢朱明学长给予我无私的帮助，我与他没有认识很久，但他却本着热心负责的态度，从初稿到定稿到答辩，对我提出的不解疑惑都耐心解答。最后，感谢母校和老师们在大学四年中对我的培养。在这里有我最为珍惜的四年青春，我在这里成长，在这里磨砺我的锐气与幼稚，如今，我带着这四年的蜕变，即将离开我的母校，纵使有万千不舍，但却不能阻止我追寻未来的脚步，我相信，带着母校给予我的沉甸甸的财富，未来的路，我将会走的更加稳健。最最后，也是最必不可少的，我要感谢我的家人，感谢他们对我的养育培育之恩，也要感谢他们对我无私的支持，女儿虽离家千里，但心从未远离。当然，在这个需要感谢舍友不杀之恩的年代里，我还要郑重的感谢我的舍友和朋友们，你们是我四年的学习和生活中最重要的组成部分，你们也永远是我最坚强的后盾，每当我遇到挫折时，一想起你们我就感觉浑身充满了力量，并鼓起战胜困难的勇气！没有你们，我的大学生活将会暗淡无光，如今分离在即，我也把我最衷心的祝福送给你们，愿你们前程似锦，活出自我。23