毕业设计（论文）-搬运机械手反解运动控制系统的设计

毕业设计（论文）-搬运机械手反解运动控制系统的设计

目录第一章引言11.1机械手的发展及应用11.2机器人的分类31.3工业机器人的发展现状以及在各国的产业发展及预测41.4我国工业机器人发展现状及前景61.5本论文的意义和研究内容6第二章机械手的结构和功能及基本技术参数82.1机械手的结构和功能82.2机械手的基本参数10第三章连杆坐标系间的变换矩阵123.1齐次坐标与手部位姿矩阵123.2连杆坐标系间的齐次变换矩阵的表示方法133.3连杆坐标系间变换矩阵的确定13第四章机器人逆运动学15第五章控制系统的设计205.1控制方式的确定205.2选择PLC215.2.1PLC规模的估算215.2.2PLC的选择225.3可编程控制器（FX2N-64MR）结构功能介绍235.4PLC的外部接线235.5位置检测电路235.6输入输出接口电路255.6.1输入接口电路255.6.2PLC输出接口电路255.7控制软件的设计275.8梯形图及指令语句28结论与展望29参考文献30致谢31附录132附录233附录337外文翻译39外文文献4653\n搬运机械手反解运动控制系统的设计（湘潭大学机械工程学院周六军）摘要：本文采用可编程控制器（PLC）对一五自由度搬运机械手的反解运动进行控制。根据机器人的位姿，用机器人反向运动学求出各个关节应转动的角度，通过传动比和各轴分辨率得到各对应电机的转角。然后利用光电编码器对直流电机的转轴转角进行检测，并对机械手的5个直流伺服电机进行正反转控制，从而实现了电机转轴的准确定位和机械手的运动控制。关键字：机械手；反向运动学；编码器；PLCTheDesignofConveyerManipulatorCounter-solutionMovementControlSystem(XiangtanuniversitymechanicalengineeringinstituteZhouLiujun)Abstract:Thisarticleadoptsprogrammablecontroller（PLC)tocontroltheanti-solutionmotionofafivefreedomconveymanipulator.Accordingtotheposeofrobot,usingrobotreversekinematicssolveforangleeacharthvosisshouldturned,therebysolveforcorrespondcornerofeachmotorwithgearratioandeachshaftresolution.AndthenusingphotoelectricencoderdetecttheshaftcornerofD.C.motor,andcontroltheforwardandreverserotateoffiveDCservomotoronthemanipulator.Accordingly,implementthepinpointofthemortorshaftandthemotioncontrolofthemanipulator.Keywords:Manipulator;ReverseKinematics;Encoder;PLC53\n第一章引言“工欲善其事，必先利其器”。人类在认识自然、改造自然、推动社会进步的过程中，不断地创造出各种各样为人类服务的工具，其中许多具有划时代意义。作为20世纪自动化领域的重大成就，机器人已经和人类社会的生产、生活密不可分。世间万物，人力是第一资源，社会进步是历史的必然，科学技术是第一生产力，就像其它科学技术的发明发现一样，机器人已经渐渐成为人类的好助手、好朋友。作为机器人发展过程中的一个很重要的环节，机械手是在机械化、自动化生产过程中发展起来的一种新型装置。近年来，随着电子技术特别是电子计算机的广泛应用，机器人的研制和生产已成为高技术领域内迅速发展起来的一门新兴技术，它更加促进了机械手的发展，使得机械手能更好地实现与机械化和自动化的有机结合。1.1机械手的发展及应用20世纪40年代中后期，机器人的研究与发明得到了更多人的关心与关注。20世纪50年代以后，美国橡树岭国家实验室开始研究能搬运核原料的遥控操纵机械手，如图1.1所示[1]。图1.1主从型遥控操纵机械手这是一种主从型控制系统，系统中加入力反馈，可使操作者获知施加力的大小，主、从机械手之间有防护墙隔开，操作者可通过观察窗或闭路电视对从机械手操作机进行有效的监视，主、从机械手系统的出现为机器人的产生以及近代机器人的设计与制造作了铺垫。此后，美国的戴沃尔(Ceorge.G.Devol)设想了一种可控制的机械手。53\n1954年，他依据这一想法设计制作了世界上第一台机器人实验装置，发表了“适用于重复作业的通用性工业机器人”一文，并获得了美国专利。戴沃尔在此后还设计了一种可以接受示教而完成各种简单的重复动作的机器人。在任务的执行过程中，机器人的各个关节在伺服驱动下依次再现上述位置，故这种机器人的主要技术功能被称为可编程和示教-再现功能。1959年第一台工业机器人在美国诞生，开创了机器人发展的新纪元。当今机器人技术正逐渐向着具有行走能力、多种感觉能力以及对作业环境的较强自适应能力的方面发展。美国贝尔科尔公司已成功地将神经网络装配在芯片上，其分析速度比普通计算机快千万倍，可更快、更好地完成语言识别、图像处理等工作[1]。目前，美国在机器人技术的综合研究水平上仍处于领先地位，而日本生产的机器人在数量、种类方面则居世界首位。机器人技术的发展推动了机器人学的建立，许多国家成立了机器人协会，美国、日本、英国、瑞典等国家设立了机器人学学位。20世纪70年代以来，许多大学开设了机器人课程，开展了机器人学的研究工作，如美国的MIT、RPI、Stanford、Carnegie-Mellon、Conell、Purdue、UniversityofCalifornia等大学都是研究机器人学富有成果的著名学府。随着机器人学的发展，相关的国际学术交流活动也日渐增多，目前最有影响的国际会议是IEEE每年举行的机器人学及自动化国际会议，此外还有国际工业机器人会议(ISIR)和国际工业机器人技术会议(CIRT)等。出版的相关期刊有“RobotToday”、“RoboticsResearch”、“RoboticsandAutomation”等多种[1]。在当今这个新型工业化时代，机械手已逐步的被用于工业生产各个行业中，以下是两种非常典型的工业机械手（如图1.2、图1.3）。图1.2点焊机器人53\n图1.3PUMA700机器人机械手虽然目前还不如人手那样灵活，但从外形来看，它和人的手臂相似，是由一系列刚性连杆通过一系列柔性关节交替连接而成的开式链。它具有能不断重复工作和劳动、不知疲劳、不怕危险、抓举重物的力量比人手大等特点。机器人的研究、开发和应用涉及多刚体动力学、机构学、机械设计、传感技术、电气液压驱动、控制工程、智能控制、计算机科学技术、人工智能和仿生学等学科，机器人技术是一门跨学科的综合性技术，机器人应用水平是一个国家工业自动化水平的重要标志。当代对机器人的研究十分活跃，应用日益广泛的领域。例如：(1)机床加工工件的装卸，特别是在自动化车床、组合机床上使用较为普遍。(2)在装配作业中应用广泛，在电子行业中它可以用来装配印制电路板，在机械行业中它可以用来组装零部件。(3)可在劳动条件差，单调重复易子疲劳的工作环境工作，以代替人的劳动。(4)可在危险场合下工作，如军工品的装卸、危险品及有害物的搬运等。(5)宇宙及海洋的开发。(6)军事工程及生物医学方面的研究和试验。随着工业的发展，科学技术不断进步，机器人学的不断完善，工业机器人成了可编程序的机电一体化的装置，在操纵控制下能按规定的程序完成一定的工作，更具有记忆，示数，再现等仿人功能，因此它已经成为柔性制造系统（FMS），自动化工厂（FA），计算机集成制造系统（CIMS）的自动化工具[2]。1.2机器人的分类53\n根据不同的标准，机器人也相应有不同的种类。工业机器人的机械结构部分可看作是由一些连杆通过关节组装起来的。通常有两种关节，即转动关节和移动关节。连杆和关节按不同的坐标形式组装，机器人可分为五种：直角坐标型机器人、圆柱坐标型机器人、球坐标型机器人、关节型机器人和并联机器人，本论文中控制的对象为一五自由度的关节型机械手，它属于关节型机器人中的一个典型。关节坐标型机器人主要由立柱、前臂和后臂组成(图1.4)，PUMA机器人是其代表。图1.4关节型机器人机器人的运动由前、后臂的俯仰及立柱的回转构成，其结构最紧凑，灵活性大，占地面积最小，工作空间最大，能与其他机器人协调工作，避障性好，但位置精度较低，有平衡问题，控制存在耦合，故比较复杂，这种机器人目前应用得最多[1]。1.3工业机器人的发展现状以及在各国的产业发展及预测机器人是最典型的机电一体化装备，技术附加值很高，应用范围很广，作为先进制造业的支撑技术和信息化社会的新兴产业，将对未来生产和社会发展起越来越重要的作用。国外专家预测，机器人产业是继汽车、计算机之后出现的新的大型高技术产业。据UNECE(联合国欧洲经济委员会)和IFR(国际机器人联合会)统计，从20世纪下半叶起，世界机器人产业一直保持着稳步增长的良好势头，80年代工业机器人进入发展中期，汽车、电子等行业开始大量使用工业机器人，推动了机器人产业的发展。工业机器人的应用满足了人们特性化的要求，产品的批量越来越大，品种越来越多，而且产品的一致性也大大提高，为商家占有了更多的市场份额，获得了更多的市场利润。90年代初期，工业机器人的生产与需求达到了一个技术成熟期，1990年世界上新装备工业机器人80943台，1991年装备了76443台，到1991年底世界上已有53万台工业机器人工作在各条战线上。进入90年代，机器人产品发展速度加快，年销售量增长率平均在10％左右；2004年增长率达到了创记录的20％，其中，亚洲机器人增长幅度最为突出，增长43％，如图1.5所示。53\n数据来源：UNECEHE和IFR注1：其中日本在2000年以前的统计数据，包括了所有机器人的数目，与各国数据缺乏可比性。注2：韩国的数据包括了所有类型的工业机器人，与各国的数据缺乏可比性。图1.52003年制造业中每1万名雇员拥有工业机器人的数量[4]UNECE估计，2004年全球至少安装了10万台新的工业机器人。其中：欧盟31100台（比2003年增加15%，但比2001年的记录仅增加1%）；北美16100台（比2003年增加27%，比2000年的记录高24%）；亚洲51400台，主要在日本，但中国市场增长迅速（比2003年增长24%）。以下我们还可以从表1.1中的数据了界工业机器人在各国的产业发展与预测。表1.1全球工业机器人年度安装量和年运行总量及2007年的预测数（单位：台）[3]国家或地区年度安装量运行总量2002年2003年2007年2002年2003年2007年日本253733158841300美国99551269315900欧盟260962711434400其他欧洲国家5829221300110091140914200亚洲/澳洲512366958900604276541978500其他国家146627644500442161362027200总计（除日，韩）392444552858700总计（包括日，韩）6859581776数据来源：UNECE和IFR注：日韩的统计口径和其他国家有所出入。53\n从近几年世界机器人推出的产品来看，工业机器人技术正在向智能机器和智能系统的方向发展，其发展趋势主要为结构的模块化和可重构化，控制技术的开放化、PC化和网络化，伺服驱动技术的数字化和分散化，多传感器融合技术的实用化，工作环境设计的优化和作业的柔性化，以及系统的网络化和智能化等方面。 UNECE和IFR预测，至2007年，全球运行的工业机器人总量将从2003年的800772台，增长至2007年的997700台，年平均增长5.6％。其中，日本年度工业机器人总量将从2003年的348734增长至2007年的349400台，年平均增长0.048％；欧洲将从2003年的249200台增长至2007年的325900台，年平均增长6.9％；美国从2003年的112390台增长到2007年的145100台，年平均增长6.6％。全球新安装机器人的数量从2003年的81776台增至2007年的10600台，年平均增长6.7%。其中，日本工业机器人的年度安装量将从2003年的31577增长至2007年的41300台，年平均增长6.9%；欧洲将从2003年的27114台增长至2007年的34400台，年平均增长6.1%；美国从2003年的12693台增长至2007年的15900台，年平均增长5.8%[5]。1.4我国工业机器人发展现状及前景我国的机器人技术起步较晚，约于20世纪70年代末、80年代初开始。以后的20多年中，在步行机器人、精密装配机器人、多自由度关节机器人的研制等国际前沿领域逐步缩小了与世界先进水平的差距。从近几年来看，我国已经有很多单位和企业已经着手机器人的研究和开发，已经研究出多种型号的机器人。我国工业机器人经过二十多年的发展已经在产业化的道路上迈出了新的步伐。近几年，我国工业机器人以及包含工业机器人的自动化生产线和工程项目、相关产品的年销售额已经超过3亿元。国家“863”计划当中，我国的工业机器人已经广泛的应用于汽车、电子行业当中，其发展水平也已经逐步接近世界先进水平，相信以目前的发展水平会在不久的将来赶上各先进国家的步伐。1.5论文的意义和研究内容机器人技术是近30年来迅速发展起来的一门综合学科。它综合了力学、机构学、机械设计学、计算机工程、自动控制、传感技术、电液驱动技术、人工智能、仿生学等学科的有关知识和最新研究成果，代表了机电一体化的最高成就。机器人学是随着机器人的发展而发展的，而它的发展与完善又不断地推动着机器人技术水平的提高，扩大着机器人的应用领域;同时机器人学也极大地促进了控制技术、人工智能、传感技术、仿生学等学科的发展，所以机器人学是一门集中反映高新技术的新兴学科。53\n科学的进步与技术的创新，为机器人的研究与应用开辟了广阔的思路与空间。工业机器人由操作机(机械本体)、控制器、伺服驱动系统和检测传感装置构成，是一种仿人操作、自动控制、可重复编程、能在三维空间完成各种作业的机电一体化、自动化生产设备。特别适合于多品种、变批量的柔性生产。它对稳定、提高产品质量，提高生产效率，改善劳动条件和产品的快速更新换代起着十分重要的作用。从某种意义上说它是机器的进化过程产物，是工业以及非产业界的重要生产和服务性设备，也是先进制造技术领域不可缺少的自动化设备。现代科学技术的迅速发展，尤其是进入80年代以来，机器人技术的进步与其在各个领域的广泛应用，引起了各国专家学者的普遍关注。许多发达国家均把机器人技术的开发、研究列入国家高新技术发展计划。我国现代化建设的十五计划的“211工程”中就有一个“智能移动机器人系统”建设项目[6]。本文结合当今工业机器人的研究现状和发展方向，具体阐述了一种五自由度关节式机器人的控制系统的设计与开发过程。分析了机械手的总体结构参数，系统地对本机械手的逆运动学进行了分析。在同组同学用齐次坐标变换的方法对机械手的运动学正解进行了分析和研究的基础上，对机械手的运动学逆解进行了分析和研究，并用代数法求出结论表达式。然后选择其中的一组最优的解，利用PLC控制器编程来控制机械手的运动。参考文献[1]刘极峰，易际明，等.机器人技术基础[M].北京：高等教育出版社，2006年5月[2]熊有伦.机器人技术基础[M].武汉：华中科技大学出版社,1996年[3]马光,申桂英,等.工业机器人的现状及发展趋势[J].南京化工大学学报,2003（3）[4]朱力.目前各国机器人发展情况[J].中国青年科技2003(11)[5]张效祖.工业机器人的现状与发展趋势[J].世界制造技术与装备市场,2004(5)[6]郝海青.串联关节式机械手的控制系统分析与设计.万方数据库硕博士论文，200253\n第二章机械手的结构和功能及基本技术参数2.1机械手的结构和功能本文所涉及的五自由度机械手是建立在GR-1型教学机械手的基础之上，它有五个旋转关节和一个抓取物体的工具(手爪)，还配有示教盒和控制器（除机械部分外基本已失效）。主要由机械部分和控制系统两部分组成：机械部分：该机械手是一个关节型机械手，结构简单，并且全部采用开放式结构。其6个自由度皆由直流伺服电机驱动。控制系统：通过对控制器进行编程，由光电闭环伺服回路引导机械手末端手爪，可以实现对其准确定位。其设计特点可归纳为：（1）机械设计采用裸体式以便能看清楚所有运动副的工作情况。（2）机构和功能与大型工业机器人类似。（3）用直流伺服电机和链传动作为执行机构，其工作状态也和工业机器人、CNC装置的情况类似。（4）采用全数字控制方案，每个关节的直流伺服电机都装有光电编码器，用高传动比以获得较高的关节角位移分辨率。（5）控制器可同时控制6个直流伺服电机，用户可认为控制器是透明的，致力与软件开发。该机械手结构图和部件传动图如图2.1—2.4所示。图2.1腰传动图腰部通过一对齿轮副直接传动。安装在底座上的直流伺服电机的输出经减速器变速后，通过齿轮传动使腰部绕垂直轴线旋转，其旋转的角度不小于180°。从动齿轮上装有行程开关，对腰部传动进行限位检测，可实现最大限位控制。53\n图2.2上臂传动图上臂固定在腰部从动齿轮上，安装在腰部上的伺服电机通过链传动带动上臂进行摆动幅度不小于270°的运动，并且随腰部一起传动。图2.3前臂传动图前臂固定在上臂末端轴(肘关节轴线)上，其驱动电机固定在腰部，通过2级链传动带动前臂转动。采用链轮张紧链条，二级链传动第一级参数与上臂的参数相同，次级传动是等比传动。53\n图2.4手传动图手传动驱动电机固定在腰部，通过2级链传动带动手绕前臂末端轴线转动。它是二级链传动带动及钢丝绳传动相结合。其中，次级链传动和钢丝绳传动都是等比传动，都是用链轮张紧，其转动幅度不小于270°。腕部装有2个直流伺服电机，一个通过齿轮传动驱动腕的旋转运动，一个通过连杆机构带动手爪的开合。此外，在机器人本体下面还有安装底板，用于稳定机身，防止在机器人的肘，臂伸出时，机器人倾倒。除了齿轮传动外，链传动也是GR-1型示教机械手重要的传动方式。该机械手的上臂，前臂和手是通过链轮传动实现运动的。各机械结构为基本空间缩放结构，用高强度铝合金材料制成。机械手的运动由腰部转动、上臂摆动、前臂摆动、手俯仰、腕旋转和手爪开闭6个动作部分组成。各关节和手腕的运动用直流伺服电机驱动，电机的输出轴上安装有光电编码器，用于位置检测，并将位置信号反馈到控制器输入端，构成伺服电机驱动回路的闭环反馈控制。2.2机械手的基本参数机械手的基本参数如下：a、外形尺寸：340×340×530（复位状态，包括底座）b、自由度：5（不包括手指开闭控制）c、各关节活动范围：腰：≥±180°53\n肩：≥200°肘：≥270°手俯仰：≥270°手指旋转：≥360°d、最大活动区：垂直方向：850mm水平方向：600mme、各轴的分辨率：轴电机代号分辨率（度/脉冲）手指旋转B0.24手俯仰C0.11前臂D0.11上臂E0.11躯干F0.14f、运动速度：≥20度/秒g、重复精度：≤1mmh、最大负重：≥1kgi、机械手重：11.0kg（包括底座）j、基本尺寸：躯干：115×215mm腰高：153mm肩高：249mm上、前臂长：228mm手前部：137mm手后部：68mm手指：50mmk、运动控制：数字式光电闭环伺服回路l、驱动方式：直流伺服电机53\n第三章连杆坐标系间的变换矩阵3.1齐次坐标与手部位姿矩阵本设计中我们所研究的搬运机械手实质上是由一系列关节连接而成的空间连杆开式链机构。而要研究此机械手，就必须对机器人运动学有一个基本的了解。机器人运动学中的一个最基本问题就是齐次坐标、机器人的位姿分析。在选定的直角坐标系{A}中，空间任一点P的位置可以用3 ´ 1的位置矢量AP表示，其左上标表示选定的坐标系{A}，此时有AP = [PXPYPZ]T(2.1)式中：PX、PY、PZ是点P在坐标系{A}中的三个位置坐标分量，如图3.1所示。图3.1空间任一点的坐标表示将一个n维空间的点用n + 1维坐标表示，则该n + 1维坐标即为n维坐标的齐次坐标。用齐次坐标的规格化形式表示即：P = [PXPYPZ1]T(2.2)在图3.2中，i、j、k分别表示直角坐标系中X、Y、Z坐标轴的单位矢量，用齐次坐标表示之，则有：图3.2坐标轴的方向表示53\nX = [1000]TY = [0100]TZ = [0010]T图3.2中所示的矢量u的方向用4 ´ 1列阵可表达为：u= [abc0]T(2.3)a = cosa，b = cosb，c = cosg手部的位置矢量为固定参考系原点指向手部坐标系{B}原点的矢量P，手部的方向矢量为n、o、a。于是手部的位姿可用4 ´ 4矩阵表示为(2.4)3.2连杆坐标系间的齐次变换矩阵的表示方法在对机器人进行运动学分析是，可以直接对机器人进行某种抽象，将连杆抽象为直线，而将关节抽象为点，这样对分析结果不会产生影响。这是机器人的运动学建模。在运动学的建模中，坐标系的选择有很多种，而最为常见的Denavit-Hartenberg方法（D-H方法），其坐标系的建立如下：连杆i的坐标系的Zi轴位于连杆i与连杆i + 1的转动关节轴线上；连杆i的两端轴线的公垂线为连杆坐标系的Xi轴，方向指向下一个连杆；公垂线与Zi的交点为坐标系原点；坐标系的Yi轴由Xi和Zi经右手法则确定。两连杆间的关系由4个参数来描述，其中两个参数用来描述连杆，即公共法线的距离ai和垂直于ai所在平面内两关节轴线(Zi–1和Zi)的夹角αi；另两个参数表示相邻两杆的关系，即两连杆的相对位置di和两连杆法线的夹角qi。ai称为连杆长度，αi为连杆扭角，di为两连杆距离，θi为两连杆夹角。用表示机器人连杆n坐标系的坐标变换成连杆n–1坐标系的坐标的齐次坐标变换矩阵，通常写成。对于n个关节的机器人，前一个关节向后一个关节的坐标齐次变换矩阵分别为：。其中，表示杆件1上的1号坐标系到机座的0号坐标系的齐次坐标变换矩阵。3.3连杆坐标系间变换矩阵的确定一旦对全部连杆规定坐标系后，就能建立相邻两连杆i与i+ 1之间的相对关系，连杆i–1的坐标系经过变换可以与连杆i的坐标系重合。如果把表示相邻连杆相对空间关系的矩阵称为A矩阵，那么根据上述变换步骤，从连杆i到连杆i–153\n的坐标变换矩阵为：= Rot(Z,)Trans(0,0,)Rot(X,)(2.4)上式为在D-H坐标系中，机械手中转动关节坐标与其前一个关节坐标的齐次变换矩阵。能描述连杆坐标系之间相对平移和旋转的齐次变换。描述第一个连杆对于机身的位姿，描述第二个连杆坐标系相对于第一个连杆坐标系的位姿。如果已知一点在最末一个坐标系（如n坐标系）的坐标，要把它表示成前一个坐标系（如n-1）的坐标，那么齐次变换矩阵为。依次类推，可知此点到基础坐标系的齐次坐标变换为：对于机械手末端执行器坐标系(即连杆坐标系5)的坐标相对于连杆i–1坐标系的齐次变换矩阵，用i–1T5表示，即：机器人末端执行器相对于机身坐标系的齐次变换矩阵为：（式中：常写成）由齐次变换矩阵可以求得机器人的运动方程。53\n第四章机器人逆运动学同组同学已经建立了机器人的运动学方程：（4.1）式中:;;;;;.(4.2)对于5自由度的机械手而言，其运动学方程也可以写成：=（4.3）（式中：0T5 常写成T5 。）上式中左边矩阵表示末端连杆相对于基础坐标系的位姿。给定末端连杆的位姿计算相应关节变量的过程叫做运动学逆解。机器人的运动学逆解存在多解性，如图4.1所示为一个二自由度的机器人，对于给定的位置与姿态，它是可解的且有两组解。图4.1机器人运动学逆解多解性示意图53\n造成机器人运动学逆解具有多解的原因是由于解反三角函数方程产生的。事实上对于一个真实的机器人，只有一组解与实际情况相符合，所以必须对这些解做出判断，以选择合适的解。目前，已经能够对一般结构的六自由度串联机器人进行逆运动学求解。但是，要获得显式解，必须满足下列两个充分条件之一：（1）3个相邻关节轴交于一点；（2）3个相邻关节轴平行。对机器人逆运动学的求解方法有三种：代数法，几何法和数值算法。前两种解法的具体步骤和最终公式，将因操作机的具体构形而异。而数值算法则是一种通用求解逆运动学问题的方法。下面就用代数法来求解。将5自由度的机器人的运动方程写成：（4.4）如果末端连杆的位姿已经给定，即n、o、a和p是已知的，则求关节变量的值称为运动反解。用未知的连杆逆变换左乘方程(4.4)的两边，把关节变量分离出来，从而求解，具体步骤如下。令：由，有：将给定的矩阵与逆阵的第一列相乘，它应该与单位阵的第一列相等，得到下面四个等式：53\n解得：类似的，将给定矩阵和逆阵的第2、第3、第4列相乘，并令其分别等于单位矩阵的第2、第3、第4列，就可的剩下的未知量：即：（4.5）同理可求得的逆：；；（4.6）用左乘式（4.3）得：（4.7）方程（4.7）左端为53\n（4.8）因上面已经求得和的值，再由方程（4.8）两边元素3,3对应相等有：（4.9）即：，可求得：，（4.10）同理，由方程（4.8）的元素3，1和3，2相等可求得：，（4.11）因为关节2，3和4都是平行的，左乘和的逆不会产生有用的结果。故采用左乘的逆，有：53\n（4.12）由式（4.12）两边元素3，2可得：即：，（4.13）由方程(4.8)的元素1，4和2，4可知：（4.14）同理，由(4.8)元素1,4和元素2,4可知：因均已知，所以可进而求得。（4.15）至此求出了所有关节的解，给出了机器人置于任何期望位姿时所需的关节值。当然由于结构的限制，有些解不能实现。在机器人存在多解的情况下，应进行轨迹规划（同组其他成员的论文涉及到，在此不再阐述），从而选取其中最优的一组解进行控制。53\n第五章控制系统的设计5.1控制方式的确定和大多数工业控制类似，搬运机械手也有很多种控制方式可供选择。而目前常用的常用工业控制器主要为：PLC、单片机以及PC机。下面就从它们的性能的几个方面的作一些比较，如表5.1所示。表5.1常用工业控制器性能比较控制器运算速度价格可靠性可操作性可维护性开发周期PLC较慢较高很高容易好短单片机快低较低较难一般较长PC机快高高较难好较长显然，PLC的高可靠性、易操作性和开发周期短等特点在对运算速度要求不高的控制场合是一种完美的控制方式，而且它能适应工业现场高温、冲击、震动等恶劣环境，易于维护。PC机的高运算速度和高可靠性为控制的精度和准确性提供了保证，但其价格高、操作性难和开发周期长要求操作者本身有完善的微机知识结构，充裕的开发时间和较强的经济势力做后盾。在工业现场，其维护性也较好，但要比PLC稍逊一筹。单片机控制的优势在于其价格便宜，运算速度快，但可靠性低，可操作性难、开发周期长，设计时要设计很多的接口电路，接线复杂，对设计者本身的要求很高，并不是每个控制系统都能接受的。相比较而言，可编程控制器(PLC)用于机械手控制具有以下五个突出的优点：1、可靠性高抗干扰能力强单片机及PC对环境的要求都要求比较高，一般不适用于工业现场，而PLC采取了一系列软件及硬件抗干扰措施，可以直接用于环境恶劣的工业生产现场。2、硬件配置齐全，外部接线方便单片机及PC用于控制场合，难免遇到大量的接口电路的设计及调试工作，且它们输出的电压电流信号都很弱，一般都需加驱动电路才能带动负载工作。而PLC配备品种齐全的各种硬件装置，用户一般不必自行设计接口电路及驱动回路，只要将外部设备、电源等直接与接线端子相连即可，是系统设计、安装、调试及维护的工作量大大减少。3、编程简单易学，查错容易53\nPLC采用梯形图编程方法。梯形图语言的电路符号和表达方式与继电器电路原理相当接近，比其他各种高级语言及汇编语言更易于接受和掌握。另外，修改及查错也更为容易。4、人机界面好如果适当添加人机界面设备，便可动态显示整个系统真实的工作情况。对PC用高级语言编程也可得到较好人机界面，但开发量大，而对单片机则很难得到令人满意的人机界面。5、PLC具有极强的通讯功能PLC远程I/O与计算机联接可实现通讯功能，同组的同学就设计了VB与PLC之间的通信。作为机电一体化专业的学生，在平时课程学习当中，就已经系统的学习了PLC的有关理论，并且作过大量的实验，掌握了其在控制过程当中所可能遇到的障碍以及其可以解决的方案，且其控制的高可靠性和易操作性深受我们的喜爱。特别的，在我们所设计的机械手当中，所有元件中，光电编码器的精度不太高，对控制器的运算速度要求不太高；而在控制要求上，PLC(FX2N-64MR)内部配有高速计数输入点，可直接用来接收机械手5个关节的旋转编码器的输出。当计数器中的值达到设定值时，可直接控制各关节相应电机电源的通断，从而达到准确控制的目的。综上所述，在本设计中优先采用PLC来控制机械手各关节的运动。5.2选择PLC在选择功能和容量满足要求的PLC时，首先应估计所需的PLC规模大小。5.2.1PLC规模的估算为完成预定的控制任务所需要的PLC规模，主要取决于机械手对输入输出点的需求量和控制过程的难以程度，估算PLC的各种类型的输入、输出点数，并据此估算出机械手控制的存储容量，是本系统设计中的重要环节。1）输入、输出点的估算。为了能准确地统计出被控机械手对输入、输出点的总需求量，可以把被控机械手的信号源一一列出（如图5.1所示），并认真分析输入、输出点的信号类型。考虑到在实际安装、调试和应用中，还可能会发现一些估算中未预见的因素，在估算的基础上再增加15%-20%的输入、输出点数，以备将来调整、扩充使用。所以在机械手的控制当中，对输出点数估算为25×（15%～20%），然后根据日本三菱公司FX2N系列产品中部分主机单元的规格，选定输出点数为32，对应的输入点数也为32。53\n图5.1信号源以及I/O地址号分配对照表2）存储容量的计算。微小型PLC的用户存储器是固定的，不能随意扩充选择。因此，选购PLC时，要保证存储容量够用。根据输入、输出的点数及其类型、控制的繁简程度加以粗略的估算如下：指令步数=（输入点数+输出点数）×（10-12）=640-768然后再增加15%-20%的备用量。所以指令步数大概为800条就足够了。5.2.2PLC的选择PLC产品的种类、型号繁多，他们的功能、价格、使用条件各不相同。选用时，除输入、输出点数外，一般要考虑以下几个方面的问题。1）PLC的功能。PLC的功能要与所完成的控制任务相适应，这是最基本的。如上一节所述，选用PLC能够满足机械手控制任务的要求，也能够顺利地组成合适的控制系统。对于机械手而言，只要分别对单个电机自动控制，属于简单的逻辑、顺序控制，因此只要选用具有逻辑运算、计数器、状态器等基本功能的微小型PLC就可以了。2）输入接口模块。PLC的输入直接与被控机械手的一些输出量相连。因此还要选好传感器，要使他们的工作电压和工作电流与传感器的输出相匹配，最好不经过转换就能直接相连。对于机械手的五个直流电机的工作电压为±12V，所以我们可以选择输入电压为DC24V的PLC。3）输出接口模块。输出接口模块的任务是将PLC内部输出信号变换成可以驱动机械手执行的控制信号。因此，除了考虑输出点数外，还应注意输出模块允许的工作电压、电流应大于负载的额定工作电压、电流值，而5个伺服电机功率均较小，PLC采用继电器输出满足功率要求。考虑机械手中的电动机起动冲击电流的影响，要留有足够的余量。53\n综合以上各种因素，在本设计中决定采用日本三菱公司生产的FX2N系列产品中的FX2N-64MR作为机械手的控制器。5.3可编程控制器（FX2N-64MR）结构功能介绍FX2N-64MR是日本三菱公司FX2N系列产品中功能较齐全的可编程程序控制器。它和其它编程产品一样，其实是一台工业控制用的微型计算机。PLC是有微处理器和存储器组成的控制装置，还有输入/输出接口电路，它将PLC内部电路与外部输入/输出设备隔离开来。PLC存储器中的程序是根据生产工艺要求并用梯形图或指令集或功能块语言编写的程序，由编程器输入的。和其它可编程产品一样，FX2N-64MR的CPU采用顺序逐条地扫描用户程序的运行方式，即如果一个输出线圈或逻辑线圈被接通或断开，该线圈的所有触点（包括它的常开和常闭触点）不会立即动作，必须等到扫描到该触点时才会动作。这种独特的运行方式——扫描技术使PLC的扫描用户程序的时间一般小于100ms，其过程如图5.2所示。图5.2PLC的扫描运行方式FX2N-64MR的输入电流为DC24V7mA(X010以后是DC24V5mA)。但是，为了可靠起见，使其ON时，需要用4.5mA(3.5mA)以上的电流，使其OFF时，需要用1.5mA(1.5mA)以下的电流。FX2N-64MR提供21个32位的内部高速计数器逻辑线圈C235～C255.但由于这21个内部高速计数器逻辑线圈的计数脉冲信号必须通过PLC的6个高速输入端X0～X5输入，因此，用户最多能用其中的6个。设有启动/复位的单相高速计数器C235～C239是我们在这个设计中将要同时用到的。5.4PLC的外部接线PLC的外部接线如附录1所示。5.5位置检测电路位置反馈信号是通过光电编码器而得到，每个伺服电机输出轴上都装有光电编码器，通过它实现光电脉冲转换及对电机的转角和转速进行检测。53\n光电编码器主要是由控制电路板，红外光电耦合器及遮光盘组成，红外光电耦合器为塑封双列直插式结构，固定于槽形框内，遮光盘固定在电机转轴上，遮光盘为6孔均匀圆周分布的金属盘。光电编码器的外型简图如图5.3：图5.3光电编码器简图光电编码器的原理如图5.4所示。图5.4光电编码器的原理图其中，R3用于调节发光二极管的工作电流，以确保光电耦合器件正常工作。当总线通电时，光电耦合器的发光二极管发出不可见红外线光，通过旋转的遮光盘的通孔而被光敏器件接收，光敏器件两端由截止变为导通，两端电压发生相应的变化，从A,B输出脉冲信号。光电编码器旋转一周产生6个相位差为360°的A,B两相6个脉冲。正，反向测速A,B两相脉冲波形如图5.5所示：图5.5光电编码器正、反向测速脉冲信号53\n5.6输入输出接口电路5.6.1输入接口电路从A,B输出的脉冲信号为电平信号，不能直接连接到PLC的输入端。还要经过转换电路将电平信号转换为开关信号，在送入PLC输入端。图5.7中的IC就是为此而设计的计数接口电路。IC是一个异或门，将两路脉冲信号合成一路信号。其中：电容C=100µFR3=300R2=R1=10R4=20op1、op2为光电耦合器IC为异或门T1为开关型三极管图5.7输入接口电路图FX2N-64MR型PLC有高速1相单向输入计数器，本设计用到的高速计数器为C235～C239,相应的计数输入端为X0—X4,电机每转一圈，计数输入端接收高电平12次，计数器相应计数12次。当计数端接收信号次数与PLC内部程序指定的数值等同时，PLC通过程序切断电机电源，电机停转，从而实现了PLC对电机的控制，即对机械手的控制。5.6.2PLC输出接口电路直流电机具有良好的调速性能，要改变直流电机的转速，只要改变施加在直流电机电枢两段的电压值就可以达到目的，要改变转向，只要改变施加在直流电机电枢两端的电压的极性就可以实现。本文所设计的机械手的运动控制可分解为对5个直流电机的控制，为了实现机械手在约束条件下的任意运动，需要分别对5个电机施加不同的控制。用FX2N-64MR型PLC作为机械手的控制器，完全满足对机械手控制的需要。要实现直流电机的正反转，驱动电路可以采用图5.853\n所示的桥式电路，直接将PLC输出触点用在伺服电机的桥式直流驱动电路中，PLC输出触点存在公共地，要注意接入位置。PLC输出点共分4组，每一组有一个独立的公共地端。注：M1、M2、M3、M4、M5、均为24V直流电机，本文设计采用DC12V电压图5.8PLC输出控制当选择PLC的4个触点作为直流电机的驱动桥路正反的切换开关时，上桥臂触点和下桥臂触点必须位于不同的公共地，如附录1所示。图5.8中，Y0、Y1、Y2、Y3具有公共地COM1,Y4、Y5、Y6、Y7具有公共地COM2。COM1接驱动电源正极，COM2接驱动电源负极。当PLC程序使Y0、Y5及Y2、Y7接通时，电机M1、M2正转；当PLC程序使Y1、Y4及Y3、Y6接通时，电机M1、M2反转。可见，通过设计简单的PLC程序就可以实现电机的正反转。考虑到实际应用中，机械手的三个运动部件有运动范围限制，腰回转不能超过一周，上臂、前臂摆动角度不能过大，以免出现后仰，限位控制电路是针对此而设计的。这三个运动部件上安装了行程开关，当部件运动到达限定位置，行程开关动作，KM动作使电机一端的KM常闭断开，电机断电，电机停止转动。53\n5.7控制软件的设计利用PLC对机械手进行控制，需要将手爪的运动控制转化为对机械手的直流电机的控制。为了使手爪准确到达所要求的位置，需要准确计算出每个电机所应转的角度，既根据手爪的运动空间的初始位置和目标位置计算出空间坐标系中的相对运动量，并将其转换成PLC控制的内部指令。在这里给定机械手连杆的一个空间位姿：AP=[201,138,307]T对应的：α=15°,β=30°,γ=65°通过反向运动学求出反解运动所需的逆解，然后通过同组同学的轨迹规划得到最优的一组解为：θ1=34.472°；θ2=39.447°；θ3=78.491°；θ4=-95.857°；θ5=-47.598°。根据相应的轴分辨率，计算出对应的编码器所要检测的脉冲数：K1=34.472/0.14≈246.23=246K2=39.447/0.11≈358.61=359K3=78.491/0.11≈731.55=732K4=-95.857/0.11≈871.43=871K5=-47.598/0.24≈192.33=192将各编码器所要检测的脉冲数写入PLC的数据寄存器,对应的高速计数器从PLC中的数据寄存器读取相应的脉冲数。当电机转动时，计数器开始计数，当计数到脉冲数时，PLC输出控制信号使电机停止转动。通过各个电机的协调运动，最终使终端执行端转到给定的位置。同理，各个关节向相反的方向转动相应的角度就可回到起始的位置。整个运行过程如图5.9所示。各关节运动如图2.1—2.4所示。电机2，3，4控制的关节始终在同一平面内转动，而电机1所控制的关节始终在关节2，3，4，所处的垂直平面内转动，电机5控制手腕的转动。53\n本设计中的程序是PLC通过的内部计数器来对电机进行控制。当电机转动时，光电编码器输出与电机转速成一定比例的脉冲频率。PLC内部通过计数器的计数频率小于10HZ，输入脉冲信号的频率远远大于这一频率，因而必须使用PLC内部高速计数器。图5.9工作流程图PLC高速计数器的输入端是固定的，高速计数器采用中断处理方式的计数方式，与PLC的内部频率无关。采用的高速计数器是C235、C236、C237、C238、C239,对应的计数器的输入端是X0、X1、X2、X3、X4。因为各个计数器的计数输入固定，所以输入端口被占用后，另外的计数就不能使用。所以无论电机正转，还是反转都采用同一个计数器，这就产生了一个问题，即每一次计数前，计数都要清零，这就会影响到前一个过程已经计数过的计数器的输出动作。于是在设计过程中采用了一个辅助继电器来控制输出，这样就不会影响到前一个流程已经有输出的计数器。计数器的输入为X0—X4，高速计数器自动读取相应输入端的数值，在程序里面不需要对其编程，只需要对计数器设定一个计数初值启动。5.8梯形图及指令语句要实现如图5.9所示的顺序控制，用梯形图编程是一种简单的方式，而相应的程序清单也可由梯形图自动转换得到。梯形图、程序清单分别如附录2、附录3所示。53\n结论与展望本文是以一个五自由度机械手为研究对象，从分析其结构组成、机构特点作为出发点，认真分析了机器人的工作原理、连杆坐标系间的矩阵变换、机器人运动学、运动方程的建立以及反解运动的求解。在此基础上采用可编程控制器对机械手进行顺序控制。本文完成了以下几个方面的工作：（1）、回顾了机器人的起源、定义以及其发展历史，叙述了当前国内外机器人的发展现状和趋势。（2）、分析了所控制机械手各个部分的结构特点，列出了机械手的基本参数。（3）、分析了连杆坐标系间的矩阵变换、运动学方程以及逆运动学求解。（4）、控制部分采用可编程控制器（PLC）,画出了机械手顺序控制梯形图，从而由梯形图转化得到指令语句。本文是以原示教机器人为基础进行研究分析的，通过查阅资料，分析机械手的各元件，设计输入输出接口电路，编制PLC程序控制机械手各关节按照程序编制顺序运动，设计达到预期的效果，完成了本次设计的目的和任务。但由于机械手本身裸体式的结构，表面氧化比较严重，然后加上润滑不够、设备老化，所以在精确定位上存在一定的误差。而且由于时间有限，在某些方面可能没有涉及或者分析的不够深入，有一些地方还是可以进行改进和调整的。53\n参考文献[1]刘极峰，易际明，等.机器人技术基础[M].北京：高等教育出版社，2006年5月[2]熊有伦，等.机器人技术基础[M]武汉：华中科技大学出版社，1996年[3]马光，申桂英，等.工业机器人的现状及发展趋势[J].南京化工大学学报，2003（3）[4]朱力.目前各国机器人发展情况[J].中国青年科技,2003(11)[5]张效祖.工业机器人的现状与发展趋势[J].世界制造技术与装备市场，2004(5)[6]钟肇新,范建东.可编程控制器原理及应用[M].广州：华南理工大学出版社2004年10月[7]张铁,谢存禧.机器人学[M].广州:华南理工大学出版社,2001.[8]余达太,马香峰.工业机器人应用工程[M].北京:冶金工业出版社,2001.[9]郝海青.串联关节式机械手的控制系统分析与设计.万方数据库硕博士论文，2002年[10]张建民.机电一体化系统设计[M].北京：高等教育出版社，2001年[11]朱力．目前各国机器人发展情况[J]．中国青年科技，2003(11)：38—39．[12]杜志俊．工业机器人的应用及发展趋势[J]．机械工程师，2002(5)：8～1O．[13]杜志俊．工业机器人的应用将越来越广泛[J]．机电目际市场，20o2(1)：20—22．[14]吴宗泽.机械设计师手册上册.机械工业出版社，2002[15]吴宗泽.机械设计师手册下册.机械工业出版社，2002[16]王宗荣.工程图学.机械工业出版社，2001[17]陈锦昌,刘就女,刘林.计算机工程制图[M].广州:华南理工大学出版社,1999[18]周伯英.工业机器人设计[M].北京:机械工业出版社,1995.53\n致谢本论文是在毛美姣、谭志飞老师的亲切关怀和精心指导下完成的。他们从课题的确定到研究方法的选择都给了我悉心的指导。他们两位老师严于律己，宽厚待人的处世态度，以及踏实勤恳的工作精神都给我留下了深刻的印象，所有的这一切将和我在大学所学一起带出湘潭大学，也必将成为我终生受益的一笔宝贵财富。大学期间，感谢所有的老师和教学工作者，是他们教给我们大量的基础知识和专业知识，为我们这次的毕业设计打下了良好的基础，他们严谨治学的态度和渊博的知识以及诲人不倦的教学态度，深深影响了我的大学生涯，也将影响我的一生。衷心的地感谢他们！在这里还要感谢的是同在一个实验室做设计的陈辉煌同学和戴牡林，甘仕斌同学。我们能够在大学最后这段时间能够互相帮助，积极讨论在设计遇到的各种难题；不但在知识上得到互补，更是通过毕业设计建立了更深厚的友谊。回想大学四年，无数美好的回忆历历在目，而在即将离开湘潭大学的时候，还能拥有这么一段具有特别意义的经历，实感欣慰。同时也为得到这么多老师的帮助和朋友们的关心而感动，为大学期间的这份师生之情、同学之谊而激动，除此之外，也为能通过自身的努力做好这次毕业设计而倍感荣耀。在这里容许我再一次衷心感谢所有曾经关心我，帮助我的师长，同学和朋友们，你们使我在湘潭大学的学习生涯更加美好，精彩难忘。谢谢！真的谢谢你们！最后，我要深深感谢我的家人及亲戚，感谢他们多年来所给予我的无私的关爱和支持。2007年6月周六军于湘大工科楼53\n附录1：系统控制框图53\n附录2：顺序控制梯形图53\n53\n53\n53\n附录3：指令语句53\n53\n国际性刊物.关于鲁棒非线性控制Int.J.鲁棒非线性控制2000;10:875-888视觉跟踪问题:向鲁棒非线性控制挑战艾伦泰勒保蒙美国亚特兰大GA30082号格鲁吉亚工学院电子和计算机研究部门53\n视觉跟踪问题:向鲁棒非线性控制挑战摘要：视觉跟踪是在控制活动图象中关键性问题之一。因为模型中存在不可靠性和噪音信号、使它变成鲁棒控制中一挑战性问题。在此论文中、我们将概略一些涉及的关键问题和一些可能的解答方案，我们想需要联系机器视觉和多刻度图像处理技术来实现这个工作任务。特别地，我们会概略一些必需的方法例如：计算机视觉和图像处理包含光学流程图在内、活动的轮廓（横向振荡），和几何学上的被驱动流程。该论文如此也便会有指导意义。版权©2000约翰怀利和几个有限公司关键字：目视跟踪鲁棒控制视觉运动活动轮廓光学流程通用换算图像处理1.引言在这论文里、我们考虑那些被控制的跟踪眼运动活动图象问题。这个问题的解决方案需综合控制理论、信号处理和计算机视觉等技术。我们想表明有可能由利用能适应的鲁棒控制与信号处理通用换算方法以及计算机视觉形状识别理论协同一起来处理此问题，跟踪是一基点控制问题即我们需要的输出的遵循或跟踪基准信号，或相当于我们想使那跟踪误差相对于一些定义明确的标准（说能量、能力、峰值、等等.)尽可能小的。即使镜头推进存在的一些干扰是一典型控制问题、这个手头上的问题是很难和挑战性，因为有非常不确定的自然干扰性。一个可以认为眼球运动跟踪问题是在一人机连接的环境之下。特别地，我们将推断计算机用户视觉运动，哪个动作是用户打算完成的。例如：在电脑荧屏上打开一个文件夹、展开一下拉菜单项等等。这类电脑跟踪系统将作为包含我们的视觉跟踪方法学一个具体的实例。重要强调是已经有相当多在测量视觉运动方面的研究已经在被控制的实验室环境下完成、何况研究上已经在应用中用到此知识。从此我们将考虑接下来在大范围中跟踪问题的适应性，包括机器人、远距操纵的车辆，并且飞行员带瞄准器的飞行帽当前也正在发展中。后者是系统的结合钢盔支柱头和视觉跟踪能力以分辩隶属的正确的视线。显而易见，正当的开发跟踪观察者眼睛的人类视觉系统的那动态特性将导致大大幅度削减传输中所需要的信息。关于视觉跟踪和眼运动（与大量的信息一样）的讨论多半被发现在参考[1-4]中.我们应该明白视觉跟踪问题不同于标准追踪问题，因为反馈信号是用图像感应器测量的。尤其是，它必须在经由计算机视觉运算法提取而且在被用于控制回之前被一个推论运算法解释。反应速度是关键性因素。因为明显的理由、一视觉跟踪系统应该是尽可能的非侵入的。眼球运动通过由灰度或红外线照相机或由一系列感应器得到的获取图象来完成跟踪的.53\n该图像是经过解析来求出眼睛和头部的相对运动的。该低能级数据获取和识别的完成是经由一通用换算技术得到的。此技术提供许多优越性。第一，它使得信号处理的查找和医学上的图象获取过程明朗化、它导致实时信号捕获和了解程序快速化。识别将利用一通用换算方法和一新的计算理论形式来完成。因此、从该视频信息交换窗的控制点出发、我们有一跟踪问题在非常不可预测的干扰哪个我们想使其衰减的。注意到该不可靠应归于传感器噪音（典型的）、该算法的构成如上所述（不可测性求出起重要作用、各种各样的假设的可能性、等等.)，和模型不定性。我们应该注意到论文将拥有指导气息。实际上，我们的一个关键目的是引进从活动图象到该鲁棒控制共同体的一些核心概念。我们坚信共同体便会从研究彼此方法和问题得益。尤其是、因为视觉跟踪和该眼球运动跟踪的特有的课题、该鲁棒控制在明确地处理不可靠性的技术我们将要在接下来做相应的讨论。2.视觉跟踪视觉跟踪存在许多论文，通过利用视力在货车交货、特别是在机器人共同体（看例如、涉及[1,2,5-9]，和那参考在那里面的.)代表性地、该问题定位在本研究中是通过利用视觉跟踪服务机械手（或一等值的难题）。该动机于使用视力在这一体制中是非常清晰的，那就是说，该综合计算机视觉和控制可以是用到改善测量，因为改善图像处理技术和硬件中、机器人技术到达指向就是要视觉信息可以变成不可分割那部分反馈信号。因为问题带有少量不定性、单纯的PID控制器已经使用，并且越来越用于嘈杂的系统、能适应的方案以及随机建立的已经使用的线性二次高斯控制器。许多控制原理图已经建议使用视觉信息来控制回路。这已经绵亘传感零件到表征多级控制结构应用范围而言、傅里叶描述符，和局部图像分析法；看参考[9-11]，和那里面的参考。以光学的流程为基础的有好的方法已经被当作机械手的计算一个主要成份使用驱动信号（阅读详细的，请参考[7,8]，和我们以下的论述）。的确，因为在一个图像中的一个物体由光亮式样组成,如同物体搬进空间一样光亮也是式样。光学的流程然后是光亮的明显运动式样;参考[12]。在标准的假定之下,被提供的一个静态的目标和一台感人的照相机(或相等地,一个静态的物体和一台感人的照相机),一个可以在快速时写下象平面上对象凸出点的时差。若干方法已经讨论适合于计算此速度。此知识也将能用来跟踪图像。让我们考虑追踪一个计算机荧屏上的目标具体问题。然后我们有唯一的一二维的跟踪目标点，我们为简单起见假定那目标周旋于原子能飞机垂直于光轴照相机，如果那照相机移动然后带有翻译速度的移动和旋转速度盎司（就那照相机设计）而言、可能形成二维的跟踪问题如同下述适合于一个目标。让电压互感器标志目标的投影在象平面区域，T53\n然后在视觉上跟踪保持稳定的电压互感器达到查找照相机翻译Ｑ和转动盎司（就那照相机设计）。有类似的描述适合于跟踪的零件。现在由此机构，就可以写下运动的照相机光流产生的Z形线时差，而其控制变量是由包括照相机的跟踪运动在内的流程所给定的。那可执行代码程序带表格可能在参考[13、7]查到，并且无须涉及我们现在所讨论的课题.重点是产生的系统可能被写入标准状态的空白表格之后离散化(同那定时在...之间二相邻帧)之后接纳那表格。x(n+1)=x(n)+T(n)=Td(n)+v(n)z(n)=x(n)+w(n)这里,d是外界产生的干扰,v是‘噪音'，称做适合于模型不定性，z是是那量度与噪声分量w一起。(所有的矢量都包含在。.状态向量由x，y和摇晃因素形成的跟踪误差构成的)。有许多重要的控制问题与这样的设备有关系、当然，一个人量度延迟（我们想工作实时）和抽样时间选择的问题。但是我们感觉有许多深刻地和很多难题，必须被编址合理可选择的控制策略成功之前。换句话说,一般说来不定性（vandw）是塑造成均匀频谱噪声。这模型是保守的，没有加入使用帐户任何可能噪声环境的结构。现代鲁棒控制一个关键贡献考虑了的结构不定性（参考[14]和以及里面其他内容）。在我们现在的情形中，我们倡导深刻的研究有关不定性方面的问题。这将导致信号处理的关键元素，尤其是，新的强大的计算机通用换算方法.计算机视觉形状识别理论以汉密尔顿-雅各比理论为基准将会起到一个关键角色。以下我们将讨论此话题，尤其是讨论更多明确地处理那眼球运动信息并在反馈电路使用它的方法。3、眼睛运动信息当许多研究已经完成眼睛运动测量的时候，少量研究已经在应用中采用这些知识。一些侵入的视觉跟踪技术测量角膜和视网膜电势差而其他的人正在使用fit精密地轨道飞行器角膜的隐形眼镜。非侵入的技术识别零件位于眼睛的图像上，比如虹膜或瞳孔或那角膜的界限条件反射的眼睛敏感的光线，并且从此零件推论出运动的眼睛，所以此零件的运动还可以应归于头部的运动，重要的是跟踪若干零件并求出此零件差速运动。例如：、电学上近红外眼睛跟踪系统使用角膜表面反射的光的相对运动而且反射视网膜跟随用户的目光。关于眼睛跟踪技术的好的调查报告参考[3,15].也可以参考手册[16]。大部分从事利用眼球运动知识已经集中于联络残疾人使用者，例如，参考[17,18]。其他的研究强调应用于类似于我们在考虑包含[19-23]中的。这开创性研究尝试通过利用眼球运动在人机通信并且证明理论的可能性.他们也确定这些趋近于人机通信的实用真实问题和缺陷，其必须解决以便使其实用逼真以至可以对抗和补充其他的人机连接工具比如鼠标、钢笔和图形输入卡、驾驶杆以及键盘。53\n趋近于人机通信的视觉跟踪幕后的理论基础是目标被一受支配的似人的结构发现。如果是这样，在视网膜成像的小的区域称作小凹。因此使用者的眼睛位置提供有关他集中于屏蔽的区域的信息。该信息是精确到内部小凹角宽度的（大约一度）。此精度已经被认为是适宜于上述研究中的人机通信（好的精确度可能需要眼肌的研究，但是我们这里不讨论.)生物学研究者指出大量普遍的眼睛运动分成二类∶扫视与定位。（参考[3,24,4]与该参考中一些扫视与定影的论述以及他们和生物学幻像的关系。这些研究同时包含大规模视觉跟踪的一些基本问题.)扫视是突然运动视觉从场景中的一个感兴趣区到另一个。扫视通常伴随间隔为200到600毫秒的定影，该视觉仍然完成包括小于一度的小的神经过敏运动。其他的形式的眼睛运动可能在人机通信期中可能被忽略。建立人机通信的视觉跟踪的基本问题是确定定影周期（亦即，用户感觉他在视觉上已经定位在一目标上的时间），然后在肌肉神经过敏视觉运动定位在目标上。注意人类忽视这定影期间的神经过敏视觉运动，那就是说我们注视一个目标我们以为我们是早看现场的单个斑点。也要注意到纯理论的过滤器接近于除去该眼睛神经过敏不是令人满意地，既它也可能减缓正确位置扫视的响应时间。4.数据获得有二基本对数据获得的方法:与那一个类似的活跃方式藉着追踪系统和图像技术的无源现在眼睛用。在有效的方法中，一种无害近红外线灯用来照明用户的脸。两个来自眼睛的反射波被求得。是前者反射信号起因于角膜表面被称作反射。后者反射发生来自视网膜被称作明亮视觉成分。为最小化背景辐射效果，目前的系统一般需要暗淡的光。本文中，我们将钻研无源的方法。5.追踪及光学流程一旦我们想要跟踪与对象相当的信息已经确定，我们使用一个光学流程估计各零件从两个连续图象，只包含那个零件。该图象是当时和以前的.被全部删除唯一的在研究中的轮廓成像中得到的。这产生运动判断问题比用纯理论的强度成像的传统的流程判断适应度好了很多。该光学流程的计算机应用已经被用于解决活动幻像中出现的问题的一个重要的工具。该光流域是一序列的成像的明亮图像的视在运动的速度矢量场[41]。假定该明亮图像是相对运动的结果，足够大的空间来寄存图像上光亮度在空间分配方面的改变。因此，一个目标和一架相机的相对运动能够引起光学流程。同样地，一工人静电照相机成像的场景中目标的相对运动可以引起光学流程。在我们光学流程的计算机应用上，我们使用通用化粘性溶液的汉密尔顿-雅各比样式方程式，此技术似乎理论上适于这种变化，欧拉拉格朗日接近于此问题（参见[41-43]53\n里面相关的内容）。利用这种通用的方法，我们已能处理那些在光学流程区域出现的若干相异的变分公式的奇异性和规律性问题。这类方法论已经被用于描影法造型问题[44,45]，和边缘检测[46]。⒍分割和数据分析从一数据列提取是有干扰的视觉轨迹，然后问题变为数据断片进入扫视和定位间隙和测定预定注视点。一个非常接近的通用换算也被用于这些步骤中。该定位判断问题由于若干干扰来源而变得复杂。特别地，眼光闪烁及其他人为现象可能没有终止地发生在定位过程中。在这些人为现象有的能够持久200毫秒，数据可能丢失。为更好的目标定位和分裂眼睛运动跟踪，可以使用点连续／离散最大概似法接近于细化开始和结束间歇以及定点的测定可能值。该方式是结点连续／非连续的测定问题因为注视点能够取连续的值，然而分割成'定位'和'非定位'间隔是一个二元问题。它是建立在视觉活动定位和持续的统计学上的模型，它是建立在最理想的贝叶斯定理概念上的。它用一个预测步骤来填充在扫视过程中丢失的数据。该推算步骤以假设视觉或者在定位方式或者在扫视方式为基准提出两个推定量。该假设任何一个取舍是在监视若干读取信息后计算各可能性之后取舍的。延迟关联文件这过程限于大约毫秒，这个过程将不会为用户所注意到。如上所述还可以容易地贝叶斯统计放到递减率蛇形线来处理抽取的轮廓；参考[50]。因此建立边缘检测算法的通用换算几何学上的横向振荡很自然地变成其贝叶斯定理的框架。注意我们不需要发送有关扫视运动的相关信息。当注视点改变时，我们唯一的提供有关跟踪程序初始的和最后的定点的信息。然而，加快人机通信过程，我们使用扫视运动去推算下一个定点将会在哪。扫视运动可以由一隐藏的马尔可夫模型描述参考[51]中相关内容。此外，马尔可夫模型可能用来综述在当前上内容可能的用户操作。在隐藏的马尔可夫模型描述的这扫视各状态关联到特别的运动形式阶段的随机模型。经结合用户意图的随机的描述是以呈现背景和扫视的隐藏的马尔可夫模型为基准的，我们可以导出一推算下一个注视点将在的位置的判断法则。⒎结论53\n在论文中，我们考虑用一通用方法论来研究眼光跟踪问题。我们应该注意因为信号和模型中的不定性，此类问题为在鲁棒控制方面的研究工作者提供了一个极其难得的机会。我们论述个综合鲁棒控制、计算机视觉，和信号处理通用换算的方法。最近、存在多种人员参加在研究幻像和控制。大部分研究到目前已经分支。当分支已经结束时很多基本控制算法已经用于混合的结果。利用视觉信息在反馈电路中能够提供珍贵的新的研究来源，它有潜力推动控制研究的一个新的领域。在本问中论述的视觉跟踪问题可以作为一范例适合于活动图象控制的整个范围。的确，该问题向鲁棒控制系统开启了一次有力的挑战。感谢我们要感谢明尼苏达大学的加里.巴拉教授和安培.特费科教授，他们提供了许多非常有用的关于视觉跟踪的交谈。该研究在某种程度上得到以下各单位的授权和支持：国家科学基金会电子计算机系统-，国家科学基金会局部信息处理系统，自动跟踪科学研究空军办公室／F49620-98-1-0168、军队DAAG55-98-1-0169研究室。53\nINTERNATIONALJOURNALOFROBUSTANDNONLINEARCONTROLInt.J.RobustNonlinearControl2000;10:875-888Ontheeyetrackingproblem:achallengeforrobustcontrolAllenTannenbaumDepartmentofElectricalandComputerEngineering,GeorgiaInstituteofTechnology,Attanta,GA30082,U.S.A.53\nSUMMARY：Eyetrackingisoneofthekeyproblemsincontrolledactivevision.Becauseofmodelinguncertaintyandnoiseinthesignals,itbecomesachallengingproblemforrobustcontrol.Inthispaper,weoutlinesomeofthekeyissuesinvolvedaswellassomepossiblesolutions.Wewillneedtomakecontactwithtechniquesfrommachinevisionandmulti-scaleimageprocessingincarryingoutthistask.Inparticular,wewillsketchsomeofthenecessarymethodsfromcomputervisionandimageprocessingincludingopticalflow,activecontours(‘snakes'),andgeometricdrivenflows.Thepaperwillthushaveatutorialflavoraswell.Copyright@2000JohnWiley&Sons,Ltd.KEYWORDS:visualtracking;robustcontrol;eyemovements;activecontours;opticalflow;multiscaleimageprocessing1.INTRODUCTIONInthispaper,weconsiderthecontrolledactivevisionproblemoftrackingeyemovements.Thesolutionofthisproblemrequirestheintegrationoftechniquesfromcontroltheory,signalprocessingandcomputervision.Wewillshowthatitispossibletotreatthisproblembyusingadaptiveandrobustcontrolinconjunctionwithmultiscalemethodsfromsignalprocessing,andshaperecognitiontheoryfromcomputervision.Trackingisabasiccontrolprobleminwhichwewanttheoutputtofollowortrackareferencesignal,orequivalentlywewanttomakethetrackingerrorassmallaspossiblerelativetosomewell-definedcriterion(sayenergy,power,peakvalue,etc.).Eventhoughtrackinginthepresenceofadisturbanceisaclassicalcontrolissue,theproblemathandisverydifficultandchallengingbecauseofthehighlyuncertainnatureofthedisturbance.Onecanconsidertheeyemovementtrackingprobleminthecontextofaman-computerinterface.Inparticular,wewouldliketoinferfromthemovementoftheeyesofacomputeruser,whichactionstheuserintendstoaccomplish,e.g.,openingafolderonacomputerscreen,expandingapull-downmenuitem,etc.Thistypeofcomputertrackingsystemshouldserveasaconcreteillustrationofwhatisinvolvedinoureyetrackingmethodology.Itisimportanttoemphasizethatwhileconsiderableresearchhasbeenperformedintheareaofmeasuringeyemovementsinacontrolledlaboratoryenvironment,muchlessresearchhasbeendoneonusingthisinformationinapplications.Hencethetechniqueswhichwewilldiscussbelowshouldhaveawiderangeofapplicabilityinanumberoftrackingproblemsincludingthoseinrobotics,remotelycontrolledvehicles,andpilottrackinghelmetscurrentlybeingdeveloped.Thelatteraresystemscombininghelmetmountedheadandeyetrackcapabilitytodefineasubject'struelineofsight.Clearly,theproperexploitationofthedynamiccharacteristicsofthehumanvisualsystembytrackingthepositionoftheviewer'seyesleadstodrasticreductionintheamountofinformationthatneedstobetransmitted.Discussionsofvisualtrackingandeyemovements(togetherwithanextensivelistofreferences)maybefoundinReferences[1-4].Weshouldnotethattheproblemofvisualtrackingdiffersfromstandardtrackingproblemsinthatthefeedbacksignalismeasuredusingimagingsensors.53\nInparticular,ithastobeextractedviacomputervisionalgorithmsandinterpretedbyareasoningalgorithmbeforebeingusedinthecontrolloop.Furthermore,theresponsespeedisacriticalaspect.Forobviousreasons,aneyetrackingsystemshouldbeasnon-invasiveaspossible.Theeyemovementistrackedbystudyingimagesacquiredbygreyscaleorinfra-redcamerasorbyanarrayofsensors.Theimagesareanalyzedtoextracttherelativemotionsoftheeyesandthehead.Thelow-leveldataacquisitionandrecognitionisaccomplishedviaamultiscaletechnique.Thistechniqueoffersanumberofadvantages.First,asisbecomingclearfromresearchinsignalprocessingandmedicalimageacquisitionprocedures,itleadstofastrealtimesignalacquisitionandunderstandingprocedures.Recognitionwillbeaccomplishedusingamultiscaleapproachandanewcomputationaltheoryofshape.Consequently,fromthecontrolpointofview,wehaveatrackingprobleminthepresenceofahighlyuncertaindisturbancewhichwewanttoattenuate.Notethattheuncertaintyisduetothesensornoise(classical),thealgorithmiccomponentdescribedabove(uncertaintyinextractedfeatures,likelihoodofvarioushypotheses,etc.),andmodelinguncertainty.Weshouldnotethatthispaperwillhaveatutorialflavor.Indeed,oneofourkeymotivationsistointroducesomekeyconceptsfromactivevisiontotherobustcontrolcommunity.Westronglybelievethatbothcommunitieswillderivemuchbenefitbystudyingeachother'smethodsandproblems.Inparticular,forvisualtrackingandforthespecificproblemofeyemovementtracking,thetechniquesofrobustcontrolwhichexplicitlytreatuncertaintycanberelevantaswewillarguebelow.2.VISUALTRACKINGTherehavebeenanumberofpapersontheuseofvisionintracking,especiallyintheroboticscommunity.(Seee.g.,References[1,2,5-9],andthereferencestherein.)Typically,theissueaddressedinthisworkistheuseofvisionforservingsamanipulatorfortracking(oranequivalentproblem).Themotivationforusingvisioninsuchaframeworkisclear,thatis,thecombinationofcomputervisioncoupledwithcontrolcanbeemployedtoimprovethemeasurements.Indeed,becauseofimprovementsinimage-processingtechniquesandhardware,robotictechnologyisreachingthepointwherevisioninformationmaybecomeanintegralpartofthefeedbacksignal.Forproblemswithlittleuncertainty,simplePIDcontrollershavebeenused,andformorenoisysystems,adaptiveschemesaswellasstochasticbasedLQGcontrollershavebeenutilized.Anumberofcontrolschemeshavebeenproposedfortheutilizationofvisualinformationincontrolloops.Thesehaverangedfromtheuseofsensoryfeaturestocharacterizehierarchicalcontrolstructures,Fourierdescriptors,andimagesegmentation;seeReferences[9-11],andthereferencestherein.Apromisingapproachbasedonopticalflowhasbeenusedasakeyelementinthecalculationoftherobot'sdrivingsignals(seeinparticular,References[7,8],andourdiscussionbelow).Indeed,sinceanobjectinanimageismadeupofbrightnesspatterns,astheobjectmovesinspacesodothebrightnesspatterns.Theopticalflowisthentheapparentmotionofthebrightnesspatterns;seeReference[12].Understandard53\nassumptions,givenastatictargetandamovingcamera(orequivalently,astaticobjectandamovingcamera),onecanwritedownequationsforthevelocityofaprojectedpointoftheobjectontotheimageplane.Severalmethodshavebeendiscussedforthecomputationsofthisvelocity.Thisinformationcanthenbeusedtotracktheimage.Letusconsidertheconcreteproblemoftrackingtargetsonacomputerscreen.Thenwehaveonlyatwo-dimensionaltrackingquestion.Weassumeforsimplicitythattheobjectmovesinaplanewhichisperpendiculartotheopticalaxisofthecamera.Ifthecamerathenmoveswithtranslationvelocityandrotationalvelocityoz(withrespecttothecameraframe),onemayposethetwo-dimensionaltrackingproblemasfollowsforanobject[13].LetPtdenotetheareaontheimageplanewhichistheprojectionofthetarget.Thenvisuallytrackingthisfeatureamountstofindingthecameratranslationqandrotationoz(withrespecttothecameraframe)whichkeepsPtstationary.Therearesimilarcharacterizationsforthetrackingoffeatures.Nowfromthisset-up,onecanwritedownlinearzedequationsoftheopticalflowgeneratedbythemotionofthecamerawherethecontrolvariablesaregivenbythosecomponentsoftheopticalflowinducedbythecamera'strackingmotion.TheexactformmaybefoundinReferences[13,7],andneednotconcernusnow.Thepointisthattheresultingsystemmaybewritteninstandardstatespaceformandafterdiscretization(with¹thetimebetweentwoconsecutiveframes)takesontheformx(n+1)=x(n)+T(n)=Td(n)+v(n)z(n)=x(n)+w(n)whereisthereference,distheexogenousdisturbance,visa&noise'termforthemodeluncertainty,zisthemeasurementtogetherwithnoisecomponentw.(Allthevectorsarein.Thecomponentsofthestatevectoraremadeupofthex,y,androllcomponentofthetrackingerror.)Thereareanumberofimportantcontrolissuesrelatedtosuchaset-up.Ofcourse,onehastheproblemofmeasurementdelays(wewanttoworkinrealtime)andchoiceofsamplingtime.Butwefeelthereisamuchdeeperandmoredifficultproblemwhichmustbeaddressedbeforeareasonablechoiceofcontrolstrategycanbemade.Namely,ingeneraltheuncertainty(vandw)ismodeledaswhitenoise.Thismodelisconservativeanddoesnotbringintoaccountanyofthepossiblestructureofnoiseenvironment.Oneofthekeycontributionsinmodernrobustcontrolhastheconsiderationofstructureinuncertainty(seeReference[14]andthereferencestherein).Inourcase,weareproposingamuchdeeperanalysisoftheuncertaintyconnectedtosuchproblems.Thisbringsthekeyelementofsignalprocessingandinparticular,thenewpowerfulmethodsofmultiscalecomputations.Shaperecognitiontheoryin53\ncomputervisionbasedonHamilton-Jacobintheorywillalsoplayakeyroleinthisprogramaswillbearguedbelow.Wewillinparticulardiscusswaysofmoreexplicitlyprocessingtheeyemovementinformationandemployingitinafeedbackloop.3.EYEMOVEMENTINFORMATIONWhilemanystudieshavebeenperformedonthemeasurementofeyemovements,littleresearchhasbeendoneonemployingthisinformationinapplications.Someoftheinvasiveeyetrackingtechniquesmeasurepotentialdifferencesbetweenthecorneaandretinawhileothersusecontactlensesthatfitpreciselyoverthecornea.Non-invasivetechniquesidentifyfeatureslocatedonanimageoftheeye,suchastheboundaryoftheirisorpupilorthecornealreflectionofalightshoneattheeye,andinferthemovementoftheeyefromthatofthesefeatures.Sincethemovementofthesefeaturescouldalsobeduetoamovementofthehead,itisimportanttotrackseveralfeaturesandextractthedifferentialmotionofthesefeatures.Forexample,activenear-infraredeyetrackingsystemsusetherelativemotionofthelightreflectedoffthecornealsurfaceandthatreflectedofftheretinatofollowtheuser'seye-gaze.Agoodsurveyofeye-trackingtechniquescanbefoundinReferences[3,15].Seealsothemanual[16].Muchoftheworkonusingeyemovementinformationhasfocusedoncommunicationswithhandicappedusers,e.g.,References[17,18].Otherworksthatemphasizedapplicationssimilartotheonethatweareconsideringinclude[19-23].Thesepioneeringresearcheffortsaddressedtheuseofeyemovementinman-computercommunicationsanddemonstratedthefeasibilityoftheprinciple.Theyalsoidentifiedtheproblemsandlimitationsofthisapproachtouser-computercommunicationsthatmustbesolvedinordertomakeitapracticalrealitythatcancompeteandcomplementotherman-machineinterfacetoolssuchasthemouse,penandtablet,joy-stickandkeyboard.Therationalebehindeyetrackingapproachestouser-machinecommunicationisthatanobjectisseenbyahumansubjectifitisimagedonasmallareaoftheretinacalledthefovea.Hence,auser'seyepositionprovidesinformationabouttheareaofthescreenthatheisfocusingon.Theinformationisofcourseaccuratetowithintheangularwidthofthefovea(aboutone-degree).Thisdegreeofaccuracyhasbeenfoundtobesatisfactoryforman-computerinteractionbypreviousresearchers.(Fineraccuracymaybeneededforthestudyoftheeyemusclesbutthisisnotourconcernhere.)Biologicalstudiesindicatethatthemostcommoneyemovementsfallintotwocategories:saccadeandfixation.(SeeReferences[3,24,4]andthereferencesthereinfordiscussionsofsaccadeandfixationandtheirrelationtobiologicalvision.Theseworksalsocontainextensiveresultsonthegeneralproblemofeyetracking.)Asaccadeisasuddenmovementoftheeyefromoneareaofinterestinthescenetoanother.Asaccadeisusuallyfollowedbyafixationintervalof200to600msduringwhichtheeyestillmakessmalljitterymovementscoveringlessthanonedegree.Othertypesofeyemovementsmaybeneglectedinman-machinecommunication.53\nThebasicproblemineye-trackingbaseduser-machinecommunicationthenisthatofidentifyingfixationperiods(i.e.periodsduringwhichtheuserfeelsthatheisvisuallyfixingatanobject),andlocatingtheobjectoffixationinthepresenceofthejitteryeyemotionsduetothemuscles.Notethathumansdoignorethesejitteryeyemotionsduringfixation,i.e.whenwefixanobjectweareundertheimpressionthatwearelookingatasinglespotinthescene.Notealsothatapurefilteringapproachtoeliminatetheeyejittersisnotsatisfactorysinceitwillalsoslowtheresponsetoatruesaccade.4.DATAACQUISITIONTherearetwobasicapproachestodataacquisition:anactiveapproachsimilartotheoneusedbycurrenteyetrackingsystemsandapassiveimagingtechnique.Intheactiveapproach,aharmlessnear-infraredlightisusedtoilluminatetheuser'sface.Tworeflectionsfromtheeyesarethenextracted.Thefirstreflectedsignalisduetothecornealsurfaceandiscalledtheglint.Thesecondreflectionoccursofftheretinaandiscalledthebrighteyecomponent.Tominimizetheeffectofbackgroundradiation,currentsystemstypicallyrequireadimlighting.Inthispaper,wewillconcentrateonthepassiveapproach.5.TRACKINGANDOPTICALFLOWOncethecontourscorrespondingtothevariousfeaturesthatwewishtotrackhavebeenidentified,weuseanopticalflowproceduretoestimatethemotionofeachfeaturefromtwoconsecutiveimagesthatcontainonlythatfeature.Theimagesareobtainedfromthecurrentandpreviouscontourimagesbydeletingallcontoursexceptfortheoneofinterest.Theresultingmotionestimationproblemismuchbetterconditionedthanthetraditionalopticalflowestimationfrompureintensityimages.Thecomputationofopticalflowhasprovedtobeanimportanttoolforproblemsarisinginactivevision.Theopticalflowfieldisthevelocityvectorfieldofapparentmotionofbrightnesspatternsinasequenceofimages[41].Oneassumesthatthemotionofthebrightnesspatternsistheresultofrelativemotion,largeenoughtoregisterachangeinthespatialdistributionofintensitiesontheimages.Thus,relativemotionbetweenanobjectandacameracangiverisetoopticalflow.Similarly,relativemotionamongobjectsinascenebeingimagedbyastaticcameracangiverisetoopticalflow.InourcomputationoftheopticalflowweuseworkongeneralizedviscositysolutionstoHamilton-Jacobintypeequations.Indeed,thesetechniquesseemideallysuitedforthevariationEuler-Lagrangeapproachestothisproblem(seealso[41-43]andthereferencestherein).Utilizingsuchgeneralizedsolutions,wehavebeenabletohandlethesingularitiesandregularityproblemsforseveraldistinctvariationformulationsoftheopticalflowthatoccurinthisarea.Thistypeofmethodologyhasalreadybeenappliedtotheshape-from-shadingproblem[44,45],andedgedetection[46].6.SEGMENTATIONANDDATAANALYSIS53\nGivenanoisyeyetrajectorywhichisextractedfromasequenceofdata,theproblemthenbecomesthatofsegmentingthedataintosaccadeandfixationintervalsandestimatingthemeanfixationpoint.Amultiscaleapproachisusedinthisstepaswell.Thefixationestimationproblemiscomplicatedbyseveralsourcesofdisturbance.Specifically,eyeblinksandotherartifactsmayoccurduringafixationwithoutterminatingit.Duringtheseartifactswhichcanlastupto200ms,datamaybeabsent.Tobetterlocalizetheobjectoffixationandsegmenttheeyemovementtrack,onecanuseajointcontinuous/discretemaximumlikelihoodapproachtorefinetheestimatesofthebeginningandendoffixationintervalsandofthelocationofthefixationpoint.Theapproachisajointcontinuous/discreteestimationproblembecausethefixationpointcantakecontinuousvalueswhereasthesegmentationinto‘fixation'and‘non-fixation'intervalsisabinaryproblem.ItisbasedonstatisticalmodelsoffixationeyeactivityanddurationandisoptimalinaBayesiansense.Itusesapredictionsteptofillinmissingdataduringblinks.Thepredictionstepproducestwoestimatesbasedonthehypothesesthattheeyeiseitherinafixationmodeorasaccademode.Thehypothesesareeitheracceptedorrejectedbycomputingthelikelihoodofeachafterobservingacertainnumberofreadingsinthefuture.Thedelayassociatedwiththeprocedureislimitedtoabout150ms,whichshouldnotbenoticeabletotheuser.OnecanalsonaturallyputBayesianstatisticsintothegradientsnakeapproachforcontourextractionasdescribedabove;seeReference[50].ThusthemultiscalegeometricsnakebasededgedetectionalgorithmfitsverynaturallyintosuchaBayesianframework.Notethatwedonotneedtosendinformationaboutsaccademovements.Whenthefixationpointchanges,weonlyprovideinformationabouttheinitialandfinalfixationpointstothetrackingroutine.However,tospeeduptheman-machinecommunicationprocess,weusethesaccademovementtopredictwherethenextfixationwillbe.SaccademovementscanbedescribedbyahiddenMarkovmodel.SeeReference[51]andthereferencestherein.Inaddition,aMarkovmodelmaybeusedtosummarizepossibleuseractionsinthecurrentcontext.EachstateinthehiddenMarkovmodeldescribingthesaccadeisassociatedtoastochasticmodelofaparticularstageandtypeofmotion.BycombiningtheprobabilisticdescriptionoftheuserintentbasedonthepresentcontextandthehiddenMarkovmodelofthesaccade,wemayderiveanestimationruleforpredictingwherethenextfixationwillbe.7.CONCLUSIONSInthispaper,weconsideredageneralmethodologyfortreatingeye-trackingproblems.Wenotedthatbecauseoftheuncertaintyinthemodelsandthesignals,thisclassofproblemspresentsauniqueopportunitytoresearchersinrobustcontrol.Wediscussedanapproachwhichcalledforacombinationofrobustcontrol,computervision,andmultiscalesignalprocessing.Recently,therehasbeenacross-fertilizationamongresearchersinvisionandcontrol.Muchofonresearchuntilnowhasbeenopenloop.Whentheloophasbeenclosedveryelementarycontrolalgorithmshavebeenappliedwhichhaveworkedwithmixedresults.Theuseofvisualinformationin53\nafeedbackloopcanprovidearichnewsourceofquestionswhichhasthepotentialofstimulatingwholenewareasofcontrolresearch.Theeye-trackingproblemoutlinedinthispapercanbetakenasaparadigmforawholerangeofissuesincontrolledactivevision.Indeed,theproblemposesapowerfulchallengetotherobustcontrolcommunity.ACKNOWLEDGMENTSWewouldliketothankProfessorsGaryBalasandAhmedTewfikoftheUniversityofMinnesotaforanumberofveryhelpfulconversationsaboutvisualtracking.ThisworkwassupportedinpartbygrantsfromtheNationalScienceFoundationECS-,NSF-LIS,bytheAirForceOfficeofScientificResearchAF/F49620-98-1-0168,bytheArmyResearchOfficeDAAG55-98-1-0169,andMURIGrant.53