计算机视觉概述.pptx

关于课程 许多会议论文集和许多学术期刊都反映了该领域的最新进展。许多会议论文集和许多学术期刊都反映了该领域的最新进展。比如：比如：Int.Conf.on Computer Vision and Pattern Recognition(CVPR);Int.Conf.on Computer Vision(ICCV);Int.Conf.on Pattern Recognition(ICPR);European Conf.on Computer Vision(ECCV);Asian Conf.on Computer Vision(ACCV);还有许多学术期刊也包含了这一领域的最新研究成果还有许多学术期刊也包含了这一领域的最新研究成果,如：如：IEEE Trans.on Pattern Analysis and Machine Intelligence(PAMI);Int.J on Computer Vision(IJCV);Image and Vision Computing;Pattern Recognition Letter;Pattern Recognition;IEEE Trans.on Image Processing.第1页/共49页计算机视觉发展简史计算机视觉发展简史计算机视觉研究内容计算机视觉研究内容计算机视觉应用状况计算机视觉应用状况计算机视觉发展讨论计算机视觉发展讨论计算机视觉相关学科计算机视觉相关学科计算机视觉研究进展计算机视觉研究进展计算机视觉面临困难计算机视觉面临困难第2页/共49页计算机视觉发展简史计算机视觉发展简史计算机视觉研究内容计算机视觉研究内容计算机视觉应用状况计算机视觉应用状况计算机视觉发展讨论计算机视觉发展讨论计算机视觉相关学科计算机视觉相关学科计算机视觉研究进展计算机视觉研究进展计算机视觉面临困难计算机视觉面临困难第3页/共49页视觉信息处理概略图形工程图形工程物体建摸、造型物体建摸、造型真实感图形显示真实感图形显示动画制作动画制作场景模拟场景模拟图形用户界面图形用户界面图图形形生生成成图象工程图象工程图象处理、效果增强图象处理、效果增强图象查询、分类图象查询、分类机器视觉机器视觉三维重构三维重构模模型型生生成成视觉信息处理视觉信息处理 =图象工程图象工程 +图形工程图形工程自然场景自然场景数字化场景数字化场景图形工程图形工程图象分割图象分割特征抽取特征抽取模型重构模型重构图形显示图形显示图象量化图象量化图象工程图象工程几何几何模型模型数字数字图象图象第4页/共49页计算机视觉研究 从从20202020世世纪纪50505050年年代代末末开开始始，计计算算机机开开始始被被作作为为实实现现人人类类智智能能和和人人类类感感知知的的工工具具，借借助助计计算算机机人人类类第第一一次次可可以以象象借借助助机机械械实实现现对对体体力力的的延延伸一样实现伸一样实现对脑力和感知能力的延伸对脑力和感知能力的延伸。对人类视觉感知能力的计算机模拟对人类视觉感知能力的计算机模拟导致计算机视觉的产生。导致计算机视觉的产生。具体地讲，计算机视觉要达到的基本目的有具体地讲，计算机视觉要达到的基本目的有3 3 3 3个：个：根据一幅或多幅二维图像计算出观测点到目标物体的根据一幅或多幅二维图像计算出观测点到目标物体的距离距离；根据一幅或多幅二维图像计算出观测点到目标物体的根据一幅或多幅二维图像计算出观测点到目标物体的运动参数运动参数；根据一幅或多幅二维图像计算出观测点到目标物体的根据一幅或多幅二维图像计算出观测点到目标物体的表面物理特性表面物理特性。计算机视觉计算机视觉要达到的最终目的可简单描述为：要达到的最终目的可简单描述为：实现对于三维景物世界的理解，即实现人的视觉系统的某些功能；实现对于三维景物世界的理解，即实现人的视觉系统的某些功能；或者从形式上讲，利用二维投影图像来重构或者从形式上讲，利用二维投影图像来重构三维物体的可视部分三维物体的可视部分。第5页/共49页计算机视觉发展简史 2020世纪世纪5050年代：用年代：用统计模式识别统计模式识别，集中在二维图像的分析和识别上，集中在二维图像的分析和识别上 如：如：光学字符识别、工件表面、显微图片和航空图片光学字符识别、工件表面、显微图片和航空图片光学字符识别、工件表面、显微图片和航空图片光学字符识别、工件表面、显微图片和航空图片的分析和解释等。的分析和解释等。2020世世纪纪6060年年代代：Roberts(1965)Roberts(1965)通通过过计计算算机机程程序序从从数数字字图图像像中中提提取取出出诸诸如如立立方方体体、稧稧状状体体、棱棱柱柱体体等等多多面面体体的的三三维维结结构构，并并对对物物体体形形状状及及物物体体的的空间关系进行描述。空间关系进行描述。RobertsRoberts的研究开创了以理解三维场景为目的的计算机视觉的研究的研究开创了以理解三维场景为目的的计算机视觉的研究的研究开创了以理解三维场景为目的的计算机视觉的研究的研究开创了以理解三维场景为目的的计算机视觉的研究。RobertsRoberts对对对对积积积积木木木木世世世世界界界界的的的的创创创创造造造造性性性性研研研研究究究究给给给给人人人人们们们们以以以以极极极极大大大大的的的的启启启启发发发发，许许许许多多多多人人人人相相相相信信信信：一一一一旦旦旦旦由由由由白白白白色色色色积积积积木木木木玩玩玩玩具具具具组组组组成成成成的的的的三三三三维维维维世世世世界界界界可可可可以以以以被被被被理理理理解解解解，则则则则可可可可以以以以推推推推广广广广到到到到理理理理解解解解更复杂的三维场景。更复杂的三维场景。更复杂的三维场景。更复杂的三维场景。对对对对积积积积木木木木世世世世界界界界的的的的研研研研究究究究范范范范围围围围从从从从边边边边缘缘缘缘、角角角角点点点点等等等等特特特特征征征征提提提提取取取取，到到到到线线线线条条条条、平平平平面面面面、曲曲曲曲面面面面等等等等几几几几何何何何要要要要素素素素分分分分析析析析，一一一一直直直直到到到到图图图图像像像像明明明明暗暗暗暗、纹纹纹纹理理理理、运运运运动动动动以以以以及及及及成成成成象象象象几几几几何何何何等等等等，并建立了各种数据结构和推理规则。并建立了各种数据结构和推理规则。并建立了各种数据结构和推理规则。并建立了各种数据结构和推理规则。2020世纪世纪7070年代，出现了一些视觉应用系统。年代，出现了一些视觉应用系统。第6页/共49页计算机视觉发展简史 7070年年代代中中期期，麻麻省省理理工工学学院院(MIT)(MIT)人人工工智智能能(AI)(AI)实实验验室室正正式式开开设设“机器视觉机器视觉”(Machine Vision)(Machine Vision)课程。课程。同同时时，MIT MIT AI AI 实实验验室室吸吸引引了了国国际际上上许许多多知知名名学学者者参参与与机机器器视视觉觉的的理理论、算法、系统设计的论、算法、系统设计的开放而轻松开放而轻松的研究。的研究。David David MarrMarr教教授授于于19731973年年应应邀邀在在MIT MIT AIAI实实验验室室领领导导一一个个博博士士生生为为主主体体的的研研究究小小组组，19771977年年提提出出了了不不同同于于“积积木木世世界界”分分析析方方法法的的计计算算机机视视觉觉(Computer(Computer Vision)Vision)理理论论，该该理理论论在在8080年年代代成成为为机机器器视视觉觉研研究究领领域域中中的的一一个个十十分分重重要要的的理理论论框框架架(Marr(Marr 1982)1982)视视觉觉计计算算理理论。论。从一份刊物的名称变化可以看到计算机视觉的学科进展：从一份刊物的名称变化可以看到计算机视觉的学科进展：19721972，CGIP(CGIP(计算机图形学与图像处理计算机图形学与图像处理)创刊；创刊；19831983年，改名为年，改名为CVGIP(CVGIP(计算机视觉、图形学与图像处理计算机视觉、图形学与图像处理)；19911991年年，分分成成两两个个版版本本，分分别别称称CVGIP-GMIP(CVGIP-GMIP(图图形形模模型型与与图图像像处处理理)和和CVGIP-IU(CVGIP-IU(图像理解图像理解)；19951995年年，转转成成两两个个期期刊刊，前前者者命命名名为为GMIP(GMIP(图图形形模模型型与与图图像像处处理理)，后者命名为，后者命名为CVIU(CVIU(计算机视觉与图像理解计算机视觉与图像理解)。第7页/共49页计算机视觉发展简史 对对计计算算机机视视觉觉的的全全球球性性研研究究热热潮潮是是从从2020世世纪纪8080年年代代开开始始的的，到到了了8080年年代代中中期期，计计算算机机视视觉觉获获得得了了蓬蓬勃勃发发展展，新新概概念念、新新方方法法、新新理理论论不不断断涌涌现现。到到目目前前为为止止，计计算算机视觉仍然是一个非常活跃的研究领域。机视觉仍然是一个非常活跃的研究领域。许多会议论文集和许多学术期刊都反映了该领域的最新进展。比如：许多会议论文集和许多学术期刊都反映了该领域的最新进展。比如：International International Conference Conference on on Computer Computer Vision Vision and and Pattern Pattern Recognition,CVPRRecognition,CVPR；International Conference on Computer Vision,ICPRInternational Conference on Computer Vision,ICPR；International Conference on Robotics and Automation,ICRAInternational Conference on Robotics and Automation,ICRA；Workshop on Computer Vision,WCVWorkshop on Computer Vision,WCV；其它许多其它许多IEEEIEEE和和SPIESPIE等的会议。等的会议。IEEE IEEE Transaction Transaction on on Pattern Pattern Analysis Analysis and and Machine Machine Intelligence Intelligence(PAMI);(PAMI);Computer Vision,Graphics,and Image Processing(CVGIP);Computer Vision,Graphics,and Image Processing(CVGIP);IEEE Transaction on Image Processing;IEEE Transaction on Image Processing;IEEE Transaction on System,Man,and Cybernetics(SMC);IEEE Transaction on System,Man,and Cybernetics(SMC);Machine Vision and Application;Machine Vision and Application;International Journal on Computer Vision(IJCV);International Journal on Computer Vision(IJCV);Image and Vision Computing;Image and Vision Computing;Pattern RecognitionPattern Recognition；Computer Vision and Image UnderstandingComputer Vision and Image Understanding。第8页/共49页计算机视觉发展简史计算机视觉发展简史计算机视觉研究内容计算机视觉研究内容计算机视觉应用状况计算机视觉应用状况计算机视觉发展讨论计算机视觉发展讨论计算机视觉相关学科计算机视觉相关学科计算机视觉研究进展计算机视觉研究进展计算机视觉面临困难计算机视觉面临困难第9页/共49页计算机视觉研究进展 从从6060年年代代初初至至今今，计计算算机机视视觉觉已已经经经经历历了了近近5050年年的的研研究究，取取得得了了一一系系列列的的研研究究成成果果，这这使使得得这这一一领领域域在在过过去去的的4040多年中成为多年中成为AIAI研究中最为活跃的一部分。研究中最为活跃的一部分。其主流研究分成三大阶段：其主流研究分成三大阶段：阶段阶段1 1：以模型世界为主要对象的视觉基本方法研究以模型世界为主要对象的视觉基本方法研究以模型世界为主要对象的视觉基本方法研究以模型世界为主要对象的视觉基本方法研究；阶段阶段2 2：以计算理论为核心的视觉模型研究以计算理论为核心的视觉模型研究以计算理论为核心的视觉模型研究以计算理论为核心的视觉模型研究；阶段阶段3 3：以应用为目标的计算机视觉方法以应用为目标的计算机视觉方法以应用为目标的计算机视觉方法以应用为目标的计算机视觉方法。第10页/共49页以模型世界为主要对象的视觉方法 这个阶段以这个阶段以Roberts Roberts 的开创性工作为标志的开创性工作为标志 三维重建三维重建 19651965年年，Roberts Roberts(Machine(Machine perception perception of of three-three-dimensional dimensional solids,1965)solids,1965)通通过过计计算算机机程程序序从从数数字字图图像像中中提提取取诸诸如如立立方方体体、稧稧状状体体、棱棱柱柱体体等等多多面面体体的的三三维维结结构构，并并对对物物体体形形状状及及物物体体的空间关系的空间关系进行描述。进行描述。在在RobertsRoberts的的工工作作中中引引入入了了三三维维物物体体与与二二维维成成像像的的关关系系，采采用用了了一一些些简单的边缘特征提取方法并引入了组合线段的方法。简单的边缘特征提取方法并引入了组合线段的方法。随随后后，人人们们对对积积木木世世界界进进行行了了深深入入的的研研究究，研研究究范范围围从从边边缘缘、角角点点等等特特征征提提取取，到到线线条条、平平面面、曲曲面面等等几几何何要要素素分分析析，到到图图像像明明暗暗、纹理、运动以及成象几何纹理、运动以及成象几何等，并建立了各种数据结构和推理规则。等，并建立了各种数据结构和推理规则。Guzman Guzman(Computer(Computer recognition recognition of of three three dimensional dimensional objects in a visual scene,1968)objects in a visual scene,1968)首先引入符合处理和启发式方法；首先引入符合处理和启发式方法；Huffman(Impossible Huffman(Impossible objects objects as as nonsense nonsense sentences,1971)sentences,1971)、Clowes Clowes(On(On Seeing Seeing Thing,1971)Thing,1971)和和 Waltz Waltz(Generating(Generating semantic semantic description description from from drawing drawing of of scenes scenes with with shadows,1972)shadows,1972)等等对对积积木木世世界界进进行行研研究究并并分分别别解解决决了了由由线线段段解解释释景景物物和和处理阴影等问题。处理阴影等问题。第11页/共49页 积积木木世世界界的的研研究究反反映映了了视视觉觉早早期期研研究究中中的的一一些些特特点点，即从简化的世界出发开始研究。即从简化的世界出发开始研究。这这些些工工作作对对视视觉觉的的发发展展起起了了促促进进作作用用，但但对对于于稍稍微微复复杂的景物便难以奏效。杂的景物便难以奏效。主要原因在于：主要原因在于：这这这这一一一一时时时时期期期期的的的的工工工工作作作作虽虽虽虽然然然然建建建建立立立立在在在在三三三三维维维维空空空空间间间间关关关关系系系系分分分分析析析析的的的的基基基基础础础础上上上上，但但但但对对对对三三三三维维维维关关关关系系系系的的的的分分分分析析析析仅仅仅仅仅仅仅仅是是是是依依依依靠靠靠靠简简简简单单单单的的的的边边边边缘缘缘缘线线线线段段段段等等等等简简简简单单单单约约约约束束束束关关关关系系系系，并并并并没没没没有有有有充充充充分分分分考考考考虑虑虑虑人人人人类或其它动物视觉系统感知三维空间关系的方式类或其它动物视觉系统感知三维空间关系的方式类或其它动物视觉系统感知三维空间关系的方式类或其它动物视觉系统感知三维空间关系的方式 。以模型世界为主要对象的视觉方法第12页/共49页以计算理论为核心的视觉模型 2020世世纪纪7070年年代代开开始始，对对计计算算机机视视觉觉的的研研究究进进入入更更为为理理性性化的阶段化的阶段 主主主主要要要要出出出出发发发发点点点点是是是是：从从从从生生生生理理理理学学学学、光光光光学学学学和和和和射射射射影影影影几几几几何何何何的的的的方方方方法法法法出出出出发发发发，研研研研究究究究成成成成像及其逆问题。像及其逆问题。像及其逆问题。像及其逆问题。主主主主要要要要集集集集中中中中在在在在各各各各种种种种本本本本征征征征特特特特性性性性的的的的恢恢恢恢复复复复，包包包包括括括括三三三三维维维维形形形形状状状状、运运运运动动动动、光光光光源源源源等等等等的恢复。的恢复。的恢复。的恢复。在在这这一一阶阶段段中中，以以MarrMarr为为代代表表的的一一些些研研究究者者提提出出了了以以表表示为核心、以算法为中间转换过程的示为核心、以算法为中间转换过程的一般性视觉处理模型一般性视觉处理模型。在在在在其其其其理理理理论论论论中中中中，强强强强调调调调表表表表示示示示的的的的重重重重要要要要性性性性，并并并并要要要要从从从从不不不不同同同同层层层层次次次次上上上上去去去去研研研研究究究究信信信信息息息息处理问题，处理问题，处理问题，处理问题，在计算理论和算法实现上，特别强调计算机理论的重要性。在计算理论和算法实现上，特别强调计算机理论的重要性。在计算理论和算法实现上，特别强调计算机理论的重要性。在计算理论和算法实现上，特别强调计算机理论的重要性。在在在在三三三三维维维维信信信信息息息息的的的的感感感感知知知知方方方方面面面面，根根根根据据据据人人人人类类类类感感感感知知知知深深深深度度度度的的的的不不不不同同同同视视视视知知知知觉觉觉觉线线线线索索索索提提提提出了一系列从出了一系列从出了一系列从出了一系列从X X恢复形状恢复形状恢复形状恢复形状(这里这里这里这里X X是指不同的线索是指不同的线索是指不同的线索是指不同的线索)的方法。的方法。的方法。的方法。第13页/共49页以计算理论为核心的视觉模型在这个阶段，有代表性的工作包括：在这个阶段，有代表性的工作包括：对对视视知知觉觉现现象象中中侧侧抑抑制制现现象象的的模模拟拟。主主要要是是通通过过采采用用不同尺度的不同尺度的LoGLoG算子实现对不同尺度边缘信息的感知。算子实现对不同尺度边缘信息的感知。对对双眼深度线索双眼深度线索的分析导致对的分析导致对立体视觉立体视觉的研究。的研究。对对单单眼眼深深度度线线索索的的分分析析导导致致了了从从X X恢恢复复形形状状的的技技术术的的出出现现(这这里里X X包包括括阴阴影影、纹纹理理、遮遮挡挡、聚聚焦焦、线线条条透透视视等等)。对对运运动动物物体体成成像像过过程程的的研研究究导导致致光光流流计计算算以以及及从从运运动动恢复结构恢复结构等技术的出现。等技术的出现。第14页/共49页以应用为目标的计算机视觉方法 进进入入2020世世纪纪9090年年代代之之后后，随随着着关关于于人人工工智智能能研研究究的的反反思思，在在计计算算机机视视觉觉的的研研究究方方面面也也开开始始考考虑虑过过去去的的方方法法是是否否正正确确，理理论论是是否否有有实实际的意义，这一方向的研究是否具有明确的目标等一系列问题。际的意义，这一方向的研究是否具有明确的目标等一系列问题。从单纯的理论框架研究转入结合躯干运动、结合各种应用的研究。从单纯的理论框架研究转入结合躯干运动、结合各种应用的研究。在在以以往往的的研研究究中中生生物物视视觉觉的的一一些些重重要要特特性性没没有有得得到到足足够够的的重重视视，如如主主动动性性、视视觉觉系系统统中中的的高高分分辨辨率率中中央央凹凹与与外外围围视视觉觉的的结结合合等等。因因此此，在在8080年年代代末末、9090年年代代初初先先后后提提出出了了主主动动视视觉觉、定定性性视视觉觉等等新新方方法法、新新思思路路。利利用用主主动动视视觉觉方方法法使使得得一一些些本本来来复复杂杂的的计计算算机机可可以以得得到到化化简简，一一些些病病态态问问题题可可以以转转化化为为良良态态问问题题，从从而得到圆满的解决。而得到圆满的解决。基基于于内内容容的的图图像像和和视视频频检检索索(Content-Based(Content-Based Image Image and and Video Video Retrieval,CBIVR)Retrieval,CBIVR)等等视视觉觉信信息息处处理理系系统统的的研研究究既既是是对对计计算算机机视视觉觉的的应应用用继继承承，也也对对计计算算机机视视觉觉的的研研究究和和应应用用产产生生了了影响影响。第15页/共49页计算机视觉发展简史计算机视觉发展简史计算机视觉研究内容计算机视觉研究内容计算机视觉应用状况计算机视觉应用状况计算机视觉发展讨论计算机视觉发展讨论计算机视觉相关学科计算机视觉相关学科计算机视觉研究进展计算机视觉研究进展计算机视觉面临困难计算机视觉面临困难第16页/共49页计算机视觉应用状况 工业视觉：工业视觉：通过外形照片来进行外形检验及位置检验；通过外形照片来进行外形检验及位置检验；通过外形照片来进行外形检验及位置检验；通过外形照片来进行外形检验及位置检验；通通通通过过过过X X射射射射线线线线或或或或超超超超声声声声探探探探测测测测获获获获取取取取物物物物体体体体内内内内部部部部的的的的图图图图像像像像实实实实现现现现表表表表面面面面缺缺缺缺陷陷陷陷检检检检验验验验、内内内内部部部部无损探伤等；无损探伤等；无损探伤等；无损探伤等；通通通通过过过过摄摄摄摄像像像像机机机机和和和和相相相相关关关关的的的的视视视视觉觉觉觉信信信信息息息息处处处处理理理理系系系系统统统统，根根根根据据据据不不不不同同同同的的的的物物物物体体体体选选选选择择择择不不不不同同同同颜颜颜颜色色色色或或或或性性性性质质质质的的的的传传传传输输输输带带带带，实实实实现现现现将将将将物物物物体体体体从从从从传传传传输输输输带带带带上上上上的的的的分分分分离离离离并并并并进进进进行行行行识识识识别别别别和和和和定定定定位位位位，引引引引导导导导机机机机器器器器人人人人进进进进行行行行抓抓抓抓取取取取和和和和操操操操作作作作。如如如如工工工工业业业业检检检检测测测测、自自自自动动动动生生生生产产产产流流流流水水水水线线线线、邮邮邮邮政政政政自自自自动动动动化化化化、计计计计算算算算机机机机辅辅辅辅助助助助外外外外科科科科手手手手术术术术、显显显显微微微微医医医医学学学学操操操操作作作作以以以以及及及及危危危危险险险险场场场场合合合合工工工工作作作作的的的的机机机机器器器器人等。人等。人等。人等。用于生产线上具有简单视觉系统的工业机器人系统第17页/共49页计算机视觉应用状况人机交互：人机交互：让让让让计计计计算算算算机机机机可可可可借借借借助助助助于于于于人人人人的的的的手手手手势势势势动动动动作作作作(手手手手语语语语)、嘴嘴嘴嘴唇唇唇唇动动动动作作作作(唇唇唇唇读读读读)、躯躯躯躯体体体体运运运运动动动动(步步步步态态态态)、表表表表情情情情测测测测定定定定等等等等了了了了解解解解人人人人的的的的愿愿愿愿望望望望要要要要求求求求而而而而执执执执行行行行指指指指令令令令，这这这这既既既既符符符符合合合合人人人人类类类类的的的的交交交交互互互互习习习习惯惯惯惯，也也也也可可可可增增增增加加加加交交交交互互互互方方方方便便便便性性性性和和和和临临临临场场场场感感感感等等等等。如如如如人人人人脸脸脸脸识识识识别别别别、智智智智能能能能代代代代理理理理等。等。等。等。人头部跟踪第18页/共49页 视觉导航：视觉导航：利利用用两两个个或或以以上上摄摄像像机机同同步步获获取取的的一一组组图图像像来来恢恢复复三三维维场场景景信信息息，并并并并用用用用三三三三维维维维场场场场景景景景信信信信息息息息来来来来识识识识别别别别目目目目标标标标、判判判判别别别别道道道道路路路路、确确确确定定定定障障障障碍碍碍碍物物物物等等等等，实实实实现现现现道路的规划、自主导航、与周围环境自主交互作用；道路的规划、自主导航、与周围环境自主交互作用；道路的规划、自主导航、与周围环境自主交互作用；道路的规划、自主导航、与周围环境自主交互作用；计算机视觉应用状况由移动机器人立体视觉系统获取的立体图像对，可用来重建场景三维信息 第19页/共49页 视觉导航：视觉导航：将将立立体体图图像像对对与与运运动动信信息息组组合合起起来来可可以以构构成成满满足足特特定定任任务务分分辨辨率率要要求求的的场场景景深深度度图图。如如如如巡巡巡巡航航航航导导导导弹弹弹弹制制制制导导导导、无无无无人人人人驾驾驾驾驶驶驶驶飞飞飞飞机机机机飞飞飞飞行行行行、自自自自动动动动行行行行驶驶驶驶车车车车辆辆辆辆、移移移移动动动动机机机机器器器器人人人人、精精精精确确确确制制制制导导导导等等等等，既既既既可可可可避避避避免免免免人人人人参参参参与与与与及及及及由由由由此此此此引引引引起的危险，也可提高精度和速度。起的危险，也可提高精度和速度。起的危险，也可提高精度和速度。起的危险，也可提高精度和速度。计算机视觉应用状况勇气号火星车Rocky 7 火星车第20页/共49页 虚拟现实：虚拟现实：它可帮助人们超越人的生理极限，它可帮助人们超越人的生理极限，它可帮助人们超越人的生理极限，它可帮助人们超越人的生理极限，“亲临其境亲临其境亲临其境亲临其境”，提高工作效率。，提高工作效率。，提高工作效率。，提高工作效率。如如如如飞飞飞飞机机机机驾驾驾驾驶驶驶驶员员员员训训训训练练练练模模模模拟拟拟拟、医医医医学学学学手手手手术术术术模模模模拟拟拟拟、场场场场景景景景建建建建模模模模、战战战战场场场场环环环环境境境境表表表表示示示示等，等，等，等，计算机视觉应用状况MIT Media Lab，与虚拟生物交互的虚拟系统第21页/共49页计算机视觉应用状况图像自动解释：图像自动解释：包包包包括括括括放放放放射射射射图图图图像像像像、显显显显微微微微图图图图像像像像、遥遥遥遥感感感感多多多多波波波波段段段段图图图图像像像像、合合合合成成成成孔孔孔孔径径径径雷雷雷雷达达达达图图图图像、航天航测图像等的自动判读理解。像、航天航测图像等的自动判读理解。像、航天航测图像等的自动判读理解。像、航天航测图像等的自动判读理解。由由由由于于于于近近近近年年年年来来来来技技技技术术术术的的的的发发发发展展展展，图图图图像像像像的的的的种种种种类类类类和和和和数数数数量量量量飞飞飞飞速速速速增增增增长长长长，图图图图像像像像的的的的自动理解已成为解决信息膨胀问题的重要手段。自动理解已成为解决信息膨胀问题的重要手段。自动理解已成为解决信息膨胀问题的重要手段。自动理解已成为解决信息膨胀问题的重要手段。安全鉴别、监视与跟踪：安全鉴别、监视与跟踪：实实实实现现现现停停停停车车车车场场场场监监监监视视视视、车车车车辆辆辆辆识识识识别别别别、车车车车牌牌牌牌号号号号识识识识别别别别探探探探测测测测并并并并跟跟跟跟踪踪踪踪“可可可可疑疑疑疑”目标；目标；目标；目标；根据面孔、眼底、指纹等图像特征识别特定人；根据面孔、眼底、指纹等图像特征识别特定人；根据面孔、眼底、指纹等图像特征识别特定人；根据面孔、眼底、指纹等图像特征识别特定人；目目目目前前前前人人人人们们们们正正正正在在在在研研研研究究究究一一一一种种种种面面面面部部部部运运运运动动动动参参参参数数数数的的的的提提提提取取取取和和和和描描描描述述述述，以以以以分分分分析析析析人人人人的表情及内心活动。的表情及内心活动。的表情及内心活动。的表情及内心活动。第22页/共49页计算机视觉应用状况 医学图像分析：医学图像分析：计算机视觉在医学图像诊断方面有两方面的应用：计算机视觉在医学图像诊断方面有两方面的应用：一一一一是是是是对对对对图图图图像像像像进进进进行行行行增增增增强强强强、标标标标记记记记、染染染染色色色色等等等等处处处处理理理理来来来来帮帮帮帮助助助助医医医医生生生生诊诊诊诊断断断断疾疾疾疾病病病病，并协助医生对感兴趣的区域进行定量测量和比较；并协助医生对感兴趣的区域进行定量测量和比较；并协助医生对感兴趣的区域进行定量测量和比较；并协助医生对感兴趣的区域进行定量测量和比较；二二二二是是是是利利利利用用用用专专专专家家家家知知知知识识识识系系系系统统统统对对对对图图图图像像像像(或或或或是是是是一一一一段段段段时时时时期期期期内内内内的的的的一一一一系系系系列列列列图图图图像像像像)进进进进行自动分析和解释。行自动分析和解释。行自动分析和解释。行自动分析和解释。遥感图像分析：遥感图像分析：对对对对航航航航空空空空摄摄摄摄影影影影图图图图像像像像(普普普普通通通通视视视视频频频频摄摄摄摄像像像像机机机机机机机机理理理理)、气气气气象象象象卫卫卫卫星星星星图图图图像像像像(红红红红外外外外成成成成象象象象传传传传感感感感系系系系统统统统、合合合合成成成成孔孔孔孔径径径径雷雷雷雷达达达达)、资资资资源源源源卫卫卫卫星星星星图图图图像像像像(多多多多光光光光谱谱谱谱探探探探测测测测器器器器)采采采采取取取取不不不不同同同同的的的的方方方方法法法法进进进进行行行行分分分分析析析析，用用用用于于于于气气气气象象象象预预预预报报报报、自自自自然然然然灾灾灾灾害害害害测测测测报报报报、农农农农作作作作物和植物调查、资源生态环境检测，等。物和植物调查、资源生态环境检测，等。物和植物调查、资源生态环境检测，等。物和植物调查、资源生态环境检测，等。对人类视觉系统和机理、人脑心理和生理的研究等。对人类视觉系统和机理、人脑心理和生理的研究等。第23页/共49页计算机视觉发展简史计算机视觉发展简史计算机视觉研究内容计算机视觉研究内容计算机视觉应用状况计算机视觉应用状况计算机视觉发展讨论计算机视觉发展讨论计算机视觉相关学科计算机视觉相关学科计算机视觉研究进展计算机视觉研究进展计算机视觉面临困难计算机视觉面临困难第24页/共49页计算机视觉研究内容 1）输入设备(input device)包包括括成成像像设设备备和和数数字字化化设设备备。成成象象设设备备是是指指通通过过光光学学摄摄像像机机或或红红外外、激激光光、超超声声、X X射射线线对对周周围围场场景景或或物物体体进进行行探探测测成成象象，得得到到关关于于场场景或物体的二维或三维数字化图像。景或物体的二维或三维数字化图像。2）低层视觉(low level)主主要要是是对对输输入入的的原原始始图图像像进进行行处处理理。这这一一过过程程借借用用了了大大量量的的图图像像处处理理技技术术和和算算法法，如如图图像像滤滤波波、图图像像增增强强、边边缘缘检检测测、纹纹理理检检测测、运运动动检检测测，以以便便从从图图像像中中抽抽取取诸诸如如角角点点、边边缘缘、线线条条、边边界、色彩、纹理、运动等关于场景的基本特征。界、色彩、纹理、运动等关于场景的基本特征。第25页/共49页计算机视觉研究内容 3）中层视觉（middle level）主主要要任任务务是是恢恢复复场场景景的的深深度度、表表面面法法线线方方向向、轮轮廓廓等等有有关关场场景景的的2.5维维信信息息，实实现现的的途途径径有有立立体体视视觉觉（stereo vision）、测测距距成成像像（rangefinder）、从从X恢恢复复形形状状（Shape from X,X=明明暗暗、纹纹理理、运运动动）系系统统标标定定、系系统统成成像像模模型型等研究内容一般也是在这个层次上进行的。等研究内容一般也是在这个层次上进行的。4）高层视觉（high level）主主要要任任务务是是在在以以物物体体为为中中心心的的坐坐标标系系中中，在在原原始始输输入入图图像像、图图像像基基本本特特征征、2.5维维图图的的基基础础上上，恢恢复复物物体体的的完完整整三三维维图图，建建立立物物体三维描述，识别三维物体并确定物体的位置和方向。体三维描述，识别三维物体并确定物体的位置和方向。第26页/共49页计算机视觉研究内容 5）体系结构（system architecture）在在高高度度抽抽象象的的层层次次上上，根根据据系系统统模模型型而而不不是是根根据据实实现现设设计计的的具具体体例例子子来来研研究究系系统统的的结结构构。体体系系结结构构研研究究涉涉及及一一系系列列相相关关的的课课题题：并并行行结结构构、分分层层结结构构、信信息息流流结结构构、拓拓扑扑结结构构以及从设计到实现的途径等等。以及从设计到实现的途径等等。输入设备输入设备底层视觉底层视觉中层视觉中层视觉高层视觉高层视觉体系结构体系结构第27页/共49页计算机视觉发展简史计算机视觉发展简史计算机视觉面相关学科计算机视觉面相关学科计算机视觉应用状况计算机视觉应用状况计算机视觉发展讨论计算机视觉发展讨论计算机视觉研究内容计算机视觉研究内容计算机视觉研究进展计算机视觉研究进展计算机视觉面临困难计算机视觉面临困难第28页/共49页计算机视觉与相关学科的关系1）图像处理(image processing)图图像像处处理理通通常常是是把把一一幅幅图图像像变变换换成成另另外外一一幅幅图图像像；计计算算机机视视觉觉系系统统把把图图像像作作为为输输入入，产产生生的的输输出出为为另另一一种种形形式式。图图像像处处理理在在机机器器视视觉觉系系统统早期阶段起着很大的作用早期阶段起着很大的作用。2）计算机图形学 (computer graphics)通通过过几几何何基基元元，如如线线、圆圆和和自自由由曲曲面面等等，来来生生成成图图像像，属属于于图图像像综综合合；计计算算机机视视觉觉正正好好是是解解决决相相反反的的问问题题，即即从从图图像像中中估估计计几几何何基基元和其它特征，属于元和其它特征，属于图像分析图像分析。可视化和虚拟现实把两个领域。可视化和虚拟现实把两个领域紧密地联系在一起紧密地联系在一起。3）模式识别(pattern recognition)研研究究分分类类问问题题，确确定定符符号号、图图画画、物物体体等等输输入入对对象象的的类类别别。强强调调一一类类事事物物区区别别于于其其它它事事物物所所具具有有的的共共同同特特征征。一一般般不不关关心心三三维维世世界界的的恢恢复问题。模式识别方法是计算机视觉识别物体的复问题。模式识别方法是计算机视觉识别物体的重要基础之一重要基础之一。第29页/共49页3）人工智能(Artificial Intelligen