图像处理与计算机视觉技术综述课件.ppt
图像处理与计算机视觉技术综述图像处理与计算机视觉技术综述课程介绍课程介绍基础知识基础知识数学：线性代数、概率与统计数学：线性代数、概率与统计计算机科学：软件编程计算机科学：软件编程电子学：信号处理电子学：信号处理视觉重要？视觉重要？古语百闻不如一见一目了然眼见为实，耳听为虚。人类信息的主要传递手段视觉，听觉，味觉，触觉等视觉占60以上人机交互字符、图形计算机接收信息手段单一（键盘，鼠标）图像处理重要？图像处理重要？两大应用需求对图像信息的改进机器自动理解：使计算机具有视觉主要学科主要学科图像处理、计算机视觉和模式识别图像处理、计算机视觉和模式识别计算机图形学1.1 图像处理与计算机视觉的发展及系统构成图像处理与计算机视觉的发展及系统构成 1.图像（Image）可以看作是对物体或场景的一种表现形式抽象定义：二维函数f(x,y)(x,y):点的空间坐标（实数）f:点(x,y)的幅度（亮度、强度或灰度）英文单词Image：一般指用镜头等科技手段得到的视觉形象Picture：强调手工描绘的人物或景物画Drawings：人工绘制的工程图Lenna1.1.1 图像处理与计算机视觉的概念图像处理与计算机视觉的概念图像实例光学图像光学图像LennaLennaIKONOSIKONOS卫星卫星光学图像光学图像423mile 423mile 高高16000miles/h16000miles/h1m1m分辨率分辨率 EP EP3,3,海南陵水海南陵水,01-4-4,01-4-4大脑断大脑断层图像层图像 遥感图像遥感图像2.数字图像数字化：对 x，y 和 f 进行离散化 -其中的每个点称为图像元素，即像素。分类（根据 f 的性质）灰度图像（特殊：二值图像）彩色图像3.数字图像处理DIP（Digital Image Processing）广义：与图像相关的处理（图像分析、理解和计算机视觉等）狭义（从输入和输出内容）：对图像进行各种加工，以改善图像的视觉效果或突出目标，强调图像之间进行的变换，是一个从图像到图像的过程广义上分为三种类型：低、中、高级处理图像处理主要是低级处理及部分中级处理3.数字图像处理低级处理：输入输出都是图像中级处理：图像分割及目标的描述，输出是目标的特征数据高级处理：目标物体及相互关系的理解，输出是更抽象的数据4.图像处理与计算机视觉的区别与联系图像处理与计算机视觉的区别与联系图像处理主要集中在二维图像分析、识别和理解，如光学字符识别、工件表面、显微图片和航空照片的分析和解释等。计算机视觉是采用图像处理、模式识别、人工智能技术相结合的手段，着重于一幅或多幅图像的计算机分析，图像可以由单个或多个传感器获取，也可以是单个传感器在不同时刻获取的图像序列。分析是对目标物体的识别，确定目标物体的位置和姿态，对三维景物进行符号描述和解释。机器视觉：计算机视觉技术工程化，能够自动获取和分析特定的图像，以控制相应的行为。计算机视觉为机器视觉提供图像和景物分析的理论及算法基础，机器视觉为计算机视觉的实现提供传感器模型、系统构造和实现手段。1.1.2 图像处理与计算机视觉的发展图像处理与计算机视觉的发展1.20世纪20年代：报纸业图像的编码与重构技术Bartlane电缆图片传输系统：从伦敦到纽约传送一幅图片从1周减少到3小时色调质量和分辨率改善1921年，电报打印机，5个灰度级1922年，穿孔纸带，5个灰度级1929年，15级灰度2.1964年：航天技术年：航天技术60年代初作为一门学科，主要目的是改善图像质量，年代初作为一门学科，主要目的是改善图像质量，采取的方法有图像增强和复原技术采取的方法有图像增强和复原技术美国美国JPL（喷气推进）实验室处理卫星发射回来的（喷气推进）实验室处理卫星发射回来的月球表面的照片月球表面的照片应用图像畸变的校正、应用图像畸变的校正、灰度变换、去除噪声灰度变换、去除噪声3.20世纪世纪70年代：遥感卫星和医学年代：遥感卫星和医学图像增强和图像识别图像增强和图像识别 利用遥感图片，进行地质资源探测，农作物估产，水文气利用遥感图片，进行地质资源探测，农作物估产，水文气象监测象监测 等等图像重构图像重构 X光断层图像重构技术，英国光断层图像重构技术，英国G.N.Hounsfield 第一台脑断第一台脑断层摄像仪应用层摄像仪应用4.20世纪70年代末：人工智能兴起，开始计算机视觉研究，由2D获取3D空间信息5.80年代末到今：多媒体技术高速计算机和大规模集成电路的发展：图像压缩和多媒体技术；文本图像的分析和理解，文字的识别取得重大的进展；图像通讯和传输等的广泛应用1.1.3 图像处理与计算机视觉的系统构成图像处理与计算机视觉的系统构成系统构成框图采集装置：两部分(1)传感器：能产生与所接受到的电磁能量成正比的模拟电信号（CCD，CMOS）(2)高速图像采集系统：它能将上述（模拟）电信号转化为数字（离散）的形式输入设备具备上述两种装置如：数码相机，数码摄像机，扫描仪图像输入输出设备处理装置：两部分专用图像处理系统：是计算机的辅助处理器，主要采用专用集成芯片（ASIC)、数字信号处理器(DSP)或者FPGA等设计的全硬件处理器。计算机：是整个系统的核心，除了控制整个系统的各个模块的正常运行外，还承担最后结果运算和输出。数字图像处理的关键步骤图像采集图像采集图像复原图像复原形态学处形态学处理理分割分割对象识别对象识别图像增强图像增强表示表示&描述描述问题域问题域彩色图像彩色图像处理处理图像压缩图像压缩数字图像处理的关键步骤：图像采集数字图像处理的关键步骤：图像采集图像采集图像采集图像复原图像复原形态学处形态学处理理分割分割对象识别对象识别图像增强图像增强表示表示&描述描述问题域问题域彩色图像彩色图像处理处理图像压缩图像压缩数字图像处理的关键步骤：图像增强数字图像处理的关键步骤：图像增强图像采集图像采集图像复原图像复原形态学处形态学处理理分割分割对象识别对象识别图像增强图像增强表示表示&描述描述问题域问题域彩色图像彩色图像处理处理图像压缩图像压缩数字图像处理的关键步骤：图像复原数字图像处理的关键步骤：图像复原图像采集图像采集图像复原图像复原形态学处形态学处理理分割分割对象识别对象识别图像增强图像增强表示表示&描述描述问题域问题域彩色图像彩色图像处理处理图像压缩图像压缩数字图像处理的关键步骤：形态学处理数字图像处理的关键步骤：形态学处理图像采集图像采集图像复原图像复原形态学处形态学处理理分割分割对象识别对象识别图像增强图像增强表示表示&描述描述问题域问题域彩色图像彩色图像处理处理图像压缩图像压缩数字图像处理的关键步骤：分割图像采集图像采集图像复原图像复原形态学处形态学处理理分割分割对象识别对象识别图像增强图像增强表示表示&描述描述问题域问题域彩色图像彩色图像处理处理图像压缩图像压缩数字图像处理的关键步骤：表示&描述图像采集图像采集图像复原图像复原形态学处形态学处理理分割分割对象识别对象识别图像增强图像增强表示表示&描述描述问题域问题域彩色图像彩色图像处理处理图像压缩图像压缩数字图像处理的关键步骤：对象识别图像采集图像采集图像复原图像复原形态学处形态学处理理分割分割对象识别对象识别图像增强图像增强表示表示&描述描述问题域问题域彩色图像彩色图像处理处理图像压缩图像压缩数字图像处理的关键步骤：图像压缩表示表示&描述描述彩色图像彩色图像处理处理图像压缩图像压缩图像采集图像采集图像复原图像复原形态学处形态学处理理分割分割图像增强图像增强对象识别对象识别问题域问题域数字图像处理的关键步骤：彩色图像处理表示表示&描述描述彩色图像彩色图像处理处理图像压缩图像压缩图像采集图像采集图像复原图像复原形态学处形态学处理理分割分割图像增强图像增强对象识别对象识别问题域问题域存储数据量度单位比特（bit），字节（byte=8 bit）千字节（K byte）兆（106）字节（M byte）吉（109）字节（G byte）太（1012）字节（T byte）图像信息量大10241024，灰度图：1M字节（不压缩）10241024，真彩图：3M字节（不压缩）存储图像存储器(1)处理过程中使用的快速存储器计算机内存，帧缓存(2)较快的在线或联机存储器磁盘，磁光盘(3)不经常使用的数据库（档案库）存储器磁带，光盘，光盘塔 存储格式（表示格式和文件格式）(1)矢量格式 用线段或线段的组合体来表示图像(WMF)(2)光栅格式 用许多像素点的集合来表示图像 BMP格式，GIF格式，TIFF格式，JPEG 格式 1.2图象理解理论框架图象理解理论框架 1.2.1马尔视觉计算理论1.2.2对马尔理论框架的改进1.2.3关于马尔重建理论的讨论1.2.4新理论框架的研究1.2.1马尔视觉计算理论马尔1982年出版了视觉一书MarrD.1982.VisionAComputationalInvestigationintotheHumanRepresentationandProcessingofVisualInformation.W.H.Freeman一个理解视觉信息处理的框架要先理解视觉目的再去理解其中细节1.2.1马尔视觉计算理论1.视觉是一个复杂的信息加工过程视觉是一个复杂的信息加工过程视觉是一个远比人所想象更为复杂的信息加工视觉是一个远比人所想象更为复杂的信息加工任务和过程，而且其难度常不为人们所正视任务和过程，而且其难度常不为人们所正视为理解视觉这个复杂的过程，要解决两个问题为理解视觉这个复杂的过程，要解决两个问题 视觉信息的表达问题：某些信息是突出的和明确视觉信息的表达问题：某些信息是突出的和明确的，另一些信息则是隐藏的和模糊的的，另一些信息则是隐藏的和模糊的 视觉信息的加工问题：对信息处理、分析、理解，视觉信息的加工问题：对信息处理、分析、理解，将不同表达形式转换，逐步抽象将不同表达形式转换，逐步抽象 1.2.1马尔视觉计算理论2.视觉信息加工的三个要素视觉信息加工的三个要素计算理论；计算理论；算法实现；算法实现；硬件实现硬件实现 计算理论计算理论可计算性问题：一个任务要用计算机完成，它应可计算性问题：一个任务要用计算机完成，它应该是可以被计算的该是可以被计算的一般对于某个特定的问题，如果存在一个程一般对于某个特定的问题，如果存在一个程序，对于给定的输入，这个程序都能在有限步序，对于给定的输入，这个程序都能在有限步内给出输出，这个问题就是可计算的内给出输出，这个问题就是可计算的 1.2.1马尔视觉计算理论2.视觉信息加工的三个要素视觉信息加工的三个要素计算理论计算理论目前视觉的可计算性常指对计算机给定输入，能目前视觉的可计算性常指对计算机给定输入，能否得到人类视觉可获得的类似结果否得到人类视觉可获得的类似结果两方面的研究内容：两方面的研究内容：计算的是什么以及为什计算的是什么以及为什么要计算它们；么要计算它们；提出一定的约束条件，它提出一定的约束条件，它们可唯一地确定最终得到的运算结果们可唯一地确定最终得到的运算结果 1.2.1马尔视觉计算理论2.视觉信息加工的三个要素视觉信息加工的三个要素算法实现算法实现需要给加工所操作的实体选择一种合适的表达需要给加工所操作的实体选择一种合适的表达选择加工的输入和输出表达选择加工的输入和输出表达确定完成表达转换的算法确定完成表达转换的算法一般情况下可以有许多可选的表达一般情况下可以有许多可选的表达算法的确定常取决于所选的表达算法的确定常取决于所选的表达给定一种表达，可有多种完成任务的算法给定一种表达，可有多种完成任务的算法 1.2.1马尔视觉计算理论2.视觉信息加工的三个要素视觉信息加工的三个要素硬件实现硬件实现有了表达和算法在物理上如何实现算法也是有了表达和算法在物理上如何实现算法也是必不可少的必不可少的 算法的确定常依赖于物理上实现算法硬件的算法的确定常依赖于物理上实现算法硬件的特点特点同一个算法也可由不同的技术途径实现同一个算法也可由不同的技术途径实现 1.2.1马尔视觉计算理论2.视觉信息加工的三个要素视觉信息加工的三个要素计算理论：如何由系统的输入求出输出。视觉计算理论：如何由系统的输入求出输出。视觉系统输入的是二维图像，输出则是三维物体系统输入的是二维图像，输出则是三维物体的形状、位置和姿态，任务是研究如何建立的形状、位置和姿态，任务是研究如何建立输入输出之间的关系和约束，如何由二维灰输入输出之间的关系和约束，如何由二维灰度图像恢复物体的三维信息。度图像恢复物体的三维信息。算法实现：如何表达输入和输出信息，如何实算法实现：如何表达输入和输出信息，如何实现计算理论所对应的功能算法，以及如何由现计算理论所对应的功能算法，以及如何由一种表示变换成另一种表示。一种表示变换成另一种表示。硬件实现：用硬件实现上述表达和算法的问题。硬件实现：用硬件实现上述表达和算法的问题。视觉信息加工三要素的含义视觉信息加工三要素的含义 要素要素名称名称含义和所解决的问题含义和所解决的问题1计算理论什么是计算目的，为什么要这样计算2表达和算法怎样实现计算理论，什么是输入输出表达，用什么算法实现表达间的转换3硬件实现怎样在物理上实现表达和算法，什么是计算结构的具体细节1.2.1马尔视觉计算理论2.视觉信息加工的三个要素视觉信息加工的三个要素它们之间有一定的逻辑因果联系，但并无绝对的它们之间有一定的逻辑因果联系，但并无绝对的依赖关系依赖关系实际上看成两个层次更恰当实际上看成两个层次更恰当一旦有了计算理论，表达和算法与硬件实现是互一旦有了计算理论，表达和算法与硬件实现是互相影响的相影响的1.2.1马尔视觉计算理论1.2.1马尔视觉计算理论3.视觉信息的三级内部表达视觉信息的三级内部表达(1)基素表达（基素表达（primal sketch）一种一种2-D表达，它是图象特征的集合，描表达，它是图象特征的集合，描 述了物体上属性发生变化的轮廓部分述了物体上属性发生变化的轮廓部分只用基素表达不能保证得到对场景的唯一解释只用基素表达不能保证得到对场景的唯一解释 1.2.1马尔视觉计算理论3.视觉信息的三级内部表达视觉信息的三级内部表达(2)2.5-D表达（表达（2-D sketch）将物体可见面正交将物体可见面正交投影分解成单元表面投影分解成单元表面用法线代表单元表用法线代表单元表面的取向面的取向将各法线画出，叠加将各法线画出，叠加于物体轮廓内可见面上于物体轮廓内可见面上 1.2.1马尔视觉计算理论3.视觉信息的三级内部表达视觉信息的三级内部表达(2)2.5-D表达（表达（2-D sketch）本征图，表示了物体表面面元的朝向本征图，表示了物体表面面元的朝向可将可将2.5-D图转化成（相对）深度图图转化成（相对）深度图 既表达了一部分物体轮廓的信息（这与基素表达既表达了一部分物体轮廓的信息（这与基素表达类似）表达了以观察者为中心、可观察到的物类似）表达了以观察者为中心、可观察到的物体表面的取向信息体表面的取向信息 与人所理解的与人所理解的3-D物体一致（可见物体轮廓以内目物体一致（可见物体轮廓以内目标的标的3-D信息，如边界、深度，反射特性等）信息，如边界、深度，反射特性等）1.2.1马尔视觉计算理论3.视觉信息的三级内部表达视觉信息的三级内部表达(2)2.5-D表达（表达（2-D sketch）将将2.5-D图转化成（相对）深度图图转化成（相对）深度图给定给定z(x,y)对对x和和y的偏导的偏导p和和q，理论上讲可通过在，理论上讲可通过在平面上沿任意曲线的积分来恢复平面上沿任意曲线的积分来恢复z(x,y)为最小化误差可选择为最小化误差可选择z(x,y)满足满足1.2.1马尔视觉计算理论3.视觉信息的三级内部表达视觉信息的三级内部表达(3)3-D表达（表达（3-D representation）以物体为中心（即也包括了物体不可见部分）的表达形式以物体为中心（即也包括了物体不可见部分）的表达形式 在以物体为中心的坐标系中描述在以物体为中心的坐标系中描述3-D物体的形状及其空间组织物体的形状及其空间组织 空间占有数组，空间占有数组，单元分解，单元分解，几何模型几何模型广义圆柱体表达方法广义圆柱体表达方法 1.2.1马尔视觉计算理论3.视觉信息的三级内部表达视觉信息的三级内部表达 从计算机或信息加工的角度来说，视觉可计算性从计算机或信息加工的角度来说，视觉可计算性问题可分成几个步骤，步骤之间是某种表达形问题可分成几个步骤，步骤之间是某种表达形式，而每个步骤都是把前后两种表达形式联系式，而每个步骤都是把前后两种表达形式联系起来的计算起来的计算/加工方法加工方法3.视觉信息的三级内部表达视觉信息的三级内部表达 名称名称目的目的基元基元图象表达场景的辉度或物体的照度象素（值）基素图表达图象中亮度变化位置、物体轮廓的几何分布和组织结构零交叉、端点、边缘段、边界等2.5-D图 在以观察者为中心的坐标系中表达物体可见表面的取向、深度、边界等性质局部表面朝向（“针”基元）、表 面 朝 向 的 不 连 续 点、深度、深度上不连续点3-D图在以物体为中心的坐标系中，用体元或面元集合描述形状和形状的空间组织形式3-D模型，以轴线为骨架，将体元或面元附在轴线上1.2.1马尔视觉计算理论1.2.2对马尔理论框架的改进四个有关整体框架的问题：(1)框架中输入是被动的(2)框架中加工目的不变，总是恢复场景中物体的位置和形状等(3)框架未足够重视高层知识的指导作用(4)整个框架中信息加工过程基本自下而上，单向流动，没有反馈1.2.2对马尔理论框架的改进四个方面的相应改进：(1)增加了图象获取模块(2)根据视觉目的进行决策(3)利用高层知识可解决低层信息不足的问题(4)增加了反馈控制流向图像获取早期处理中期处理后期处理视觉目的高层知识1.2.3关于马尔重建理论的讨论1.马尔重建理论马尔重建理论2.不不同同视视觉觉任任务务/工工作作的的共共同同的的概概念念核核心心被被假假定定为为表表达达，共共同同的的处处理理目目标标是是根根据据视视觉觉刺刺激激恢恢复复场景并结合进表达中场景并结合进表达中 3.视视觉觉被被看看作作一一个个由由刺刺激激开开始始，顺顺序序的的获获取取和和积积累的重建过程累的重建过程 1.2.3关于马尔重建理论的讨论2.重建理论的问题重建理论的问题 随随着着高高层层视视觉觉信信息息的的心心理理学学研研究究成成果果和和对对高高层视觉区域的解剖和功能组织的知识的增加层视觉区域的解剖和功能组织的知识的增加 (1)在在所所有有可可能能对对场场景景进进行行解解释释的的方方法法中中，包包含含重重建建的的方方法法兜兜的的圈圈子子最最大大，因因为为重重建建并并不不对对解解释释有直接贡献有直接贡献1.2.3关于马尔重建理论的讨论2.重建理论的问题重建理论的问题(2)仅靠从原始图象中进行重建来实现表达在仅靠从原始图象中进行重建来实现表达在实实际中也很难实现际中也很难实现(3)概念上的问题概念上的问题具有一个普遍统一的表达是否值得具有一个普遍统一的表达是否值得?最好的表达应该是最适合工作的表达最好的表达应该是最适合工作的表达对给定计算问题选择正确表达对给定计算问题选择正确表达 1.2.3关于马尔重建理论的讨论3.不需重建的表达不需重建的表达 特特征征检检测测器器构构成成了了视视觉觉世世界界中中的的某某种种特特征征存存在在性性的表达：青蛙的眼睛的表达：青蛙的眼睛空空间间分分辨辨率率的的表表达达，一一组组覆覆盖盖观观察察区区域域的的模模式式可可以确定偏移信息，不需要重建以确定偏移信息，不需要重建 1.2.4新理论框架的研究1.基于知识的理论框架基于知识的理论框架（感知特征群集）（感知特征群集）(1)利利用用对对感感知知组组织织的的处处理理过过程程，从从图图象象特特征征中中提提取取相相对对于于观观察察方方向向在在大大范范围围内内保保持持不不变变的的分分组组和结构和结构(2)借借助助图图象象特特征征构构建建模模型型，在在这这个个过过程程中中利利用用概概率排队的方法减小搜索空间率排队的方法减小搜索空间(3)通通过过求求解解未未知知的的观观察察点点和和模模型型参参数数寻寻找找空空间间对对应应关关系系，使使得得3-D模模型型的的投投影影直直接接与与图图象象特特征征相相匹配匹配1.2.4新理论框架的研究2.主动视觉理论框架主动视觉理论框架(1)选择注意机制选择注意机制(2)注视控制注视控制 1.3图像处理与计算机视觉的应用领域图像处理与计算机视觉的应用领域及面临问题及面临问题 主要相关学科计算机图形学：原指用图形、图表、绘图等形式表达数据信息的科学，而计算机图形学研究的就是如何利用计算机技术来产生这些形式模式识别：试图把图像分解成可用符号较抽象地描述的类别计算机视觉：主要强调用计算机实现人的视觉功能，目前的研究内容主要与图像理解相结合1.3.1 图像处理与计算机视觉的应用领域图像处理与计算机视觉的应用领域图像增强/恢复艺术级效果医学可视化工业检验法律执行人机交互1.3图像处理与计算机视觉的应用领域图像处理与计算机视觉的应用领域及面临问题及面临问题 举例：图像增强DIP技术最常见的用处是：提高质量，消除噪音等等举例：Hubble 望远镜1990年发射的年发射的“哈勃哈勃”号太空望远号太空望远镜能够拍摄超远距离的物体，但是镜能够拍摄超远距离的物体，但是由于镜子出现误差，拍摄到的图像由于镜子出现误差，拍摄到的图像就失去了价值，而借助于图像处理就失去了价值，而借助于图像处理技术便可以修复技术便可以修复举例：艺术效果艺术效果是指通过特艺术效果是指通过特效或者图像合成等方法，效或者图像合成等方法，使得图像具有更强的视使得图像具有更强的视觉效果觉效果举例：医学通过MRI（核磁共振）扫描到的犬类心脏切片，我们可以找出其中各种组织的边界线:灰度图表示组织密度使用合适的滤波器来增强边缘取自狗心脏的原始MRI图像边缘检测图像举例：GIS地理信息系统（Geographic Information Systems，GIS)，数字图像处理技术广泛用于：气象学地形分类操作卫星图像举例：GIS(续)全球夜间灯光数据集可以提供全球人类居住区的汇总情况 不难想象这些数据需要进行分析和处理举例：GIS(续)遥感图像：农业普查森林覆盖计算水利工程等的客观估计计算森林火灾监护客观反映火灾情况、面积举例：工业检验操作人员需要花费大量的精力，却又慢又不可靠；操作人员需要花费大量的精力，却又慢又不可靠；使用机器代替；使用机器代替；工业可视化系统广泛应用于各类产业工业可视化系统广泛应用于各类产业 举例：印刷电路板检测印刷电路板检测(Printed Circuit Board inspection,PCB)使用机器检测零件是否完整以及焊接是否合格常规成像和X光成像相结合举例：法律执行图像处理技术被法律执行者广泛采用高速相机或者自动收费系统用于牌照识别指纹识别闭路电视(Close Circuit Television,CCTV)中图像的增强举例：HCI使得人机交互（Human Computer Interaction）变得更加自然面部识别手势识别1.如何准确、高速地识别出目标2.2.如何有效地增大存储容量，容纳足够细节的目标图像；3.3.如何有效地构造和组织出可靠的识别算法4.目前，所建立的系统绝大多数只适用于某一特定环境或应用场合的专用系统，建立一个可与人类的视觉系统相比拟的通用视觉系统是非常困难的。1.3.2 图像处理与计算机视觉的面临问题图像处理与计算机视觉的面临问题相关的工具相关的工具浏览图像ACDSee图像处理Photoshop应用与研究MatLab基本操作：读写、显示、几何变换图像变换（傅立叶，小波等）图像增强（直方图，对比度，平滑，锐化）图像分割
