计算机视觉预备知识精选文档.ppt

计算机视觉预备知识本讲稿第一页，共四十五页人类视觉原理与特点人类视觉原理与特点 人类从外界环境获取信息，一般是通过视觉触觉听觉嗅觉等感觉器官来实现的。其中，60-80的信息是由人的眼睛，即视觉来获得的。可见，视觉器官是人类的最重要的感知器官。本讲稿第二页，共四十五页人类的视觉系统人类的视觉系统1，眼睛眼睛2，视觉神经系统视觉神经系统本讲稿第三页，共四十五页基本视觉信息基本视觉信息 1.1.亮度亮度：亮度是最基本的视觉信息，亮度是一种：亮度是最基本的视觉信息，亮度是一种外界辐射的物理量在我们视觉中反映出来的心理外界辐射的物理量在我们视觉中反映出来的心理物理量。物理量。2.2.形状形状：由物体在视觉空间上的亮度分布，颜色分：由物体在视觉空间上的亮度分布，颜色分布或运动状态不同而显示出来的布或运动状态不同而显示出来的 。3.3.运动运动 。4.4.颜色颜色：是一种主观感觉，目前只在感受器细胞水平：是一种主观感觉，目前只在感受器细胞水平和心理物理的宏观水平上得到了较深入的研究。和心理物理的宏观水平上得到了较深入的研究。本讲稿第四页，共四十五页例如：雪地上一张白纸，荒野中潜伏的例如：雪地上一张白纸，荒野中潜伏的狼，都比较难以觉察。相反，雪地上一狼，都比较难以觉察。相反，雪地上一张彩纸，绿草地上一朵红花，荒野中奔张彩纸，绿草地上一朵红花，荒野中奔跑的狼，都比较容易发现，这是由于物跑的狼，都比较容易发现，这是由于物体体形状形状因因亮度、颜色、运动亮度、颜色、运动等因素而突等因素而突显出来，易于被人眼分辨出来。显出来，易于被人眼分辨出来。本讲稿第五页，共四十五页5.5.深度知觉深度知觉 ：判断物体距离或深度的感觉。：判断物体距离或深度的感觉。例如：伸手拿一本书，躲开汽车或障碍物，把例如：伸手拿一本书，躲开汽车或障碍物，把足球踢入球门等。足球踢入球门等。外界目标在视网膜上的象是二维的，而且外界目标在视网膜上的象是二维的，而且同一物体在左右眼的视网膜上的成象有着微小的差异同一物体在左右眼的视网膜上的成象有着微小的差异，这种差异为立体视觉提供了最基本的信息这种差异为立体视觉提供了最基本的信息视差视差。还有许多单眼的信息可以产生深度信息的还有许多单眼的信息可以产生深度信息的估计，如物体的重叠、透视（近大远小，近清晰远估计，如物体的重叠、透视（近大远小，近清晰远模糊，近亮远暗）、明暗、纹理及运动。模糊，近亮远暗）、明暗、纹理及运动。本讲稿第六页，共四十五页视觉中的一些心理和生理特征视觉中的一些心理和生理特征与现象与现象 1.1.视觉的相对性视觉的相对性：视觉感知的结果不仅仅取决于刺激视觉感知的结果不仅仅取决于刺激本身，同时还受经验、对比等的影响，这就是视觉的相对性。本身，同时还受经验、对比等的影响，这就是视觉的相对性。例如：初升的旭日和正午的骄阳究竟何者离我们更近。例如：初升的旭日和正午的骄阳究竟何者离我们更近。2.2.视觉的选择性视觉的选择性 例如：视而不见例如：视而不见 本讲稿第七页，共四十五页3.3.视觉的整体性视觉的整体性 ：整体性是指超越对部分感知之和整体性是指超越对部分感知之和而产生的一种整体知觉经验，即整体大于部分之和。而产生的一种整体知觉经验，即整体大于部分之和。4.4.视觉的恒常性视觉的恒常性 1 1）亮度恒常性）亮度恒常性 例如：一匹黑布和一匹白布例如：一匹黑布和一匹白布 原因：先验知识原因：先验知识 ；本体反射率；本体反射率。2 2）大小恒常性）大小恒常性 例如：远处的牛比近处的狗要大例如：远处的牛比近处的狗要大 3 3）形状恒常性）形状恒常性 4 4）颜色恒常性）颜色恒常性 本讲稿第八页，共四十五页5.5.错视现象错视现象（a a）高度错视；）高度错视；（b b）长度错视）长度错视;（c c）平行线错视）平行线错视;（d d）大小错视）大小错视;（e e）主从错视）主从错视;本讲稿第九页，共四十五页本讲稿第十页，共四十五页本讲稿第十一页，共四十五页计算机视觉计算机视觉 计算机视觉是指用计算机实现人的视觉功能对客观世界的三维场景的感知、识别和理解。本讲稿第十二页，共四十五页图像图像输入输入人机交互处理人机交互处理 结果结果 输出输出 图像图像 理解理解 图像图像 分析分析 图像图像 处理处理数字化数字化计算机视觉系统的组成及原理计算机视觉系统的组成及原理本讲稿第十三页，共四十五页计算机数字图象处理系统计算机数字图象处理系统 帧存帧存摄像头摄像头A/DLUT监视器监视器D/A微微机机接接口口显示器显示器系系统统总总线线内存内存显存显存CPU计算机计算机图象采集卡图象采集卡本讲稿第十四页，共四十五页CCDCCD摄像头摄像头 CCD（Charge Coupling Device)摄像头由一组离散的光敏元件阵列组成，当光线照到这个阵列上时，每个光敏元件上产生电荷。电荷的多少和光敏元件上的照度成正比，由此产生的电信号反映光强。这些电信号用两相时钟脉冲顺序传送，就产生代表图像的电压时间信号。本讲稿第十五页，共四十五页XOnYm视频图像构成原理视频图像构成原理分辨率 m n如：480 640灰度图像 I=f(x,y)彩色图像 IR=fR(x,y)IG=fG(x,y)IB=fB(x,y)制式 PAL/NTSC视频图像数字图像像素本讲稿第十六页，共四十五页图象数字化图象数字化 黑白图象数字化 彩色图象数字化 本讲稿第十七页，共四十五页计算机视觉基本特点计算机视觉基本特点 分阶段信息处理，多层次信息表示分阶段信息处理，多层次信息表示绝大部分问题为病态问题绝大部分问题为病态问题 原始信息被污染，信息处理量巨大原始信息被污染，信息处理量巨大 一种知识导引与管理系统一种知识导引与管理系统 多学科交叉与结合多学科交叉与结合 本讲稿第十八页，共四十五页实用图像处理技术实用图像处理技术 灰度图像灰度图像彩色图像彩色图像二值化图像二值化图像 本讲稿第十九页，共四十五页图像的增强图像的增强 1.1.直方图的均衡化直方图的均衡化 本讲稿第二十页，共四十五页2.2.平滑滤波平滑滤波 原图噪声污染后的图像本讲稿第二十一页，共四十五页均值滤波后的图像中值滤波后的图像本讲稿第二十二页，共四十五页3.3.锐化锐化(边缘检测边缘检测 )本讲稿第二十三页，共四十五页彩色图像分割方法彩色图像分割方法 三色学说三色学说假设人视网膜上有三种神经纤维，每种神经纤维假设人视网膜上有三种神经纤维，每种神经纤维的兴奋都引起红绿蓝原色中的一种的感觉。光作的兴奋都引起红绿蓝原色中的一种的感觉。光作用在视网膜上虽然能同时引起三种纤维的兴奋，用在视网膜上虽然能同时引起三种纤维的兴奋，但波长不同，引起三种纤维的兴奋程度不同，人但波长不同，引起三种纤维的兴奋程度不同，人眼就产生不同的颜色感觉。眼就产生不同的颜色感觉。本讲稿第二十四页，共四十五页三种视神经兴奋曲线 红色纤维红色纤维绿色纤维绿色纤维蓝色纤维蓝色纤维红红橙橙 黄黄绿绿 蓝蓝紫紫本讲稿第二十五页，共四十五页颜色视觉和颜色空间理论颜色视觉和颜色空间理论 三色原理三色原理现代色度学理论指出，现代色度学理论指出，人对任何一种颜色的感觉，都可以用红、绿、蓝三种单色人对任何一种颜色的感觉，都可以用红、绿、蓝三种单色加权混合产生，因此，红、绿、蓝三种单色称为三基色，加权混合产生，因此，红、绿、蓝三种单色称为三基色，这就是三色原理。这就是三色原理。颜色空间颜色空间各颜色的光都可以由红、各颜色的光都可以由红、绿、蓝三种基色光加权混合而成，因此，彩色空间是三维的线绿、蓝三种基色光加权混合而成，因此，彩色空间是三维的线形空间，任何一种具有一定亮度的颜色光都是空间中的一个点形空间，任何一种具有一定亮度的颜色光都是空间中的一个点（或向量），这个空间就是颜色空间。（或向量），这个空间就是颜色空间。本讲稿第二十六页，共四十五页几种颜色空间RGBRGB颜色空间颜色空间 当我们选择具有确定光通量的红绿蓝三基色光作为三维颜色空间的基时，就构成了RGB颜色空间。颜色空间不是唯一的颜色空间不是唯一的格拉斯曼定律指出，人的视觉只能分辨颜色的三种变化（例如明度、色度、饱和度）。这就是说，通过对RGB颜色空间进行坐标变换，可以产生新的颜色空间。XYZXYZ表色系统表色系统YIQYIQ表色系统表色系统HSIHSI表色系统表色系统 本讲稿第二十七页，共四十五页彩色视觉系统颜色分类彩色视觉系统颜色分类 颜色信息提取颜色信息提取 从理论上讲，在这个空间中的每一个点都代表一种颜色，因而，在这个空间中有16.7兆种颜色。但从实际上看，这16.7兆个点并不简单的划分为16.7兆种颜色。GRB255RGB颜色空间颜色空间255255本讲稿第二十八页，共四十五页HIS 颜色模型本讲稿第二十九页，共四十五页颜色空间的相互转换 本讲稿第三十页，共四十五页图5.30划分HSI空间的方法颜色模型的转换颜色模型的转换本讲稿第三十一页，共四十五页计算机视觉预备知识计算机视觉预备知识暂时到此本讲稿第三十二页，共四十五页返回本讲稿第三十三页，共四十五页返回本讲稿第三十四页，共四十五页图像处理由于实际景物转换为图像信号时，总会引入各种噪声或畸由于实际景物转换为图像信号时，总会引入各种噪声或畸变失真，一般需要先进行图像处理。变失真，一般需要先进行图像处理。这一过程借用了大量的图象处理技术和算法，如这一过程借用了大量的图象处理技术和算法，如图象滤波、图象滤波、图像增强、边缘检测图像增强、边缘检测等，以便从图象中抽取诸如等，以便从图象中抽取诸如角点、边缘角点、边缘线条、边界以及色彩等关于场景的基本特征线条、边界以及色彩等关于场景的基本特征；这一过程还包含了各种图象变换（如校正）、图象纹理检测、图这一过程还包含了各种图象变换（如校正）、图象纹理检测、图象运动检测等；象运动检测等；有时还采用有时还采用图像编码压缩技术图像编码压缩技术大大地减少信息量，以达到大大地减少信息量，以达到减少对计算机存储容量和传输通道的要求。减少对计算机存储容量和传输通道的要求。返回本讲稿第三十五页，共四十五页图象分析图象分析的主要任务是恢复场景的深度、表面法图象分析的主要任务是恢复场景的深度、表面法线方向、轮廓等有关场景的线方向、轮廓等有关场景的 2.5 2.5 维信息。维信息。实现的途径有立体视觉、测距成象、运动估计、实现的途径有立体视觉、测距成象、运动估计、明暗特征、纹理特征等估计方法。明暗特征、纹理特征等估计方法。系统标定、系统成象模型等研究内容一般也是在这系统标定、系统成象模型等研究内容一般也是在这个层次上进行的。个层次上进行的。返回本讲稿第三十六页，共四十五页图象理解图象理解是在以物体为中心的坐标系中，图象理解是在以物体为中心的坐标系中，在原始输入图象、图象基本特征、在原始输入图象、图象基本特征、2.5 2.5 维图的基础上，恢复物体的完整三维图，维图的基础上，恢复物体的完整三维图，建立物体三维描述，识别三维物体并确建立物体三维描述，识别三维物体并确定物体的位置和方向。定物体的位置和方向。返回本讲稿第三十七页，共四十五页绝大部分问题为病态问题绝大部分问题为病态问题 由于视觉问题是成象过程的逆过程，由于视觉问题是成象过程的逆过程，成象是从三维向二维投成象是从三维向二维投影的过程影的过程，因而在这个过程中会把深度信息丢失，因而在这个过程中会把深度信息丢失，造成图象的造成图象的多义性多义性，同时诸如光照，同时诸如光照材料特性、朝向、距离等信息都材料特性、朝向、距离等信息都反映成唯一的测量值反映成唯一的测量值灰度，因而灰度，因而要从这唯一的测量值要从这唯一的测量值恢复上述一个或几个反映物体本质特征的参数是一个病态恢复上述一个或几个反映物体本质特征的参数是一个病态的过程的过程。成象中由于大气扰动、镜头因素、传感器噪声、传输噪成象中由于大气扰动、镜头因素、传感器噪声、传输噪声以及量化噪声等的干扰，都会使图象产生失真，这些声以及量化噪声等的干扰，都会使图象产生失真，这些干扰多具有随机性。干扰多具有随机性。以上这些病态性问题，在处理和分析过程中都会导致图象的解以上这些病态性问题，在处理和分析过程中都会导致图象的解不唯一。不唯一。返回本讲稿第三十八页，共四十五页原始信息被污染，信息处理量巨大原始信息被污染，信息处理量巨大 灰灰度度图图象象，彩彩色色图图象象，深深度度图图象象的的信信息息量量十十分分巨巨大大，比比如如分分辨辨率率为为640480640480的的8 8位位灰灰度度图图象象的的数数据据量量为为300K300K，同同样样分分辨辨率率的的彩彩色色图图象象的的数数据据量量是是900K900K。如如果果处处理理的的是是图图象象序序列列，则则数数据据量量更更大大。巨巨大大的的数数据据量量需需要要巨巨大大的的存存贮贮空空间间，还还不不易易实实现现快快速速处处理理。同同时时，由由于于光光学学成成像像通通道道和和电电子子线线路路成成像像通通道道存存在在大大量量的的随随机机噪噪声声，使使得得原原始始信信息息被被污污染染，这这也也增增加加了了后后续续处处理理的的难难度。度。返回本讲稿第三十九页，共四十五页一种知识导引与管理系统一种知识导引与管理系统在在视视觉觉过过程程中中对对一一幅幅图图象象的的理理解解需需要要大大量量的的关关于于任任务务领领域域的的知知识识，这这些些知知识识不不同同于于问问题题求求解解中中的的知知识识可可以以明明确确地地显显式式表示；表示；人人类类获获取取信信息息的的6060-80-80是是通通过过视视觉觉得得到到的的，因因而而这这些些知知识识涉涉及及面面之之广广难难以以预预测测。因因此此视视觉觉系系统统中中的的知知识识管管理理是是一一个重要的问题。个重要的问题。我我们们会会看看到到，计计算算机机视视觉觉系系统统的的最最大大特特征征是是，在在视视觉觉的的各各个个阶阶段段，系系统统尽尽可可能能地地进进行行自自动动运运算算。为为此此，系系统统需需要要使使用用各各种种知知识识，包包括括特特征征模模型型、成成象象模模型型、物物体体模模型型和和物物体体间间的的关关系系等等。如如果果计计算算机机视视觉觉系系统统不不用用这这些些知知识识，则则其其应应用用的的范范围围及及其其功功能能将将十十分有限。分有限。返回本讲稿第四十页，共四十五页多学科交叉与结合多学科交叉与结合 计算机视觉计算机视觉计算机科学计算机科学心理学心理学生理学生理学物理学物理学信号处理信号处理数学数学图象图形学图象图形学模模式式识识别别与与人工智能人工智能返回本讲稿第四十一页，共四十五页黑白图象数字化视视频频输入输入预预 处处理理A/D数数字字输输出出同同步步锁锁相相采采样样脉脉冲冲形成形成地地址址形形成成地地址址输输出出返回本讲稿第四十二页，共四十五页彩色图象数字化 解码器解码器彩色视频输入彩色视频输入预处理预处理A/DGD预处理预处理A/DRD预处理预处理A/DBD返回本讲稿第四十三页，共四十五页图像的灰度直方图 n（I）-I 为一幅图像的灰度直方图（图514）对灰度图像而言，一个图像的灰度直方图整体地描述了这幅图像的灰度分布设I1，I2，IL为一幅给定图像的离散强度，则直方图的第j个值为：其中，mj为灰度Ij的像素点的数目，m为图像总像素数。n（I）I图514 一幅图像的灰度直方图返回本讲稿第四十四页，共四十五页原图与二值化图的对照 000000000000000000000000000000000000000000000010000000000000000000011100000000000000000011111100000000000000011111111100000000000011111111111110000000000000000000000000000000000000000000000返回本讲稿第四十五页，共四十五页