(精品)第4讲 图像信号处理.ppt

《(精品)第4讲 图像信号处理.ppt》由会员分享，可在线阅读，更多相关《(精品)第4讲 图像信号处理.ppt（78页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、3.1.1 3.1.1 颜色的基本概念颜色的基本概念一幅图像f(x,y)其分辨率为其分辨率为 512512 256256 PAL制 25帧/秒NTSC制 30帧/秒图像是二维数据视频是三维数据 多媒体计算机处理图像和视频，首先必须多媒体计算机处理图像和视频，首先必须把连续的图像函数把连续的图像函数f(x,y)进行空间和幅值的离进行空间和幅值的离散化处理。散化处理。采采 样：空间连续坐标样：空间连续坐标(x,y)的离散化，叫做采样；的离散化，叫做采样；量量 化：化：f(x,y)颜色的离散化，称之为量化。颜色的离散化，称之为量化。数字化：两种离散化结合在一起，叫做数字化，数字化：两种离散化结合在一

2、起，叫做数字化，离散化的结果称为数字图像。离散化的结果称为数字图像。采样和量化采样和量化YXf(x,y)X Y的离散化称为采样f(x,y)值的离散化称为量化 亮度、色调、饱和度亮度、色调、饱和度Y 亮度：光的强和弱。H 色调：光的波长、人眼的感觉(反映)颜 色(的基本特征)。S 饱和度：颜色渗入白光的程度(表示)颜色 深浅的程度。红+白光 粉红色 饱和度下降红+另一种颜色的光 色调发生变化三基色三基色(RGB)的原理：的原理：自然界常见的各种颜色光，都是由红自然界常见的各种颜色光，都是由红(R)、绿绿(G)、蓝、蓝(B)三种颜色光按不同比例相配而成，三种颜色光按不同比例相配而成，同样绝大多数颜

3、色也可以分解成红、绿、蓝同样绝大多数颜色也可以分解成红、绿、蓝三种色光，这就是色度学中最基本的原理三种色光，这就是色度学中最基本的原理三基色原理。三基色原理。红色红色+绿色绿色=黄色黄色红色红色+蓝色蓝色=品红品红绿色绿色+蓝色蓝色=青色青色红色红色+绿色绿色+蓝色蓝色=白色白色 RGB和黑白电视信号不兼容，希望和黑白电视信号不兼容，希望空中发射的信号转换成空中发射的信号转换成YUV信号。信号。当白光的亮度用当白光的亮度用Y来表示时，它和来表示时，它和红、绿、蓝三色的关系可用如下方程描红、绿、蓝三色的关系可用如下方程描述：述：Y=0.299R+0.587G+0.114B 3.1.2 3.1.2

4、 彩色空间彩色空间1.RGB彩色空间彩色空间 显示器需要的彩色空间显示器需要的彩色空间2.YUV 和和 YIQ 彩色空间彩色空间 PAL 制式使用YUV 彩色空间彩色空间 NTSC制式使用YIQ彩色空间彩色空间3.HSI彩色空间彩色空间4.其它彩色空间表示其它彩色空间表示Y是亮度，是亮度，UV和和IQ是色差是色差 1.RGB 空间空间任意颜色的光F，其配色方程可写成：F=rR+gG+bB 其中r、g、b 为三个系数 rR、gG、bB为F色光的三色分量2.YUV 和和 YIQ 彩色空间彩色空间 在 现 代 彩 色 电 视 系 统 中，常 采 用 三 管 彩 色 摄 像 机 或 彩 色 C C D

5、 摄 像 机，它 把 摄 得 的 彩 色 图 像 信 号，经 分 色 棱 镜 分 成 R、G、B 三 个 分 量 的 信 号，分 别 经 放 大 和 校 正得到RGB，再经过矩阵变换电路得到亮度信号Y、色差信号R-Y和B-Y，最后发送端将Y、R-Y及B-Y三个信号进行编码，用同一信道发送出去。这就是我们常用的YUV彩色空间。3333QFVI图3.-3 IQ轴与UV轴的关系U美国、日本等国采用的NTSC制，选用了YIQ彩色空间，Y仍为亮度信号，I、Q仍为色差信号，但它们与U、V是不同的，其区别是色度矢量图中的位置不同，如图3.3所示，Q、I为互相正交的坐标轴，它与U、V正交轴之间有33夹角。33

6、33QFVI图3.3 IQ轴与UV轴的关系U由图3.3可知I、Q与V、U之间的关系可以表示成：用用YUV和和YIQ的好处：的好处：(1).亮度信号Y解决了彩色电视机与黑白电 视的兼容问题。(2).大量实验表明，人眼对色差信号不敏 感，而对亮度信号特别敏感。Y 带宽4.43MHz（PAL）（因为敏感）U、V 带宽1.3MHz (因为不敏感)(4).量化比例 由于人眼对亮度信号敏感，选择量化的比例为：Y:U:V=8:4:4 Y:U:V=8:2:2 Y:U:V=8:8:8 3.HSI彩色空间在HSI彩色空间中，人们常用H、S、I3个参数描述颜色特性，其中H表示色调（Hue），S表示颜色的饱和度（Sa

7、turation），I表示光的强度（Intensity）。用一个三维空间的枣形立体图（见图3.4），可以把颜色的这三个参量的特性更加形象的表示出来。白 黑亮度绿黄绿蓝绿绿蓝蓝亮和度紫饱和度色调黄橙红图3.4 颜色立体图4.其它彩色空间表示彩色空间表示还有很多种，如CIE（国际照明委员会）制定的CIE XYZ，CIE LAB彩色空间，CCIR（Consultative Committee International Radio）制定的CCIR601-2YCbCr彩色空间。按照CCIR601-2建议，欧洲电视专家组将非线性的RGB信号编码成YCbCr，编码过程开始是先采用符合SMPTE-CRGB（

8、它定义了三种荧光粉及一种参考白光，应用于演播室监视器及电视接收机标准的RGB）基色作为校正信号。非线性RGB信号很容易与一个常量矩阵相乘而得到亮度Y和两个色差信号Cb和Cr。靠近中心轴的彩色，其亮度信号与CIEXYZ的Y成分的r校正形式非常接近，CCIR601-2YCbCr通常在图像压缩时选作彩色空间，而在通信中是一种非正式标准。3.1.3 3.1.3 彩色空间的转换其实现技彩色空间的转换其实现技术术 RGB与与YUV和和YIQ之间的转换之间的转换 HSI空间与空间与RGB之间的转换之间的转换1.RGB与与YUV和和YIQ之间的转换之间的转换 Y 0.3 0.59 0.11 R U =-0.1

9、5 -0.29 0.44 G V 0.61 -0.52 -0.096 B Y 0.3 0.59 0.11 R I =0.6 -0.28 -0.32 G Q 0.21 -0.52 0.31 B 3.HSI空间空间 H：Hue 代表色调（纯度、颜色）S：Saturation 代表饱和度 I：Intensity 代表亮度 HSI彩色空间与彩色空间与RGB彩色空间之间的转换彩色空间之间的转换例例:黄色黄色=蓝色蓝色 RGB处理黄蓝红143绿143蓝313131255RGB值组成黄色像素红色值143绿色值143蓝色值31新的RGB值组成蓝色像素红色值31绿色值31蓝色值255HSI处理黄蓝色调60饱和度

10、180亮度105240180105HSI值组成黄色像素色调值60饱和度180亮度105新的HSI值组成蓝色像素色调值240饱和度180亮度105多媒体计算机系统涉及到多种彩色空间，在CD-I系统中，支持的图像格式、视频方式有DYUV、RGB5:5:5、CLUT8、CLUT7、CLUT4、RL7以及RL3。其中DYUV方式与CCIR601-2YCbCr有密切联系；RGB5:5:5方式采用RGB彩色空间，RGB每个分量占用5位；CLUT8、CLUT7、CLUT4、RL7以及RL3采用的也是RGB彩色空间，它用彩色查找表（Color Look-up Table-CLUT，也叫调色板）进行映射和解码。

11、在DVI系统中采用YUV彩色空间，它所支持的图像格式又涉及到YIQ、RGB彩色空间，其中RGB支持8位、16位和24位。综上所述，搞清楚彩色空间表示以及它们之间的转换，是多媒体计算机彩色图形、静态图像以及动态图像（Video）处理算法的基础。3.1.4 3.1.4 彩色全电视信号彩色全电视信号1.1.黑白全电视信号黑白全电视信号3.3.彩色全电视信号彩色全电视信号 电视摄像机是一种广泛使用的视频和电视摄像机是一种广泛使用的视频和图像的输入设备，它能将景物、图片等光图像的输入设备，它能将景物、图片等光学信号转变为全电视信号，目前主要有黑学信号转变为全电视信号，目前主要有黑白和彩色两种摄像机。白和

12、彩色两种摄像机。3.1.4 3.1.4 黑白和彩色全电视信号黑白和彩色全电视信号1.1.黑白全电视信号黑白全电视信号3.3.彩色全电视信号彩色全电视信号1.黑白全电视信号黑白全电视信号全电视信号主要由三个部分组成：图像信号复合消隐信号复合同步信号从时间上看全电视信号：每行时间为 64 s行消隐 11.8s图像 53.2s行同步信号 4.7 s行延迟 1.3 s 一帧 =奇数场 +偶数场 625行=313.5 +313.5 场消隐 =25 64 +11.8 =1600 +11.8 =1611.8 s 场同步=3 64=192 s 全电视信号全电视信号3.1.4 3.1.4 黑白和彩色全电视信号黑

13、白和彩色全电视信号1.1.黑白全电视信号黑白全电视信号3.3.彩色全电视信号彩色全电视信号3.彩色全电视信号彩色全电视信号 在现代彩色电视系统中，通常采用YUV彩色空间或YIQ彩色空间，Y为亮度信号，它可以与黑白全电视信号兼容，U和V用载波频率SC调制加到亮度Y上，最后形成彩色全电视信号，如下式所示：CVBS=Y+UsinSCt+S(t)VcosSCt _ 在NTSC制系统中，U信号调制在副载波的零相位上，而V信号是固定地调制在90。的相位上的。在PAL制系统中，调制情况略有差别。U信号的调制与NTSC制相同，而V信号的调制是：第一行调制在90。的相位上（与NTSC制相同，称为NTSC行）；下

14、一行（同隔行扫描是下面的第三行）调制在270。的相位上（称为PAL行）；再下一行又回到90。的相位上。按此顺序，V信号调制相位逐行倒相180。在PAL制系统中，调制情况略有差别。图3.8示出了PAL制的平衡正交调制的倒相原理。根据图3.8的矢量图，可写出PAL制色度信号Ch的表达式Ch=UsinSCt+S(t)VcosSCt （3.16）式中，S(t)称为PAL开关函数，它是双极性矩形脉冲，其重复周期为行周期Th的两倍，幅度为+1和-1。PAL开关函数S(t)代表PAL制系统的根本特征，它的引入相当有效地克服了NTSC制系统中对信道微分相位敏感的缺点，这是PAL制取得成功的原因。最后将亮度、复

15、合同步信号混合放大，形成PAL制彩色全电视信号。以100%幅度和100%饱和度(简写为100/100)的彩条信号为例的彩色全电视信号如图所示。在75欧负载上，100/100彩条的彩色全电视信号各部分的电平标准（输入信号R、G、B、幅度为0.7V时)2023/4/7363.2.1 3.2.1 视频信号获取器的工视频信号获取器的工作原理作原理1.A/D变换和数字解码变换和数字解码3.窗口控制器窗口控制器 3.帧存储器系统帧存储器系统4.数模转换和矩阵变换数模转换和矩阵变换5.视频信号和视频信号和VGA信号的叠加信号的叠加6.数字式多制式视频信号编码部分数字式多制式视频信号编码部分2023/4/73

16、7图3.10 多媒体计算机视频信号获取器总体框图 2023/4/7381.A/D变换和数字解码变换和数字解码 图3.11 视频模拟输入接口TDA 8708原理方框图2023/4/7393.窗口控制器窗口控制器 图3.12 PC Video窗口控制器 2023/4/740 3.帧存储器系统帧存储器系统 帧存储器的主要作用有三个：(1).从摄像机来的视频信号，经过A/D变换，数 字解码，在视频窗口控制器的控制下，将他 们实时的村到帧存储器，大约74ns存一个像 素数据。(2).彩色监视器每隔74ns要从帧存储器去一个像 素数据，经D/A转换，变成模拟的RGB信号，供彩色监视器显示帧存储器中真彩色全

17、屏幕 运动图像使用。(3).计算机可以通过视频窗口控制器，对阵存储 器的内容进行读写操作。2023/4/7414.数模转换和矩阵变换数模转换和矩阵变换 这部分由两个器件组成，即D/A转换器SAA9065和视频信号处理器TDA4680。5.视频信号和视频信号和VGA信号的叠加信号的叠加 由于两路信号均为模拟信号，因此使用了模拟开关电路实现两信号的叠加。色键：Color Key2023/4/7426.数字式多制式视频信号编码部分数字式多制式视频信号编码部分 这部分只选用了数字或多制式视频信号编码器SAA7199。它是以数字方式进行视频信号编码的编码器，支持PAL和NTSC 两种制式。在设计制造视频

18、信号获取器的过程在设计制造视频信号获取器的过程中，为了调试硬件的正确性，并给用户中，为了调试硬件的正确性，并给用户提供方便的编程环境，还需要设计：诊提供方便的编程环境，还需要设计：诊断软件、在断软件、在DOS和和Windows环境下的演环境下的演示软件，应用软件以及库函数。示软件，应用软件以及库函数。3.2.3 3.2.3 视频信号获取器的视频信号获取器的 诊断和驱动软件诊断和驱动软件图3.19视频信号获取器诊断调试软件框图 3.20 3.3.1 视频数字信号快速处理器的作用视频数字信号快速处理器的作用 3.3.2 基于基于DSP的视频信号快速处理器的视频信号快速处理器 3.3.3 流水线结构

19、的图像处理机流水线结构的图像处理机 3.3 3.3 视频信号的实时处理视频信号的实时处理3.3.1 3.3.1 视频数字信号快速处理器的作用视频数字信号快速处理器的作用数学运算数学运算 ：（1 1）点处理）点处理（2 2）二维卷积运算）二维卷积运算（5 5）统计量计算）统计量计算（4 4）坐标变换）坐标变换（3 3）二维正交变换）二维正交变换举一个简单的例子，一个装配机器人的视觉系统，要举一个简单的例子，一个装配机器人的视觉系统，要在传送带上识别出所要的机械零件，确定该零件的位在传送带上识别出所要的机械零件，确定该零件的位置，然后命令机械手把它抓起来，根据已有的装配工置，然后命令机械手把它抓起

20、来，根据已有的装配工艺知识进行装配。相对来说，这是一个比较简单的计艺知识进行装配。相对来说，这是一个比较简单的计算机视觉问题，其计算理论及算法已经解决。具体的算机视觉问题，其计算理论及算法已经解决。具体的作法是计算机把摄像机摄到的图像数字化成一幅作法是计算机把摄像机摄到的图像数字化成一幅512 512 8bit的数字图像，然后把图像上的零件分割出来，的数字图像，然后把图像上的零件分割出来，抽取特征，进行识别匹配，确定几何位置，最后，命抽取特征，进行识别匹配，确定几何位置，最后，命令机械手完成抓取和装配的任务。处理一幅令机械手完成抓取和装配的任务。处理一幅512 512 8bit的图像，把零件和

21、背景、零件和零件分割出来的的图像，把零件和背景、零件和零件分割出来的典型运算是进行典型运算是进行 3 3的卷积（的卷积（Sobel算子）。如果卷积算子）。如果卷积是实时的（是实时的（25帧帧/s），则运算速度要求为：），则运算速度要求为：512 512 9 2 25/s 118MOPS全部地完成上述任务，计算机所要进行的操作约为上述的10100倍，即要求计算机实时处理的速度为118011800MOPS。上述问题的算法已经解决，但是这样的运算速度在通用计算机上却难以实现。所以，在通用计算机上处理视觉信号，主要有下述两个局限性：一是运算速度一是运算速度慢；一是内存容量小。慢；一是内存容量小。为了解

22、决上述问题，可以采用如下几种方案：（1）利用大型高速计算机组成通用视频信号处理系统（2）小型高速阵列机（3）采用专用的视觉处理器3.3.23.3.2基于基于DSPDSP的视频信号快速处理器的视频信号快速处理器 现在人们已经认识到，要降低成本提高系统性能，现在人们已经认识到，要降低成本提高系统性能，满足实时视觉信息处理的要求，最好的办法是采用满足实时视觉信息处理的要求，最好的办法是采用VLSI技术，设计专用的适用于视频信号处理算法的技术，设计专用的适用于视频信号处理算法的DSP（Digital Signal Processor）芯片。换句话说，对某）芯片。换句话说，对某一个具体问题，减少计算机不

23、必要的通用性，增加专用一个具体问题，减少计算机不必要的通用性，增加专用的的DSP芯片及并行、流水线结构，将会形成新一代的视芯片及并行、流水线结构，将会形成新一代的视频信号处理系统。频信号处理系统。1DSP结构结构3.专用的专用的DSP3基于基于DSP方法的视频信号方法的视频信号 快速处理器的设计快速处理器的设计3.3.2基于DSP的视频信号快速处理器1DSP结构结构DSP是一种集成度很高的数字信号处理器，主要用于语音、图像等信号的处理。随着VLSI技术的发展，从1987年以来，DSP的产品越来越多，应用也越来越广泛。3.专用的专用的DSP有些DSP芯片的结构和性能，非常适用于视觉信息低层次的处

24、理，称为图像处理专用的DSP芯片。表3.2DSP芯片比较 3基于基于DSP方法的视频信号快速处方法的视频信号快速处理器的设计理器的设计图3.21基于DSP的视频信号获取和快速处理器总体框图 A110按其功能可分为两大部分：按其功能可分为两大部分：卷积器卷积器后处理部件后处理部件22举例：举例：机器人视觉中机器人视觉中的双目效应的双目效应图3.23 美国Aspex公司生产的流水线结构图象处理机PIPE(Pipelined Image Processing Engine)与传统的流水线结构的计算机相比,关键的不同是系统连接的灵活性和动态的重构能力。3.3.3 3.3.3 流水线结构的图像处理机流水

25、线结构的图像处理机 1).“向前”通道(Forward Path)和“向 后”通道(Backward Path)及“递归”通道(Recursive Path)有了连接灵 活性和动态的重构能力。2).六条视频总线 PIPE机特别适合完成下述几种视觉处理运算：1.点处理3.空间邻域处理3.图像序列处理4.布尔处理5.ROI（Region of Interest）运算24组成：(1).视频接口(Video Interface Stage)(2).输入级(Input Stage)和输出级 (Output Stage)(3).模块处理级MPS(Modular Processing Stage)MPS组成

26、：有三个查找表（FLUT，RLUT，BLUT）两个ALU（ALUA和ALUB）组成一个3输入端的多功能的ALU两个帧存储器用做专用存储器一个输出的ALU 二维函数查找表TVF（Two Valued Fuction）(4).ISMAP 将视觉低层处理的结果从图像数据变换为符号数据，实现实时获取直方图、累加直方图、特征链以及各特征的指针链。(5).控制级 由时序发生器、命令序列器以及计算机接口组成。3.4 图像文件格式及其转换图像文件格式及其转换3.4.1 静态图像文件格式静态图像文件格式3.4.2 动态图像压缩编码文件格式动态图像压缩编码文件格式3.4.1 静态图像文件格式静态图像文件格式目前世

27、界上静态图像文件格式比较多，除了我们将介绍分析的比较流行的六种之外，还有Utah RLE，PICT Version 2（Macintosh），IFF（Interchange file format），Sun Rasterfile，Cell array（GKS），Pixel array（CGI），CCITT Fax（T4）及RLE（Run-Length Encoding）等。下面将介绍比较流行的六种 1.图形变换格式3.标记图像文件格式3.目标图像格式4.位图5.PCX6.MMP1.图形变换格式图形变换格式（Craphics Interchange Format,GIF）文件格式是由CompuS

28、erve公司在1987年6月为了制定彩色图像传输协议而开发的，它支持64000像素的图像，256到16M颜色的调色板，单个文件中的多重图像，按行扫描的迅速解码，有效地压缩以及硬件无关性。3.标记图像文件格式标记图像文件格式（Tag Image File Format,TIFF）鉴于GIF文件格式，为了放弃一些过时的格式引进了标志域的方法，TIFF文件格式全部都是基于标志域的概念。Alaus和Microsoft公司为扫描仪和桌上出版系统研制开发了TIFF较为通用的图像文件格式，TIFF一出现就得到广泛的应用，这大大超过了设计者的想象，TIFF文件格式如图3.26所示。3.目标图像格式4.位图 位

29、图（位图（Bitmap，BMP）是一种与设备无）是一种与设备无关的图像文件格式，它是关的图像文件格式，它是Windows软件软件推荐使用的一种格式，随着推荐使用的一种格式，随着Windows的的普及，普及，BMP的应用会越来越广泛。的应用会越来越广泛。BMP是一种位映射的存储形式，其结构如是一种位映射的存储形式，其结构如 图图3.28所示所示 5.PCX PCX图像文件格式是图像文件格式是Zsoft公司研制开发的，主公司研制开发的，主要与商业性要与商业性PC-Paint brush图像软件一起使用。图像软件一起使用。PCX文件可以分成三类：各种单色文件可以分成三类：各种单色PCX文件；文件；不

30、超过不超过16种颜色的种颜色的PCX文件；具有文件；具有256颜色的颜色的PCX图像文件。图像文件。PCX图像文件格式与特定图形图像文件格式与特定图形显示硬件密切相关，其格式一般为显示硬件密切相关，其格式一般为256色和色和16色，不支持真彩色的图像存储，存储方式通常色，不支持真彩色的图像存储，存储方式通常采用采用RLE压缩编码，读写压缩编码，读写PCX时需要一段时需要一段RLE（行程编码）和解码程序（行程编码）和解码程序。6.MMPMMP图像文件格式是图像文件格式是AniVideo公司以及清公司以及清华大学计算机系，在他们设计制造的华大学计算机系，在他们设计制造的AniVideo和和THVi

31、deo、视频信号采集板视频信号采集板中采用的图像文件格式。为了使视频数据能和中采用的图像文件格式。为了使视频数据能和电视视频信号兼容，它的图像数据采用电视视频信号兼容，它的图像数据采用YUV的的形式，这和计算机图形数据（形式，这和计算机图形数据（RGB）有较大的）有较大的不同，因此，它的通用性不如前面几种格式。不同，因此，它的通用性不如前面几种格式。3.4.2 动态图像压缩编码文件格式动态图像压缩编码文件格式MPG数据流结构分为六个层次：序列层数据流结构分为六个层次：序列层（Sequence layer）、图像组层（）、图像组层（Group of Picture）、图像层（）、图像层（Picture）、片层）、片层（Slice），宏块层（），宏块层（Macroblock）以及）以及块层（块层（Block layer）。）。