数字图像处理及应用(MATLAB)第5章.ppt
《数字图像处理及应用(MATLAB)第5章.ppt》由会员分享,可在线阅读,更多相关《数字图像处理及应用(MATLAB)第5章.ppt(83页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、第五章第五章 数字视频及压缩编码技术数字视频及压缩编码技术 5.1 数字视频的几个概念数字视频的几个概念 5.2 视频检测技术视频检测技术5.3 视频压缩编码技术基础视频压缩编码技术基础5.4 熵编码熵编码 5.5 变换编码变换编码数字视频图像是把若干连续的静止图像(帧)在时间上关联起来,成为一个图数字视频图像是把若干连续的静止图像(帧)在时间上关联起来,成为一个图像序列。数字视频可被当作一个静止图像序列来处理。其中各帧的处理是相对独立像序列。数字视频可被当作一个静止图像序列来处理。其中各帧的处理是相对独立的,一般情况都是针对视频图像序列中的关键帧进行的。而数字视频技术中的核心的,一般情况都是
2、针对视频图像序列中的关键帧进行的。而数字视频技术中的核心是图像压缩技术,这是由数字图像本身的特点所决定的。近年来,多媒体技术得到是图像压缩技术,这是由数字图像本身的特点所决定的。近年来,多媒体技术得到迅速发展,一个多媒体计算机系统必然涉及到静态图像和动态视频图像的各种处理。迅速发展,一个多媒体计算机系统必然涉及到静态图像和动态视频图像的各种处理。微电子和数字信号处理技术的应用,推动着计算机视频技术迅速发展。微电子和数字信号处理技术的应用,推动着计算机视频技术迅速发展。本章在介绍数字视频基本概念的基础上,讲述了视频检测技术和视频压缩技本章在介绍数字视频基本概念的基础上,讲述了视频检测技术和视频压
3、缩技术,并对熵编码和变换编码进行阐述。术,并对熵编码和变换编码进行阐述。5.1 数字视频的几个概念5.1.1 模拟视频与数字视频视频就其本质而言,就是其内容随时间变化的一组静态图像(每秒视频就其本质而言,就是其内容随时间变化的一组静态图像(每秒2525或或3030帧)帧),所以视频又被称为运动图像或活动图像。模拟视频是一种用于传输图像和声,所以视频又被称为运动图像或活动图像。模拟视频是一种用于传输图像和声音且随时间连续变化的电信号。早期视频的获取、存储和传输都是采用模拟方音且随时间连续变化的电信号。早期视频的获取、存储和传输都是采用模拟方式。人们在电视上所见到的视频图像就是以模拟电信号的形式记
4、录下来,并用式。人们在电视上所见到的视频图像就是以模拟电信号的形式记录下来,并用模拟调幅的手段在空间传播、再由磁带录像机将其模拟电信号记录在磁带上。模拟调幅的手段在空间传播、再由磁带录像机将其模拟电信号记录在磁带上。为了存储视觉信息,模拟视频信号的山峰和山谷必须通过模为了存储视觉信息,模拟视频信号的山峰和山谷必须通过模/数转换器数转换器(A/DA/D)来转变为数字的)来转变为数字的“0 0”或或“1 1”。这个转变过程就是我们所说的视频捕捉。这个转变过程就是我们所说的视频捕捉(或采集过程)。如果要在电视机上观看数字视频,则需要一个从数字到模拟(或采集过程)。如果要在电视机上观看数字视频,则需要
5、一个从数字到模拟的转换器将的转换器将二进制二进制信息解码成模拟信号,才能进行播放。信息解码成模拟信号,才能进行播放。数字视频就是以数字形式记录的视频,数字视频有不同的产生方式、存储方式和播放方式,比如通过数字摄像机直接产生数字视频信号存储在数字带、磁盘上等。模拟视频的数字化包括许多技术问题,如电视信号具有不同的制式而且采用复合的YUV信号方式,而计算机工作在RGB空间;电视机是隔行扫描,计算机显示器大多逐行扫描;电视图像的分辨率与显示器的分辨率也不尽相同等等。因此,模拟视频的数字化主要包括色彩空间的转换、光栅扫描的转换以及分辨率的统一。模拟视频一般采用分量数字化方式,先把复合视频信号中的亮度和
6、色度分离,得到YUV或YIQ分量,然后用三个模/数转换器对三个分量分别进行数字化,最后再转换成RGB空间。一般来说,视频包括可视的图像和可闻的声音,然而由于伴音是处于辅助的地位,并且在技术上视像和伴音是同步合成在一起的,因此具体讨论时有时把视频(video)与视像(visual)等同,而声音或伴音则总是用audio表示。所以,在用到”视频”这个概念时,它是否包含伴音要视具体情况而定。5.1.2 数字视频的特点 由于视频最初是以模拟的电信号形式产生和发展起来的,所以,数字由于视频最初是以模拟的电信号形式产生和发展起来的,所以,数字视频的发展也就必然从模拟视频数字化开始。这既是视频技术要求的,同视
7、频的发展也就必然从模拟视频数字化开始。这既是视频技术要求的,同时也是计算机多媒体技术要求的。时也是计算机多媒体技术要求的。数字视频有以下几个特点:数字视频有以下几个特点:(1)在数字环境下,视频(包括音频)从整体上讲已不再是一个连续的随在数字环境下,视频(包括音频)从整体上讲已不再是一个连续的随时间变化的电信号,而是一个由离散数字时间变化的电信号,而是一个由离散数字“0”和和“1”编码的能够传输和编码的能够传输和记录的记录的“比特流比特流”。(2)在数字环境下,活动影音的图像也不再是连续的电子图像,而是一个在数字环境下,活动影音的图像也不再是连续的电子图像,而是一个不连续的以像素为单元的点阵化
8、数字图像。图像的清晰与否是由点阵化的不连续的以像素为单元的点阵化数字图像。图像的清晰与否是由点阵化的像素数量决定的。像素数量决定的。(3)未经压缩的原始数字视频的数据量是非常大的。未经压缩的原始数字视频的数据量是非常大的。(4)在数字环境下,数字视频有无数种在数字环境下,数字视频有无数种“媒体格式媒体格式”。它们大都是按照。它们大都是按照不同的压缩编码标准、存储介质类型、记录方式及其平台类型等形成自己不同的压缩编码标准、存储介质类型、记录方式及其平台类型等形成自己不同的格式标准。不同的格式标准。(5)在数字环境下,数字视频是可以进行非线性编辑和非线性检索的,在数字环境下,数字视频是可以进行非线
9、性编辑和非线性检索的,并可以有选择地进行实时和非实时播放,以及适应带宽条件调整画面分辨并可以有选择地进行实时和非实时播放,以及适应带宽条件调整画面分辨率。率。5.1.3 数字视频的采样格式 根据电视信号的特征,亮度信号的带宽是色度信号带宽的两倍。因此其数字根据电视信号的特征,亮度信号的带宽是色度信号带宽的两倍。因此其数字化时可采用幅色采样法,即对信号的色差分量的采样率低于对亮度分量的采样率。化时可采用幅色采样法,即对信号的色差分量的采样率低于对亮度分量的采样率。用用Y:U:V来表示来表示YUV三分量的采样比例,则数字视频的采样格式分别有三分量的采样比例,则数字视频的采样格式分别有4:1:1、4
10、:2:2和和4:4:4三种。三种。视频视频图像既是空间的函数,也是时间的函数,而图像既是空间的函数,也是时间的函数,而且又是隔行扫描式,所以其采样方式比扫描仪扫描图像的方式要复杂得多。分量采且又是隔行扫描式,所以其采样方式比扫描仪扫描图像的方式要复杂得多。分量采样时采到的是隔行样本点,要把隔行样本组合成逐行样本,然后进行样本点的量化样时采到的是隔行样本点,要把隔行样本组合成逐行样本,然后进行样本点的量化。,YUV到到RGB色彩空间的转换等等,最后才能得到数字视频数据。色彩空间的转换等等,最后才能得到数字视频数据。(1)Y:U:V4:1:1 这种方式是在每4个连续的采样点上,取4个亮度Y的样本值
11、,而色差U、V分别取其第一点的样本值,共6个样本。显然这种方式的采样比例与全电视信号中的亮度、色度的带宽比例相同,数据量较小。(2)Y:U:V4:2:2 这种方式是在每4个连续的采样点上,取4个亮度Y的样本值,而色差U、V分别取其第一点和第三点的样本值,共8个样本。这种方式能给信号的转换留有一定余量,效果更好一些。这是通常所用的方式。(3)Y:U:V4:4:4 在这种方式中,对每个采样点,亮度Y、色差U、V各取一个样本。显然这种方式对于原本就具有较高质量的信号源,可以保证其色彩质量,但信息量大。5.1.4 常用视频文件格式 视频格式可以分为适合本地播放的本地影像视频和适合在网络中播放的网络流媒
12、视频格式可以分为适合本地播放的本地影像视频和适合在网络中播放的网络流媒体影像视频两大类。网络流媒体影像视频的广泛传播性使之正被广泛应用于视频点体影像视频两大类。网络流媒体影像视频的广泛传播性使之正被广泛应用于视频点播、网络演示、远程教育、网络视频广告等因特网信息服务领域。现如今各种各样播、网络演示、远程教育、网络视频广告等因特网信息服务领域。现如今各种各样的视频格式很多,但是对于每一种视频格式都有各自的特点,只有熟悉了各种各样的视频格式很多,但是对于每一种视频格式都有各自的特点,只有熟悉了各种各样的视频格式,才能够为后来的视频格式的转换打好基础。下面就来简单地为给大家的视频格式,才能够为后来的
13、视频格式的转换打好基础。下面就来简单地为给大家介绍一些常见的视频格式:介绍一些常见的视频格式:1.AVI格式 它的英文全称为Audio Video Interleaved,即音频视频交错格式。它于1992年被Microsoft公司推出,随Windows3.1一起被人们所认识和熟知。所谓“音频视频交错”,就是可以将视频和音频交织在一起进行同步播放。这种视频格式的优点是图像质量好,可以跨多个平台使用,但是其缺点是体积过于庞大,而且更加糟糕的是压缩标准不统一,因此经常会遇到高版本Windows媒体播放器播放不了采用早期编码编辑的AVI格式视频,而低版本Windows媒体播放器又播放不了采用最新编码编
14、辑的AVI格式视频。2.DV-AVI格式 DV的英文全称是Digital Video Format,是由索尼、松下、JVC等多家厂商联合提出的一种家用数字视频格式。目前非常流行的数码摄像机就是使用这种格式记录视频数据的。它可以通过电脑的IEEE 1394端口传输视频数据到电脑,也可以将电脑中编辑好的视频数据回录到数码摄像机中。这种视频格式的文件扩展名一般也是.avi,所以我们习惯地叫它为DV-AVI格式。3.MPEG格式 它的英文全称为Moving Picture Expert Group,即运动图像专家组格式,家里常看的VCD、SVCD、DVD就是这种格式。MPEG文件格式是运动图像压缩算法
15、的国际标准,它采用了有损压缩方法从而减少运动图像中的冗余信息。MPEG的压缩方法说的更加深入一点就是保留相邻两幅画面绝大多数相同的部分,而把后续图像中和前面图像有冗余的部分去除,从而达到压缩的目的。目前MPEG格式有三个压缩标准,分别是MPEG-1、MPEG-2、和MPEG-4。MPEG-1:是针对1.5Mbps以下数据传输率的数字存储媒体运动图像及其伴音编码而设计的国际标准。也就是我们通常所见到的VCD制作格式。这种视频格式的文件扩展名包括.mpg、.mlv、.mpe、.mpeg及VCD光盘中的.dat文件等。MPEG-2:这种格式主要应用在DVD/SVCD的制作(压缩)方面,同时在一些HD
16、TV(高清晰电视广播)和一些高要求视频编辑、处理上面也有相当的应用。这种视频格式的文件扩展名包括.mpg、.mpe、.mpeg、.m2v及DVD光盘上的.vob文件等。MPEG-4:为了播放流式媒体的高质量视频而专门设计的,它可利用很窄的带度,通过帧重建技术,压缩和传输数据,以求使用最少的数据获得最佳的图像质量。这种视频格式的文件扩展名包括.asf、.mov和DivX、AVI等。4.MOV格式 美国Apple公司开发的一种视频格式,默认的播放器是苹果的QuickTimePlayer。具有较高的压缩比率和较完美的视频清晰度等特点,但是其最大的特点还是跨平台性,即不仅能支持MacOS,同样也能支持
17、Windows系列。5.ASF格式 用户可以直接使用Windows自带的Windows Media Player对其进行播放。由于它使用了MPEG-4的压缩算法,所以压缩率和图像的质量都很不错。6.WMF格式 是微软推出的一种采用独立编码方式并且可以直接在网上实时观看视频节目的文件压缩格式。主要优点包括:本地或网络回放、可扩充的媒体类型、可伸缩的媒体类型、多语言支持、环境独立性、丰富的流间关系以及扩展性等。5.1.5 数字视频常用处理技术 由于视频图像是由其内容随时间变化的一组静态图像组成,所以,在处理时,由于视频图像是由其内容随时间变化的一组静态图像组成,所以,在处理时,只要将连续的视频序列
18、分出一帧帧的静态图像,应用静态图像处理技术于每帧即可。只要将连续的视频序列分出一帧帧的静态图像,应用静态图像处理技术于每帧即可。然而,视频图像从数据形式和表现特征来看都与静态图像不同,它所表现的信息量然而,视频图像从数据形式和表现特征来看都与静态图像不同,它所表现的信息量和丰富程度要远大于静态图像。其处理技术也不可能单单靠静态图像的处理技术,和丰富程度要远大于静态图像。其处理技术也不可能单单靠静态图像的处理技术,视频处理大多数根据时间轴上连续的视频帧之间存在的相关性,并结合静态图像的视频处理大多数根据时间轴上连续的视频帧之间存在的相关性,并结合静态图像的处理方法来达到所需的目的。视频图像常用的
19、处理技术主要有视频检测、视频压缩、处理方法来达到所需的目的。视频图像常用的处理技术主要有视频检测、视频压缩、视频检索、视频剪辑和视频融合等内容,本章主要介绍视频检测和视频压缩。视频检索、视频剪辑和视频融合等内容,本章主要介绍视频检测和视频压缩。5.2 视频检测技术 视频检测视频检测所研究的所研究的对对象通常是象通常是图图像序列,运像序列,运动动目目标标分割的目的是从序列分割的目的是从序列图图像中像中将将变变化区域从背景中分割出来。静化区域从背景中分割出来。静态图态图像像f(x,y)是空间位置是空间位置(x,y)的函数,它与时的函数,它与时间间t变变化无关,只由化无关,只由单单幅静止幅静止图图像
20、无法描述物体的运像无法描述物体的运动动。而。而图图像序列的每一幅称像序列的每一幅称为为一一帧帧,图图像序列一般可以表示像序列一般可以表示为为f(x,y,t),和静态图像相比,多了一个时间参数,和静态图像相比,多了一个时间参数t,当采集的多,当采集的多帧图帧图像像获获取取时间间时间间隔相等,那么,隔相等,那么,图图像序列也可表示像序列也可表示为为f(x,y,i),i为图为图像像帧帧数。通数。通过过分析分析图图像序列,像序列,获获取景物的运取景物的运动动参数及各种感参数及各种感兴兴趣的趣的视觉视觉信息信息是是计计算机算机视觉视觉的重要内容,而运的重要内容,而运动动分割是它的关分割是它的关键键技技术
21、术。在应用视觉系统中,检测运动目标常用差分图像的方法,一般有两种情况,一在应用视觉系统中,检测运动目标常用差分图像的方法,一般有两种情况,一是当前图像与固定背景图像之间的差分称为减背景法,二是当前连续两幅图像是当前图像与固定背景图像之间的差分称为减背景法,二是当前连续两幅图像(时间间隔(时间间隔在应用视觉系统中,检测运动目标常用差分图像的方法,一般有两种情况,一是当前图像与固定背景图像之间的差分称为减背景法,二是当前连续两幅图像(时间间隔)之间的差分称为相邻帧差分法。所谓差影法,实际上就是图像的相减运算,是指把同一景物在不同时间拍摄的图像或同一景物在不同波段的图像相减。差值图像提供了图像间的差
22、异信息,能用以指导动态监测、运动目标检测和跟踪、图像背景消除及目标识别等。其算法流程图如图所示。差影法视频检测流程图在银行金库内,摄像头每隔一小段时间拍摄一幅图像,并与上一幅图像做差影,如果图像差别超过了预先设置的阈值,说明有异常情况发生,这时就应该拉响警报。在利用遥感图像进行动态监测时,用差值图像可以发现森林火灾、洪水泛滥,监测灾情变化及估计损失等;也能用来监测河口、海岸的泥沙淤积及监视江河、湖泊、海岸等的污染。利用差值图像还能鉴别出耕地及不同的作物覆盖情况。可广泛应用于视频检测。5.2.1 帧间差分法图像差分法是在序列图像中,检测图像序列相邻两帧之间变化,通过逐像素比较可直接求取前后两帧图
23、像对应像素点之间灰度值的差别。它是当图像背景不是静止时,无法用背景差值法检测和分割运动目标的另外一种简单方法。在这种方式下,帧f(x,y,i)与帧f(x,y,j)之间的变化可用一个二值差分图像Df(x,y)表示:式中T是阈值。同样,在差分图像中,取值为1的像素点代表变化区域。一般来说,变化区域对应于运动对象,当然它也有可能是由噪声或光照变化所引起的。阈值在这里同样起着非常重要的作用。对于缓慢运动的物体和缓慢光强变化引起的图像变化,在某些阈值下可能检测不到。图像差分法要求图像帧与帧之间要配准得很好;否则,容易产生大的误差。图像差分法可以将图像中目标的位置和形状变化突出出来。如下图(a)所示,设目
24、标的灰度比背景亮,则在差分的图像中,可以得到在运动前方为正值的区域,而在运动后方为负值的区域,这样可以获得目标的运动矢量,也可以得到目标上一定部分的形状,如果对一系列图像两两求差,并把差分图像中值为正或负的区域逻辑和起来,就可以得到整个目标的形状。图(b)给出一个示例,将长方形区域逐渐下移,依次划过椭圆目标的不同部分,将各次结果组合起来,就得到完整的椭圆目标。(a)目标的运动矢量 (b)椭圆目标的检测示例 图像差分法运动检测原理5.2.2 背景差值法背景差值法是在假设图像背景不随图像帧数而变,即图像背景是静止不变的,可表示为b(x,y),这时让每一帧图像的灰度值减去背景的灰度值而得到一个差值图
25、像id(x,y,i)的过程:式中:图像系列为f(x,y,i),(x,y)为图像位置坐标,i为图像帧数。二值化差值图像可通过设置一个阈值T而得到:取值为1和0的像素分别对应于前景(运动目标区域)和背景(非运动区域),阈值T的选择方法可采用静态图像中阈值分割所使用的方法,由此可见背景差值法的原理是比较简单的,利用该方法可以对静止背景下的运动目标进行分割。例 用背景差值法从静止的背景中分割出目标图像。%用背景差值法分割图像(要求两幅图像相称)f=imread(M1.bmp)%读入原始目标图像subplot(2,2,1);imshow(f);%显示原始图像title(原始图像);b=imread(b.
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数字图像 处理 应用 MATLAB
限制150内