视频压缩编码.ppt

视频压缩编码现在学习的是第1页，共54页（1）彩色空间之间的转换）彩色空间之间的转换:Y=(0.299R+0.587G+0.114B)+16Cr=(0.5114R-0.4282G-0.0832B)+128Cb=(-0.1726R-0.3388G+0.5114B)+128（1）彩色空间转换）彩色空间转换现在学习的是第2页，共54页对对PAL制、制、SECAM制，采样频率制，采样频率fs为为fs=62525N=15625N=13.5MHz,N=864其中，其中，N为每一扫描行上的采样数目。为每一扫描行上的采样数目。对对NTSC制制，采样频率，采样频率fs为为fs=52529.97N=15734N=13.5MHz,N=858其中，其中，N为每一扫描行上的采样数目。为每一扫描行上的采样数目。（2）采样频率）采样频率现在学习的是第3页，共54页对对PALPAL制、制、SECAMSECAM制制 每一条扫描行采样每一条扫描行采样864864个样本个样本 有效样本数有效样本数720720个个对对NTSCNTSC制制 每一条扫描行采样每一条扫描行采样858858个样本个样本 有效样本数有效样本数720720个个（3）有效显示分辨率）有效显示分辨率现在学习的是第4页，共54页1 1、亮度亮度(Y):(Y):(NTSC):(NTSC):858858样本本/行行525525行行/帧3030帧/秒秒1010比特比特/样本本135Mb/s135Mb/s(PAL):(PAL):864864样本本/行行625625行行/帧2525帧/秒秒1010比特比特/样本本135Mb/s135Mb/s ITU-RBT.601标准数据率标准数据率现在学习的是第5页，共54页2 2、Cr(R-Y):Cr(R-Y):(NTSC)(NTSC)：429429样本本/行行525525行行/帧3030帧/秒秒1010比特比特/样本本68Mb/s 68Mb/s(PAL)(PAL)：429429样本本/行行625625行行/帧2525帧/秒秒1010比特比特/样本本68Mb/s 68Mb/s 3 3、Cb(B-Y):Cb(B-Y):(NTSC)(NTSC)：429429样本本/行行525525行行/帧3030帧/秒秒1010比特比特/样本本68Mb/s68Mb/s(PAL)(PAL)：429429样本本/行行625625行行/帧2525帧/秒秒1010比特比特/样本本68Mb/s68Mb/s总计:270270兆比特兆比特/秒秒ITU-RBT.601标准数据率标准数据率现在学习的是第6页，共54页实际上，在上，在荧光屏上光屏上显示出来的有效示出来的有效图像的数据像的数据传输率并没有率并没有那么高那么高亮度亮度(Y)(Y):7204803010104 Mb/s(NTSC):7204803010104 Mb/s(NTSC)7205762510104 Mb/s(PAL)7205762510104 Mb/s(PAL)色差色差(Cr(Cr，Cb)Cb):23604803010104 Mb/s(NTSC)23604803010104 Mb/s(NTSC)23605762510104 Mb/s(PAL)23605762510104 Mb/s(PAL)总计:207 Mb/s207 Mb/s如果每个如果每个样本的采本的采样精度由精度由1010比特降比特降为8 8比特，彩色数字比特，彩色数字电视信号的数据信号的数据传输率就降率就降为166 Mb/s166 Mb/s。ITU-RBT.601标准数据率标准数据率现在学习的是第7页，共54页单速单速光驱的数据传输速率为光驱的数据传输速率为150kb/s40倍速倍速光驱的数据传输速率为光驱的数据传输速率为6Mb/s=6，适用于电视会议（，适用于电视会议（VideoConferencing）现在学习的是第13页，共54页源图像编码器源图像编码器图像复合编码器图像复合编码器传输缓存传输缓存传输编码器传输编码器接收译码器接收译码器编码控制编码控制图像编码器图像编码器图像译码器图像译码器图图像像信信号号压缩压缩图像图像代码代码位流位流接收缓存接收缓存图像复合译码器图像复合译码器源图像译码器源图像译码器一、一、P64Kb/s电视图像压缩编码电视图像压缩编码现在学习的是第14页，共54页CIF格式格式（CommonIntermediateFormat）1/4CIF格式格式，又叫，又叫QCIF格式格式（QuarterCIF）CCITT规定，凡是采用规定，凡是采用H.261标准的编译码器都必须能实时处理标准的编译码器都必须能实时处理QCIF格式的图像，而格式的图像，而CIF格式的图像作为选用。格式的图像作为选用。Vmax=29.97幅幅/秒（约）秒（约）公用的中分辨率格式公用的中分辨率格式现在学习的是第15页，共54页CIFQCIF行数行数/帧帧像素像素/行行行数行数/帧帧像素像素/行行亮度亮度Y288352（360）144176（180）色度色度CB144176（180）7288（90）色度色度Cr144176（180）7288（90）公用的中分辨率格式公用的中分辨率格式现在学习的是第16页，共54页解码解码625/50525/50PAL/CIFNTSC/CIF显示显示显示显示625/50525/50P64Kb/s编码编码CIF/PALCIF/NTSCP64Kb/s编译码器编译码器公用的中分辨率格式公用的中分辨率格式现在学习的是第17页，共54页P64Kb/s电视图像压缩编码算法电视图像压缩编码算法运动补偿运动补偿帧间预测帧间预测DCT量化量化熵编码熵编码传送编码传送编码前处理前处理PAL信信号号1616像素块像素块信道信道源编码源编码 PAL/CIF去噪去噪 纠错码纠错码传送缓冲器传送缓冲器 帧内压缩帧内压缩帧间压缩帧间压缩现在学习的是第18页，共54页帧间预测帧间预测（Ymn）N和和(Ymn）N-1变化很小变化很小统计结果表明：统计结果表明：广播电视节目只有广播电视节目只有10%以内的像素有变化以内的像素有变化Y有有2%的变化，的变化，UV有有千分之十千分之十以内的变化以内的变化所以只传差值所以只传差值采取采取DPCM编码方法编码方法现在学习的是第19页，共54页H.261与MPEG不兼容H.261在实时编码时比MPEG所占用的CPU运算量少得多。剧烈运动的图像比相对静止的图像质量要差。码率变化范围在64kbps至1.92Mbps之间。H.261的特征的特征现在学习的是第20页，共54页H.263简介简介pH.263关于低于64Kb/s比特率的窄带通道视频编码建议，其目的是能在现有的电话网上传输活动图像 pH.263的编码速度快，其设计编码延时不超过150ms；p码率低，在512K乃至384K带宽下仍可得到相当满意的图像效果，p十分适用于需要双向编解码并传输的场合,如可视电话和网络条件不是很好的场合 pH.263建议草案于1995年11月完成。现在学习的是第21页，共54页二、二、MPEG压缩编码标准压缩编码标准简介简介 活动图像专家组活动图像专家组(MOVINGPICTUREEXPERTGROUP)负责开发电视图像数据和声音数据的编码负责开发电视图像数据和声音数据的编码,解码和它们的同步标准，简称解码和它们的同步标准，简称“MPEG标准标准”。MPEG-1数字电视标准数字电视标准1992开发开发MPEG-2数字电视标准数字电视标准MPEG-3合并到高清晰度电视合并到高清晰度电视(HDTV)组组MPEG-4多媒体应用标准多媒体应用标准现在学习的是第22页，共54页二、二、MPEG压缩编码标准压缩编码标准简介简介（1）MPEG视视频频压压缩缩：进进行行全全屏屏幕幕动动态态视视频频图图像像的的数数据据压压缩，动态视频图像的传输速率为缩，动态视频图像的传输速率为1.5Mbit/s。（2）MPEG音音频频压压缩缩：进进行行数数字字音音频频信信号号的的压压缩缩,数数字字音音频频信号的传输速率是信号的传输速率是64Kbit/s、128Kbit/s和和192Kbit/s。（3）MPEG系统系统：MPEG标准的算法、软件和硬件。标准的算法、软件和硬件。MPEG标准分为三部分：标准分为三部分：现在学习的是第23页，共54页二、二、MPEG压缩编码标准压缩编码标准必要性必要性一张一张B5纸纸300dpi，6.61MB/页页98页页/CD-ROM激光唱盘激光唱盘44.1kHz，16位，立体声位，立体声 1小时小时/CD-ROM数字音频磁带数字音频磁带48kHz，16位，位，2小时小时/CD-ROM数字电视图像数字电视图像（NTSC）253KB/帧，帧，7.603MB/秒秒1.42分钟分钟/CD-ROM数字电视图像数字电视图像(PAL)1.24MB/帧，帧，31.3MB/秒秒20.0秒钟秒钟/CD-ROM存存储储现在学习的是第24页，共54页二、二、MPEG压缩编码标准压缩编码标准必要性必要性电话电话8000样本数样本数/秒秒 12比特比特/样本样本=96kbps宽带语音宽带语音 16000样本数样本数/秒秒 14比特比特/样本样本=224kbps宽带音频宽带音频 44100样本数样本数/秒秒 2信道信道1616比特比特/样本样本=1.412Mbps图像图像512512512512彩色图像彩色图像2424比特比特/像素像素=6.3=6.3兆比特兆比特/图像图像视频视频640640480480彩色图像彩色图像2424比特比特/像素像素3030图像图像/秒秒=221Mbps=221Mbps高清晰度高清晰度电视电视12801280720720彩色图像彩色图像6060比特比特/像素像素2424图像图像/秒秒=1.3Gbps=1.3Gbps传传输输现在学习的是第25页，共54页二、二、MPEG压缩编码标准压缩编码标准MPEG1为例为例25帧帧/秒秒PAL30帧帧/秒秒NTSC1.5Mb/s压缩压缩用于速率约在用于速率约在1.5Mb/s以下的数字存储媒体以下的数字存储媒体现在学习的是第26页，共54页二、二、MPEG压缩编码标准压缩编码标准基本思想基本思想时间冗余时间冗余现在学习的是第27页，共54页动态图像在帧与帧之间表现出的特点动态图像在帧与帧之间表现出的特点:p动态图像以每秒动态图像以每秒25帧播放，在如此短的时间内，画面帧播放，在如此短的时间内，画面通常不会有大的变化；通常不会有大的变化；p在画面中变化的只是运动的部分，静止的部分往往在画面中变化的只是运动的部分，静止的部分往往占有较大的面积；占有较大的面积；p即使是运动的部分，也多为简单的平移。即使是运动的部分，也多为简单的平移。二、二、MPEG压缩编码标准压缩编码标准基本思想基本思想现在学习的是第28页，共54页1、在空间方向上，图像数据压缩采用、在空间方向上，图像数据压缩采用JPEG压缩算压缩算法法去掉冗余信息。去掉冗余信息。2、在时间方向上，图像数据压缩采用、在时间方向上，图像数据压缩采用帧间预测帧间预测去掉冗去掉冗余信息。余信息。二、二、MPEG压缩编码标准压缩编码标准基本思想基本思想现在学习的是第29页，共54页处理方法：处理方法：采用采用JPEG的方式记录第一帧。在随后的帧中，只的方式记录第一帧。在随后的帧中，只记录该帧与前一帧不同的地方，相同的则不记录。记录该帧与前一帧不同的地方，相同的则不记录。播放时，根据前一帧的画面和这两帧之间的不同播放时，根据前一帧的画面和这两帧之间的不同构造出当前的画面。构造出当前的画面。为解决在实际压缩中存在的有损压缩带来的失真和为解决在实际压缩中存在的有损压缩带来的失真和因故障无法恢复后面帧（因前面帧丢失而造成）的因故障无法恢复后面帧（因前面帧丢失而造成）的问题，可采用每隔若干帧之后就记录一个原始帧的问题，可采用每隔若干帧之后就记录一个原始帧的方法加以解决。方法加以解决。二、二、MPEG压缩编码标准压缩编码标准基本思想基本思想现在学习的是第30页，共54页I帧帧也称帧内图像，采用JPEG压缩算法,不参照任何过去的或者将来的其他图像帧；每个图像平面分为88的图块，对每个图像块进行离散余弦变换；变换后用差分脉冲编码，最后用霍夫曼编码进一步压缩。P为预测帧，利用相邻I帧或P帧的统计信息进行预测，画面分成1616的子图像块，再分别向前或向后预测。B图像称为双向预测帧,利用前后的I、P帧图像之间的差异进行压缩。MPEG的的3种图像类型种图像类型现在学习的是第31页，共54页MPEG压压缩缩编编码码的的首首要要任任务务是是找找出出帧帧之之间间的的冗冗余余，然然后后以以帧帧速度进行预测和压缩。速度进行预测和压缩。对对于于视视频频图图像像和和动动画画，帧帧之之间间变变化化的的内内容容产产生生动动作作，没没有有变变化化的的内内容容在在视视觉觉上上是是静静止止的的，有有无无变变化化是是数数据据压压缩缩的的基基本依据。本依据。原理分析：原理分析：帧的预测编码帧的预测编码现在学习的是第32页，共54页动态图像压缩动态图像压缩主要解决的问题：主要解决的问题：正确区分静止图像和动态图像正确区分静止图像和动态图像提取动态图像中的活动成分提取动态图像中的活动成分进行进行帧之间的预测帧之间的预测，提供压缩的依据，提供压缩的依据压缩系统对比两帧对应位置的像点，有变化压缩系统对比两帧对应位置的像点，有变化的像点运算的像点运算结果为结果为0，否则为，否则为1。通过简单的运算，即可识别图像的活动。通过简单的运算，即可识别图像的活动成分，并进行相应的编码，达到压缩的目的。成分，并进行相应的编码，达到压缩的目的。帧的预测编码帧的预测编码现在学习的是第33页，共54页帧的预测编码帧的预测编码1、条件像素补充法、条件像素补充法：比较两帧对应位置像素的亮度，若亮度差值超过预先规比较两帧对应位置像素的亮度，若亮度差值超过预先规定的阈值（即定的阈值（即“条件条件”）则认为两个像素有变化，证明像）则认为两个像素有变化，证明像素在画面上是活动的。素在画面上是活动的。把所有经过比较判定有变化的像素保存在缓冲存储器中，把所有经过比较判定有变化的像素保存在缓冲存储器中，随后以恒定的速率传送出去、而那些亮度差值未超过阀值随后以恒定的速率传送出去、而那些亮度差值未超过阀值的像素，则不予处理，在接收端中用上一帧相应的像素代的像素，则不予处理，在接收端中用上一帧相应的像素代替替据统计，在可视电话中用条件据统计，在可视电话中用条件补充法传送的像素只占全部像补充法传送的像素只占全部像素的素的6%左右左右现在学习的是第34页，共54页2、运动补偿、运动补偿是是MPEG标准采用的主要技术，特别适用于可视电话系统标准采用的主要技术，特别适用于可视电话系统和电视会议系。由于画面活动内容很少，其和电视会议系。由于画面活动内容很少，其压缩比压缩比可得到可得到大幅度提大幅度提高高。首先跟踪画面内的活动状态并对其进行运动向量的计算首先跟踪画面内的活动状态并对其进行运动向量的计算然后加以补偿然后加以补偿最后再利用帧间预测实现最终的压缩目的。最后再利用帧间预测实现最终的压缩目的。帧的预测编码帧的预测编码现在学习的是第35页，共54页预测与运动补偿示意图 现在学习的是第36页，共54页现在学习的是第37页，共54页MPEG-1标准标准主要用于主要用于对活动图像以及伴音信号进行压缩编码对活动图像以及伴音信号进行压缩编码。主要特点：主要特点：1、满足以约、满足以约1.5Mb/s的速率传输视频信号的速率传输视频信号3、对对 分分 辨辨 率率(NTSC制制 式式 为为352240；PAL制制 式式 为为352288)的图像进行压缩的图像进行压缩2、适用于、适用于VCD现在学习的是第38页，共54页MPEG-1标准标准4、有四个组成部分：视频、音频和系统和测试验证。、有四个组成部分：视频、音频和系统和测试验证。5、对于、对于帧内帧内图像采用二维余弦变换、自适应算术编码、行图像采用二维余弦变换、自适应算术编码、行程编码、变字长编码以及差分脉冲编码（程编码、变字长编码以及差分脉冲编码（DPCM）。）。帧间帧间压压缩采用运动补偿预测编码和运动补偿内插编码。缩采用运动补偿预测编码和运动补偿内插编码。现在学习的是第39页，共54页7、适用于适用于CDROM、VCD、CDI（交互式（交互式CD）等，）等，也被用于数字通信网络上的视频传输，如也被用于数字通信网络上的视频传输，如ADSL上的视频点上的视频点播和远程教育。播和远程教育。6、具有、具有CD音质音质，图像质量图像质量基本与基本与VHS家用录像机相当家用录像机相当MPEG-1标准标准现在学习的是第40页，共54页MPEG-1不能满足日益增长的多媒体技术、数字电视技术、不能满足日益增长的多媒体技术、数字电视技术、多媒体分辨率和传输率等方面技术的要求，多媒体分辨率和传输率等方面技术的要求，MPEG-2克服克服了了MPEG-1的这一缺陷。的这一缺陷。MPEG-2视频分量的位速率范围大约为视频分量的位速率范围大约为215MbpsMPEG-2标准标准现在学习的是第41页，共54页主要特点：主要特点：1、压缩信号速率为、压缩信号速率为4-15Mbit/s2、支持、支持NTSC制式的制式的720480画面分辨率，画面分辨率，PAL制式的制式的720576S画面分辨率。画面分辨率。3、MPEG-2标准使用的解码器一般同时支持标准使用的解码器一般同时支持MPEG-1和和MPEG-2两种标准。两种标准。4、提供广播级的图像质量和、提供广播级的图像质量和CD级的音质级的音质MPEG-2标准标准现在学习的是第42页，共54页5、一般在、一般在30:1的压缩比下，能够保证播放的视频和音频信的压缩比下，能够保证播放的视频和音频信号达到广播级质量；最高压缩比为号达到广播级质量；最高压缩比为200：1，大多数情况下达，大多数情况下达不到最高压缩比。不到最高压缩比。6、适用于数字电视广播、适用于数字电视广播(DVB）、）、HDTV和和DVD的运动图的运动图像及其伴音的压缩编码。对于像及其伴音的压缩编码。对于PAL制式，采用制式，采用MPEG-2标标准进行音频信号压缩；对于准进行音频信号压缩；对于NTSC制式。采用制式。采用AC3音频压缩音频压缩标准。标准。MPEG-2标准标准现在学习的是第43页，共54页MPEG-1MPEG-2主要应用主要应用CD-ROM上的数字电视，上的数字电视，VCD数字数字TV，DVD空间分辨率空间分辨率CIF格式（格式（1/4 TV）288*360像素像素TV576*720像素像素时间分辨率时间分辨率25-30帧帧/秒秒50-60场场/秒秒位速率位速率1.5Mb/s15Mb/s质量质量相当于相当于VHS相当于相当于MTSC/PAL电电视视压缩率压缩率20-3030-40MPEG1与与MPEG2典型的编码参数典型的编码参数现在学习的是第44页，共54页MPEG-4标准标准是一个适用于是一个适用于低传输速率应用低传输速率应用的方案的方案与与MPEG1和和MPEG2相比，相比，MPEG4更加注重多媒体系统更加注重多媒体系统的交互性和灵活性。的交互性和灵活性。现在学习的是第45页，共54页MPEG-4标准标准1、存储容量大幅度的降低、存储容量大幅度的降低在静止情况下在静止情况下MPEG4比比MPEG1节省了节省了2/3的硬盘空的硬盘空间；在一般活动场景下也节省近一半的容量。间；在一般活动场景下也节省近一半的容量。主要特点：主要特点：2、清晰度较高、清晰度较高现在学习的是第46页，共54页MPEG-4标准标准3、网络传输、网络传输可以被广泛利用的可以被广泛利用的ISDN综合业务数字网（综合业务数字网（128K）和）和公共普通电话线网（公共普通电话线网（64K）。目前在低带宽上传输活动视）。目前在低带宽上传输活动视频的另一个解决方案就是采用频的另一个解决方案就是采用H.263通讯标准，尽管通讯标准，尽管H.263也具有较高的压缩比，但是图像质量差于也具有较高的压缩比，但是图像质量差于MPEG4。现在学习的是第47页，共54页MPEG-4标准标准4、基于内容的普遍性、基于内容的普遍性MPEG4能够直接选取音频、视频内容进行编码，并能够直接选取音频、视频内容进行编码，并对其灵活地进行控制和显示，用户可以自行选择场景中的对其灵活地进行控制和显示，用户可以自行选择场景中的物体的解码质量，进行家庭影视节目制作和编辑。物体的解码质量，进行家庭影视节目制作和编辑。5、交互性交互性以以AV为对象，增强了交互性和扩展性，从而提高了为对象，增强了交互性和扩展性，从而提高了交互应用的灵活性。交互应用的灵活性。现在学习的是第48页，共54页MPEG-4标准标准两种两种MPEG4技术的具体技术的具体应用形式应用形式：DIVXMPEG4影碟（国内市面上已出现）影碟（国内市面上已出现）网上网上MPEG4电影。电影。现在学习的是第49页，共54页MPEG-7标准标准1998年年10月，月，MPEG启动了一个新的工作项目，即多媒启动了一个新的工作项目，即多媒体内容描述界面，简称为体内容描述界面，简称为MPEG7。它的目标是扩展现有系统。它的目标是扩展现有系统有限的查询能力，使其包括更多的信息形式。有限的查询能力，使其包括更多的信息形式。MPEG7将确立将确立各种类型的多媒体信息标准的描述方法。据预计，各种类型的多媒体信息标准的描述方法。据预计，MPEG7将于将于2001年初最终完成并公布。年初最终完成并公布。现在学习的是第50页，共54页MPEG-21标准标准正式名称为多媒体框架正式名称为多媒体框架(MultimediaFrameWork)主要规定数字节目的网上实时交换协议。主要规定数字节目的网上实时交换协议。以一种协调的方式管理和发送不同的内容形式，并且对多以一种协调的方式管理和发送不同的内容形式，并且对多媒体服务的用户完全透明。媒体服务的用户完全透明。现在学习的是第51页，共54页谢谢谢谢!现在学习的是第52页，共54页条件次取样法条件次取样法条件补充法和内插法相结合叫条件次取样法具体做法：在时间轴采用次取样（两个取一个即次取样）对于未取样的当前场得某点可以采用隔场的四邻点亮度的均值，作为该点亮度的预测值。条件补充：S0=1/4(SA+SB+SC+SD)内插预测值与实际值之差小于阈值后就不传。现在学习的是第53页，共54页运动补偿运动补偿运动估计有以下三种方法1、块匹配法：以像素块为准进行运动估计2、像素递归法：以像素为准进行递归的运动估计3、傅里叶变换法现在学习的是第54页，共54页