数字电视的国际标准学习教案.pptx

数字电视数字电视(sh z din sh)的国际标准的国际标准第一页，共41页。2 22023/2/72023/2/75.1 视频压缩编码标准的发展(fzhn)历程视频压缩编码标准的制定：国际标准化组织视频压缩编码标准的制定：国际标准化组织(zzh)(ISO/IEC)和国际电信联盟和国际电信联盟(ITU)完成的。完成的。由上述两个国际组织由上述两个国际组织(zzh)制定了：制定了：MPEG-1、MPEG-2、MPEG-4(2)以及以及MPEG-4(10)和和H.261、H.262、H.263、H.263+、H.263+、H.264等。等。第1页/共41页第二页，共41页。3 32023/2/72023/2/7第2页/共41页第三页，共41页。4 42023/2/72023/2/7第3页/共41页第四页，共41页。5 52023/2/72023/2/7图像压缩编码标准可分为图像压缩编码标准可分为(fn wi)两大系列：两大系列：MPEG-X和和H.26X。MPEG-X是由国际标准化组织是由国际标准化组织(ISO)和国际电工委员会和国际电工委员会(IEC)提出的标准，提出的标准，H.26X 是由国际电信联盟是由国际电信联盟(ITU)标准委员会标准委员会提出的。提出的。第4页/共41页第五页，共41页。6 62023/2/72023/2/7图像压缩编码标准可分为图像压缩编码标准可分为(fn wi)两大系列：两大系列：MPEG-X和和H.26X。MPEG-X是由国际标准化组织是由国际标准化组织(ISO)和国际电工委员会和国际电工委员会(IEC)提出的标准，提出的标准，H.26X 是由国际电信联盟是由国际电信联盟(ITU)标准委员会标准委员会提出的。提出的。第5页/共41页第六页，共41页。7 72023/2/72023/2/7超高清晰度成像超高清晰度成像(HRI)建议建议(ITU-R BT.1201)ITU-R BT.1201 建议书提出建议书提出(t ch)了超高清晰度成像了超高清晰度成像(HRI，High Resolution Image)格式和规范建议。格式和规范建议。HDTV：1920像素像素(xin s)1080像素像素(xin s)，有，有p（逐行）和（逐行）和i（隔行）之分（隔行）之分标清电视标清电视(dinsh)：1366像素像素768像素像素2K-TV：2048像素像素1080像素像素4K-TV：4096像素像素2160像素像素8K-TV：7680像素像素4320像素（像素（Ultra-HDTV，超高清电视），超高清电视）第6页/共41页第七页，共41页。8 82023/2/72023/2/75.2 JPEG标准(biozhn)JPEGJPEG的目标的目标(mbio)(mbio)：JPEGJPEG用于连续变化的静止图像用于连续变化的静止图像 连续变化是指灰度等级和颜色连续变化是指灰度等级和颜色(yns)两方面的连续变化两方面的连续变化静止图像数据压缩标准静止图像数据压缩标准 JPEGJoint Photo-Graphic Experts Group联合图像专家组联合图像专家组从从1986年正式开始制订年正式开始制订,由多个国际组织联合制定由多个国际组织联合制定:国际标准组织国际标准组织 ISO国际电报电话咨询委员会国际电报电话咨询委员会 CCITT(后改为后改为ITU)。国际电工委员会国际电工委员会(IEC)也参加合作也参加合作1992年年7月通过了标准的第一部分，后又对有关测试标准月通过了标准的第一部分，后又对有关测试标准草案草案(即标准的第二部分即标准的第二部分)作了进一步修改作了进一步修改 第7页/共41页第八页，共41页。9 92023/2/72023/2/75.2 JPEG标准(biozhn)n nJPEGJPEG包含两种基本压缩方法：包含两种基本压缩方法：n n有损压缩：基于有损压缩：基于DCTDCT的有损压缩，又称为基线顺序编解码的有损压缩，又称为基线顺序编解码(Baseline Sequential(Baseline Sequential Codec)Codec)方法方法n n无损压缩：又称预测压缩方法无损压缩：又称预测压缩方法n nJPEGJPEG的图像压缩是在本帧内进行的图像压缩是在本帧内进行,与前后帧无关；与前后帧无关；n nJPEGJPEG可以采用逐渐浮现重建方式；可以采用逐渐浮现重建方式；n nJPEGJPEG可用于活动图像压缩编码，只不过压缩方法只限于帧内进行，不作运动补可用于活动图像压缩编码，只不过压缩方法只限于帧内进行，不作运动补偿和帧间差运算。这种用于活动图像的压缩技术偿和帧间差运算。这种用于活动图像的压缩技术(jsh)(jsh)称作：称作：M-JPEG(Motion-M-JPEG(Motion-JPEG),JPEG),主要用于高质量图像压缩编码方案中，例如电视台节目编辑中。主要用于高质量图像压缩编码方案中，例如电视台节目编辑中。第8页/共41页第九页，共41页。10102023/2/72023/2/75.2 JPEG标准(biozhn)1.基于(jy)DCT的编码器和解码器 编码器：第9页/共41页第十页，共41页。11112023/2/72023/2/7n n基于(jy)DCT的JPEG解码器：5.2 JPEG标准(biozhn)n接收端收到的压缩图像接收端收到的压缩图像(t xin)数据应包含重建图像数据应包含重建图像(t xin)的专用数据表等数据的专用数据表等数据第10页/共41页第十一页，共41页。12122023/2/72023/2/75.2 JPEG标准(biozhn)n nJPEG压缩(y su)流程示意图第11页/共41页第十二页，共41页。13132023/2/72023/2/75.2 JPEG标准(biozhn)JPEG标准中的像素 以NTSC制为例，它的视频最高频率为4.2MHz，故抽样频率可取8.4MHz至9MHz NTSC制行频 行周期(zhuq)每行的显示时间若设抽样频率 第12页/共41页第十三页，共41页。14142023/2/72023/2/7则 时间内的抽样(chu yn)数N如下式所示 抽样(chu yn)数N:一行中的显示区或称有效像素区中的像素数 5.2 JPEG标准(biozhn)第13页/共41页第十四页，共41页。15152023/2/72023/2/75.2 JPEG标准(biozhn)像素形状的概念又称为纵横比，按JPEG标准规定像素纵横比为1：1，也就是像素为正方形；例如上述NTSC制中一行像素为480个，若像素纵横比为1：1，图像尺寸(ch cun)纵横比为3：4，则一帧图像应有的行数为48034360行；光栅转换或扫描转换：NTSC制一帧图像为525行，其中包含两场，若扣除两场的场消隐所需74行，则余451行,转换到360行,则需要合并。按 ，则每10行需要并成8行，这就是图像光栅处理中常用的光栅转换或扫描转换。第14页/共41页第十五页，共41页。16162023/2/72023/2/75.2 JPEG标准(biozhn)2.DCT变换及其系数的量化、编码JPEG标准是将“二维”空间的图像数据用离散(lsn)余弦变换DCT公式变换到二维频域成为二维频率系数。变换后的系数经量化矩阵量化 亮度量化矩阵 色度量化矩阵 第15页/共41页第十六页，共41页。17172023/2/72023/2/75.2 JPEG标准(biozhn)n n经经Zig-ZagZig-Zag扫描后，把二维量化系数转换为一维数据序列，以便进行熵编码扫描后，把二维量化系数转换为一维数据序列，以便进行熵编码 n n这种低频在前高频在后这种低频在前高频在后Zig-ZagZig-Zag扫描的排列方式也称带状编码，因为它和频带扫描的排列方式也称带状编码，因为它和频带由低到高呈带状一致。这和量化步长逐步提高的方式一致，所以也称门限系由低到高呈带状一致。这和量化步长逐步提高的方式一致，所以也称门限系数排列方式。数排列方式。n n对于直流分量对于直流分量DCDC进行差分进行差分(ch fn)(ch fn)脉冲编码脉冲编码n n对交流分量对交流分量ACAC进行霍夫曼或者游程编码进行霍夫曼或者游程编码第16页/共41页第十七页，共41页。18182023/2/72023/2/73.数据交换格式(g shi)5.2 JPEG标准(biozhn)静像数据经编码后，得到压缩数据流。为了便于交换和储静像数据经编码后，得到压缩数据流。为了便于交换和储存，需要有统一的交换格式存，需要有统一的交换格式(g shi)，同时也便于解码器解码。，同时也便于解码器解码。第17页/共41页第十八页，共41页。19192023/2/72023/2/7第一行为压缩图像数据第一行为压缩图像数据(shj)。图中。图中SOI表示图像开始。表示图像开始。中间方框表示一帧图像数据中间方框表示一帧图像数据(shj)。最后的。最后的EOI表示图像结表示图像结束。束。SOI和和EOI均称为标记符号，各占均称为标记符号，各占2字节字节(Byte)。第18页/共41页第十九页，共41页。20202023/2/72023/2/7 第二行给出帧内包含的数据内容。首先是表杂项，其中表即第二行给出帧内包含的数据内容。首先是表杂项，其中表即为数据表，如量化表、霍夫曼为数据表，如量化表、霍夫曼DC和和AC表等，杂项即为其它必要表等，杂项即为其它必要的信息。帧头表示帧头信息，包含所选方法的信息。帧头表示帧头信息，包含所选方法(如基线如基线DCT方法等方法等)、抽样精度、量化位数、源图像抽样精度、量化位数、源图像(t xin)行数、每行抽样数、各行数、每行抽样数、各分量图像分量图像(t xin)尺寸比例等。扫描尺寸比例等。扫描1表示扫描数据表示扫描数据1。第19页/共41页第二十页，共41页。21212023/2/72023/2/7第三行的扫描头第三行的扫描头(Scan Header)包含扫描起始信息、分量图包含扫描起始信息、分量图像号码、该分量图像的参数、熵编码表选择等内容像号码、该分量图像的参数、熵编码表选择等内容(nirng)。ECS0(Entropy Coded Segment)表示第表示第0段熵编码。段熵编码。第四行用于说明初始和结束的熵编码段。各编码段内包含第四行用于说明初始和结束的熵编码段。各编码段内包含若干个最小编码单元若干个最小编码单元MCU。第20页/共41页第二十一页，共41页。22222023/2/72023/2/75.3 MPEG-1标准(biozhn)n nMPEG-1MPEG-1的目标的目标n nMPEG-1MPEG-1标准的设计思想是在标准的设计思想是在1Mbit/s1Mbit/s到到1.5Mbit/s1.5Mbit/s的低带宽条件下，提供尽可能高的低带宽条件下，提供尽可能高的图像质量（包括音频）。它是针对的图像质量（包括音频）。它是针对CD-ROMCD-ROM、光盘的视频存储、光盘的视频存储(cn ch)(cn ch)和放像和放像所制定的数字电视标准。所制定的数字电视标准。n nVCDVCD使用使用MPEG-1MPEG-1标准，图像尺寸为标准，图像尺寸为352288352288，标准速率为，标准速率为1.2Mbit/s1.2Mbit/sn nMPEGMPEG是活动图像专家组是活动图像专家组(Moving Picture Expert Group)(Moving Picture Expert Group)的英文缩写，的英文缩写，MPEGMPEG的的任务是开发活动图像及其声音的数字编码标准，成立于任务是开发活动图像及其声音的数字编码标准，成立于 1988 1988年。年。n n活动图像专家组活动图像专家组(MPEG)(MPEG)在在19911991年年1111月提出了月提出了ISO 11172ISO 11172标准的建议草案，通称标准的建议草案，通称MPEG-lMPEG-l标准。该标准予标准。该标准予 1992 1992年年 l 1 l 1月被通过，月被通过，1993 1993年年 8 8月公布。月公布。第21页/共41页第二十二页，共41页。23232023/2/72023/2/75.3 MPEG-1标准(biozhn)1.MPEG-11.MPEG-1标准的内容标准的内容ISO/IEC 11172 ISO/IEC 11172 包括三大部分包括三大部分:ISO/IEC 11172-1 ISO/IEC 11172-1 第一部分第一部分 系统系统ISO/IEC 11172-2 ISO/IEC 11172-2 第二部分第二部分 视频视频ISO/IEC 11172-3 ISO/IEC 11172-3 第三部分第三部分 音频音频 MPEG-lMPEG-l标准可以处理各种类型的活动图像，其基本算法对于压缩水平标准可以处理各种类型的活动图像，其基本算法对于压缩水平方向方向 352 352个像素、竖直方向个像素、竖直方向 288 288个像素的空间分辨力，每秒个像素的空间分辨力，每秒 24/25/3024/25/30幅画面的运动图像有很好的效果；幅画面的运动图像有很好的效果；在在MPEG-lMPEG-l标准中的一帧图像的概念不同于电视标准中的一帧图像的概念不同于电视(dinsh)(dinsh)中帧的概念，中帧的概念，前者一定是逐行扫描的图像，如果待处理信号是隔行扫描的图像，前者一定是逐行扫描的图像，如果待处理信号是隔行扫描的图像，则编码前必须将其转换成逐行扫描的格式则编码前必须将其转换成逐行扫描的格式第22页/共41页第二十三页，共41页。24242023/2/72023/2/75.3 MPEG-1标准(biozhn)n nMPEG-1MPEG-1标准标准(biozhn)(biozhn)采用了一系列技术以获得高压缩比采用了一系列技术以获得高压缩比:n n对色差信号进行亚采样，减少数据量；对色差信号进行亚采样，减少数据量；n n采用运动补偿技术减少帧间冗余度；采用运动补偿技术减少帧间冗余度；n n做二维做二维DCTDCT变换去除空间相关性；变换去除空间相关性；n n对对DCTDCT系数进行量化，舍去不重要的信息，将量化后的系数进行量化，舍去不重要的信息，将量化后的DCTDCT系数按照频率重新排序；系数按照频率重新排序；n n将将DCTDCT系数进行变字长的熵编码；系数进行变字长的熵编码；n n对每个数据块的直流分量对每个数据块的直流分量(DC)(DC)进行预测差分编码；进行预测差分编码；第23页/共41页第二十四页，共41页。25252023/2/72023/2/7n n在在 MPEG-l MPEG-l标准中，考虑到压缩比和随机存取这对矛盾，标准中，考虑到压缩比和随机存取这对矛盾，一共一共(ygng)(ygng)定义了定义了3 3种图像类型：种图像类型：n nI I帧：帧：帧内帧图像，采用帧内编码，不参照其他图像。帧内帧图像，采用帧内编码，不参照其他图像。它作为预测基准的独立帧。它作为预测基准的独立帧。n n设置设置I I帧的主要因素是：帧的主要因素是：n n1 1）当某帧找不到匹配的参考帧时，就只好进行帧内编码，）当某帧找不到匹配的参考帧时，就只好进行帧内编码，场景切换就是这种情况的例子；场景切换就是这种情况的例子；n n2 2）解码）解码I I帧不需要参考帧，因而可以在帧不需要参考帧，因而可以在I I帧进行码流的切帧进行码流的切换和编辑等操作，提供随机存取的插入点；换和编辑等操作，提供随机存取的插入点；n n3 3）长时间连续地进行预测编码，预测误差会不断累积，）长时间连续地进行预测编码，预测误差会不断累积，图像质量不断下降。为防止解码图像损伤的逐渐加剧，图像质量不断下降。为防止解码图像损伤的逐渐加剧，需定时进行帧刷新，即周期性地插入需定时进行帧刷新，即周期性地插入I I帧，以便重新开始帧，以便重新开始一个新的预测编码过程。一个新的预测编码过程。第24页/共41页第二十五页，共41页。26262023/2/72023/2/72.P2.P帧，又称前向预测编码帧。帧，又称前向预测编码帧。它用前面最近的它用前面最近的I I帧或帧或P P帧作为参考进行前向预测，采用带运动补偿帧作为参考进行前向预测，采用带运动补偿(bchng)(bchng)的帧间预测编码方式。由于同时利用了空间和时间上的相的帧间预测编码方式。由于同时利用了空间和时间上的相关性，所以关性，所以P P帧比帧比I I帧的压缩效率高。帧的压缩效率高。P P帧也可作为参考帧。帧也可作为参考帧。3B帧，又称双向预测编码帧。帧，又称双向预测编码帧。它它既既用用源源视视频频序序列列中中位位于于前前面面且且已已编编码码的的I帧帧或或P帧帧作作为为参参考考帧帧，进进行行前前向向运运动动补补偿偿(bchng)预预测测，又又用用位位于于后后面面且且已已编编码码的的I帧帧或或P帧帧作作为为参参考考帧帧，进进行行后后向向运运动动补补偿偿(bchng)预预测测。即即B帧帧可可采采用用帧帧内内编编码码、前前向向预预测测编编码码、后后向向预预测测编编码码、或或双双向向预预测测编编码码4种种技技术术，其其压压缩缩比比最最高高。但但B帧帧不不能能用用作作对对其其他他帧帧进进行行运运动动补补偿偿(bchng)预预测测的的参参考考帧。帧。第25页/共41页第二十六页，共41页。27272023/2/72023/2/7n n帧内图像帧内图像(t xin)I(t xin)I的压缩编码算法框图的压缩编码算法框图5.3 MPEG-1标准(biozhn)第26页/共41页第二十七页，共41页。28282023/2/72023/2/75.3 MPEG-1标准(biozhn)n n预测图像预测图像P P的压缩编码的压缩编码(bin m)(bin m)算法框图算法框图第27页/共41页第二十八页，共41页。29292023/2/72023/2/75.3 MPEG-1标准(biozhn)n n双向预测图像双向预测图像(t xin)B(t xin)B的压缩编码算法框图的压缩编码算法框图 第28页/共41页第二十九页，共41页。30302023/2/72023/2/75.3 MPEG-1标准(biozhn)n nI 帧、P帧和B帧图像的依赖(yli)关系 I帧图像一般在帧图像一般在0.5 s（相隔（相隔12帧）左右一幅，它作为帧）左右一幅，它作为 P帧和帧和 B帧帧图像的参照图像，要求图像质量较高，否则会引起误差向图像的参照图像，要求图像质量较高，否则会引起误差向 P帧和帧和 B帧图帧图像扩散，因此像扩散，因此 I帧图像的量化系数较小。两个相邻帧图像的量化系数较小。两个相邻(xin ln)的的 I帧图像帧图像之间会插入若干个之间会插入若干个 P帧图像，两个相邻帧图像，两个相邻(xin ln)的的 P帧或帧或 I帧图像之帧图像之间会插入若干个间会插入若干个B帧图像。帧图像。第29页/共41页第三十页，共41页。31312023/2/72023/2/7应该应该(ynggi)(ynggi)注意的是，图像的显示顺序和编码顺序并注意的是，图像的显示顺序和编码顺序并不相同。不相同。上图所示的显示顺序排列。上图所示的显示顺序排列。下图所示为编码顺序排列。下图所示为编码顺序排列。第30页/共41页第三十一页，共41页。32322023/2/72023/2/75.3 MPEG-1标准(biozhn)n n编解码延时问题编解码延时问题n n由于编码顺序和显示顺序之间的差异，带来编、解码总延时达由于编码顺序和显示顺序之间的差异，带来编、解码总延时达0.80.81 1秒时间。秒时间。n n这种延时对广播性质的图像传输不会带来任何影响，因为用户并不能发现发射端与接收端信这种延时对广播性质的图像传输不会带来任何影响，因为用户并不能发现发射端与接收端信号起始时间的差异；号起始时间的差异；n n对于交互性质的图像传输，例如，数字会议电视则带来十分不便。因为甲方图像传至乙方经对于交互性质的图像传输，例如，数字会议电视则带来十分不便。因为甲方图像传至乙方经编码、解码要延时编码、解码要延时0.80.81 1秒时间；乙方图像传至甲方经编码、解码也要延时秒时间；乙方图像传至甲方经编码、解码也要延时0.80.81 1秒时间，秒时间，这样，如果甲对乙提一个问题，则这样，如果甲对乙提一个问题，则1.61.62 2秒以后才能秒以后才能(cinng)(cinng)得到回答得到回答 。第31页/共41页第三十二页，共41页。33332023/2/72023/2/75.3 MPEG-1标准(biozhn)n n解决编解码延时过长问题解决编解码延时过长问题n n减少减少B B帧使两个帧使两个I I帧之间的帧数减少，则编、解码总延时下降，甚至可以帧之间的帧数减少，则编、解码总延时下降，甚至可以(ky)(ky)把把B B帧、帧、P P帧全部取消，这样，可以帧全部取消，这样，可以(ky)(ky)得到得到0 0延时。这种方式也称延时。这种方式也称M-JPEG(Motion-JPEG)M-JPEG(Motion-JPEG)方式。但此时的压缩比降到了方式。但此时的压缩比降到了5:15:17:17:1；n n延时与压缩倍数是互相矛盾的延时与压缩倍数是互相矛盾的第32页/共41页第三十三页，共41页。34342023/2/72023/2/7 MPEG为了更好地表示编码比特流，用句法规定了一个分层结构(jigu)，共分6层，从高到低依次是:视频序列、图像组（GOP）、图像、宏块条（Slice）、宏块层及像块层。图像图像图像组图像组视频序列视频序列宏块条宏块条宏块宏块像块像块第33页/共41页第三十四页，共41页。35352023/2/72023/2/7第34页/共41页第三十五页，共41页。36362023/2/72023/2/7 视频序列是指构成一段或整个电视节目的连续图像序列，是随机选取节目的一个基本单元。从节目内容看，一个视频序列大致对应于一个镜头。切换一个镜头，即表示开始一个新的序列。在视频序列层，起始码后是序列头，它包含有视频序列参数，如图像的尺寸大小、幅型比、帧频、数码率、缓冲区大小等。为了确保能在不同的时间随时进入视频序列，MPEG允许重复发送序列头。序列扩展数据(shj)后面跟若干个图像组层的数据(shj)。视频序列层以序列结束码（SEQEC）结束。第35页/共41页第三十六页，共41页。37372023/2/72023/2/7 GOP是由一个视频序列(xli)中连续的若干帧图像组成。每个GOP由一个I帧和一些P帧、B帧组成，GOP的第一帧一定为I帧。第36页/共41页第三十七页，共41页。38382023/2/72023/2/7 图像是一个独立的显示单元，它可以作为一个整体被显示设备显示。图像层包括不同编码类型的图像，即I、B、P帧。在图像层头中包含了图像编码的类型和时间参考信息。在MPEG-1中，图像的扫描方式是逐行的，因而图像总是帧格式(g shi)。而在MPEG-2中，图像的扫描方式既可以逐行的，也可以是隔行的。逐行扫描的图像只能是帧格式(g shi)；而隔行扫描的图像可以是帧格式(g shi)，也可以是场格式(g shi)。一个图像包含亮度分量和色度分量。在MPEG-1中，亮度和色度的采 样 格 式(g shi)是 420；而 在MPEG-2中，除了这一格式(g shi)，还可以采用422及444的格式(g shi)。第37页/共41页第三十八页，共41页。39392023/2/72023/2/7 每个宏块条包括若干个连续宏块，其顺序和行扫描顺序一致。宏块条可以从一个宏块行（16行宽）的任何一个宏块开始。宏块条是比特流重新同步的基本单元。一旦因传输差错发生误码而导致接收端解码失步，此时，可根据起始码重新获得同步。划分(hu fn)成宏块条的主要目的在于防止误码的扩散，即如果一个宏块条内的数据因传输差错发生误码，但又不可纠正时，下一个宏块条不受其影响，仍能准确地找到下一个宏块条的起始位置并正常解码。第38页/共41页第三十九页，共41页。40402023/2/72023/2/7 一个宏块由1616像素的亮度阵列和同区域内的Cb、Cr色差阵列共同组成。在MPEG-1中只采用420宏块结构。宏块是运动补偿预测的基本单元。一个420的宏块由6个块组成，其中有4个亮度块、1个Cb块和1个Cr块。一个422的宏块由8个块组成，其中有4个亮度块、2个Cb块和2个Cr块。一个444的宏块由12个块组成，其中有4个亮度块、4个Cb块和4个Cr块。为了提高编码性能，MPEG算法除了在I帧中全部宏块都采用帧内编码模式之外，在P帧和B帧中以宏块为单位自适应(shyng)地选择合适的运动补偿预测模式。第39页/共41页第四十页，共41页。41412023/2/72023/2/7 像块是MPEG算法中最小的编码单元，它包含88个像素(xin s)，并且是下面三种图像信息之一：亮度信号（Y）、色差信号Cb或Cr。像块是DCT的基本单元。像块层的数据包含88个像素(xin s)的样值经DCT后所生成的DCT系数的编码码字。第40页/共41页第四十一页，共41页。