IPTV音视频编解码.pptx

会计学1IPTV音视频编解码音视频编解码第一页，共43页。IPTV音视频编解码基本概念音视频编解码基本概念n nIPTV音视频编解码发展(fzhn)过程ITU-TH261H264ITU-T/MPEGMPEG-2MPEGMPEG-1MPEG-4CHINAAVS第1页/共43页第二页，共43页。IPTV音视频编解码基本概念音视频编解码基本概念n nIPTV音视频编解码概述n n音视频图像压缩编码标准主要由ITU-T和MPEG制订(zhdng)，已经发布的有ITU-T协议H.261,H.262,H.263,H.264以及MPEG-l、MPEG-2 MPEG-4等。n n目前认为比较适合于流媒体系统中使用的标准主要有H.264和MPEG-4。我国自主知识产权的图像压缩编码标准是AVS第2页/共43页第三页，共43页。IPTV音视频编解码基本概念音视频编解码基本概念n nIPTV对音视频编解码的要求n nIPTV作为IP网络上的视频应用的视频编码的适应性要求n n要求高的压缩效率和好的图像质量n n 要求IPTV的传输方式独立于编解码标准n n 要求尽可能短的媒体同步时间(shjin)n n要求编解码方式必须具备成熟完善的DRM系统支持n n要求终端支持多种编码格式或具备解码能力在线升级功能第3页/共43页第四页，共43页。IPTV音视频编解码基本概念音视频编解码基本概念n nIPTV对音视频编解码的要求n n选择音视频编解码标准需考虑的因素n n编码标准的标准化程度和应用范围n n编码标准的先进性n n传输系统的支持(zhch)n n产业化进程n n许可费用政策第4页/共43页第五页，共43页。IPTV音视频编解码基本概念音视频编解码基本概念n n元数据技术简介n n元数据是描述、解释、定位或者为更容易地进行检索、使用或管理信息资源而进行的结构化信息n nIPTV业务中，在向用户提供可供用户使用的信息的导航服务和终端适配服务，是需要(xyo)元数据系统所提供的服务n n由ISOIEC所制订的MPEG一7和MPEG一21便是关于采用MPEG编码压缩技术处理的图像信息的元数据第5页/共43页第六页，共43页。IPTV音视频编解码基本概念音视频编解码基本概念n nIPTVIPTV几个公开的标准几个公开的标准n nInternetInternet流媒体联盟流媒体联盟(ISMA)(ISMA)，于，于20012001年发布了年发布了ISMAISMA实施规范实施规范1.01.0版本，版本，该技术规范给出了利用开放的标准在该技术规范给出了利用开放的标准在IPIP网络网络(w(w nglu)nglu)上提供音视频上提供音视频信息的框架结构信息的框架结构n nIETFIETF便在传送工作组中研究在便在传送工作组中研究在IPIP网络网络(w(w nglu)nglu)传输语音和视频信息相传输语音和视频信息相关的标准。目前完成二十多个采用各种编码格式的视频信息的关的标准。目前完成二十多个采用各种编码格式的视频信息的RTPRTP封封装格式装格式n nOMAOMA目前已经发布了用于移动通信网络目前已经发布了用于移动通信网络(w(w nglu)nglu)的流媒体业务相关的的流媒体业务相关的一系列标准，包括技术框架、一系列标准，包括技术框架、DRMDRM等标准规范等标准规范第6页/共43页第七页，共43页。IPTV音视频编解码基本概念音视频编解码基本概念n nMPEG标准简介n nMPEG是国际标准化组织的运动图像专家小组(Moving Picture Expert Group)制定的动态视频压缩编码国际标准n nMPEG标准包括MPEG视频、MPEG音频和MPEG系统(视音频同步(tngb)3个部分n nMPEG压缩标准是针对运动图像而设计的，可实现帧之间的压缩，其平均压缩比可达200：1，压缩率比较高，且又有统一的格式，兼容性好第7页/共43页第八页，共43页。IPTV音视频编解码基本概念音视频编解码基本概念n nMPEG标准(biozhn)简介n nMPEG的 核心技术是离散余弦变换及运动补偿算法n n主要思想是通过减少每帧图像间时间上和空间上的冗余性和相关性信息，来减少数据量第8页/共43页第九页，共43页。IPTV音视频编解码基本概念音视频编解码基本概念n nMPEGMPEG标准简介标准简介(ji(ji n ji)n ji)n n目前目前MPEGMPEG系列标准由系列标准由MPEG-1MPEG-1，MPEG-2MPEG-2，MPEG-4MPEG-4，MPEG-7MPEG-7，MPEG-21MPEG-21组成组成n nMPEG-1,MPEG-1MPEG-1,MPEG-1采用采用SIFSIF格式，帧速率为格式，帧速率为25253O3O帧帧s s，码率为，码率为1.5 1.5 MbpsMbpsn nMPEG-2,MPEG-2,视频图像格式采用视频图像格式采用720480720480像素像素,传输码率为传输码率为4 410 Mbps10 Mbpsn nMPEG-4,MPEG-4,音视频对象的应用音视频数据格式进行编码音视频对象的应用音视频数据格式进行编码,压缩率更低压缩率更低n nMPEG-7MPEG-7，期望用很少的特征就能对信息内容进行检索，期望用很少的特征就能对信息内容进行检索n nMPEG-21,MPEG-21,对全球数字媒体资源进行透明和增强管理对全球数字媒体资源进行透明和增强管理第9页/共43页第十页，共43页。IPTV音视频编解码基本概念音视频编解码基本概念n n MPEG-2的原理及应用n n概况n nMPEG-2以空间和时间可分级方法(fngf)提供空间和时间不同分辨率视频格式之间的兼容,后向兼容MPEG-1n nMPEG-2在国内有线电视等领域广泛应用，美国的ATSC、欧洲的DVB、日本的ISDB数字电视广播系统也都把MPEG-2作为信源编码标准第10页/共43页第十一页，共43页。IPTV音视频编解码基本概念音视频编解码基本概念n nMPEG-2MPEG-2的原理及应用的原理及应用n nMPEG-2MPEG-2的视频结构的视频结构n n视频序列视频序列(Video Sequence)(Video Sequence)：一个视频序列：一个视频序列(也称图像序也称图像序列列)由一系列图像组由一系列图像组(GOP)(GOP)组成组成n n图像组图像组(Group of Pictures)(Group of Pictures)：图像组是由连续的几个图：图像组是由连续的几个图像组成，这些图像被分为像组成，这些图像被分为I I、P P、B B，3 3种编码图像帧种编码图像帧n n图像图像(Pictures)(Pictures)：图像是一个独立：图像是一个独立(dl)(dl)的显示单元，也的显示单元，也是图像编码的基本单元，分为是图像编码的基本单元，分为I I、P P、B B，3 3种编码图像种编码图像n n像条像条(Slice)(Slice)：像条由一系列连续的宏块组成：像条由一系列连续的宏块组成n n宏块宏块(Macro block)(Macro block)：一个宏块由一个：一个宏块由一个16 X 1616 X 16像素的亮像素的亮度阵列和相应区域内的度阵列和相应区域内的CbCb、CrCr色差信号阵列共同组成，色差信号阵列共同组成，它是运动预测的基本单元它是运动预测的基本单元n n块块(Block)(Block)：一幅图像以亮度数据阵列为基准被分成为：一幅图像以亮度数据阵列为基准被分成为若干个若干个8 X 88 X 8像素的阵列像素的阵列第11页/共43页第十二页，共43页。IPTV音视频编解码基本概念音视频编解码基本概念n nMPEG-2的原理(yunl)及应用n nMPEG-2的视频结构第12页/共43页第十三页，共43页。IPTV音视频编解码基本概念音视频编解码基本概念n nMPEG-2的原理及应用n nMPEG-2的3种图像及编码原理n n为了区分帧内、帧间编码，MPEG-2定义了3种编码图像n n帧内编码图像(Intra pictures)：帧内编码图像简称“I帧”，I帧是只使用本帧内的数据进行(jnxng)编码的图像n n前向预测编码图像(Predicated pictures)：前向预测编码图像简称“P帧”，P帧是根据前面最靠近的I帧或P帧作为参考帧进行(jnxng)前向预测编码的图像n n双向预测编码图像(Bidrectional pictures)：双向预测编码图像简称“B帧”，B帧是根据一个过去的参考帧和一个将来的参考帧进行(jnxng)双向预测的编码图第13页/共43页第十四页，共43页。IPTV音视频编解码基本概念音视频编解码基本概念n nMPEG-2的原理及应用n nMPEG-2的3种图像组处理n n图像组(GOP，group of pictures)有12帧，其中包含1个I帧、3个P帧和8个B帧，称为1个图像组n nMPEG-1和MPEG-2编码器原理大致相同，当P帧的宏块进入编码器时，前面的I帧已经存储在I帧存储器中作为参考帧，运动估计器在I帧中搜索与P帧输入宏块最佳的匹配宏块n n当B帧的宏块进入编码器时，参考帧I，P帧或者P，P帧已经储存在I帧和P帧存储器中作为参考帧n n编码B帧时，需要用将来的一个帧作为参考帧，因此(ync)需要把按先是顺序送进来的图像序列重新排列后再进入编码器，这叫做帧重排第14页/共43页第十五页，共43页。IPTV音视频编解码基本概念音视频编解码基本概念n nMPEG-2的原理及应用(yngyng)n nMPEG-2的3种图像组处理第15页/共43页第十六页，共43页。IPTV音视频编解码基本概念音视频编解码基本概念n nMPEG-2的原理及应用n nMPEG-2解码n nI帧解码，当I帧数据输入时，经接收缓冲和解复用后视频ES流通(litng)过Q 和DCT 形成I帧宏块数据n nP帧解码，随后输入的P帧数据为宏块预测差值并包含运动补偿矢量和量化步长等信息n nB帧解码，接着输入的B帧数据像P帧那样经解码后将得到的（有个三角形）MB送人加法器1，得到运动矢量MVn n帧重排，在帧重排内将解码后的图像组重排成编码时输入的显示图像的原始序列第16页/共43页第十七页，共43页。IPTV音视频编解码基本概念音视频编解码基本概念n nMPEG-2的原理及应用(yngyng)n nMPEG-2解码第17页/共43页第十八页，共43页。IPTV音视频编解码基本概念音视频编解码基本概念n nMPEG-2MPEG-2的原理及应用的原理及应用n nMPEG-2MPEG-2系统复用系统复用n nMPEG-2MPEG-2系统部分主要规范如何将系统部分主要规范如何将1 1个或多个视频流、个或多个视频流、音频音频(ynpn)(ynpn)流和其他辅助数据流复合成流和其他辅助数据流复合成1 1个数据流以个数据流以适应存储和传送适应存储和传送n n基本数据流基本数据流(ES(ES，Elementary Stream)Elementary Stream)视频和音频视频和音频(ynpn)(ynpn)信号压缩编码后的码流称为基本数据流信号压缩编码后的码流称为基本数据流ESESn n打包了的基本码流打包了的基本码流(PES(PES，Paketized Elementary Paketized Elementary Stream)ESStream)ES流经过打包器输出流经过打包器输出PESPES流流n n节目流节目流(Ps(Ps，Program Stream)ESProgram Stream)ES流经过流经过PSPS复用器后输出复用器后输出PSPS流，流，PSPS流是针对误码比较小的环境设计的，适用于流是针对误码比较小的环境设计的，适用于演播室、家庭环境和存储媒介的应用演播室、家庭环境和存储媒介的应用n n传输流传输流(TS(TS，Transport Stream)ESTransport Stream)ES流经过流经过TsTs复用器后输复用器后输出出TsTs流，流，TsTs流是针对那些容易发生误码的环境而设计流是针对那些容易发生误码的环境而设计的的n n多路节目视音频多路节目视音频(ynpn)(ynpn)数据流的系统复用数据流的系统复用,需要将诸个需要将诸个TsTs流进一步时分复用成流进一步时分复用成1 1路总的多节目路总的多节目TsTs流流第18页/共43页第十九页，共43页。IPTV音视频编解码基本概念音视频编解码基本概念n nMPEG-2的原理(yunl)及应用n nMPEG-2系统复用第19页/共43页第二十页，共43页。IPTV主流主流(zhli)音视频编解码音视频编解码n nMPEG-4的特点及基本原理n nMPEG-4特点概述n nMPEG-4是集合并支持不同性质的对象和不同来源的素材(如：自然视频、图形、文字等)用于不同应用n nMPEG-4在较低的数据(shj)率下，还有着相当高的视频图像质量，提供了比MPEG-1和MPEG-2编码更好更强的“算法”第20页/共43页第二十一页，共43页。IPTV主流主流(zhli)音视频编解码音视频编解码n nMPEG-4的特点及基本原理n nMPEG-4与MPEG-1和MPEG-2的比较优势n n支持交互应用的同时，能与原格式(如：JPEG、MPEG-1、MPEG-2、H.261和H.263)反向兼容(jin rn)，具有很强的兼容(jin rn)性n nMPEG-4算法压缩出的数据量仅为MPEG-2的十一分之一，比其它数字视频编码技术提供的压缩比更高n nMPEG-4在提供高压缩比的同时，数据损失很小第21页/共43页第二十二页，共43页。IPTV主流主流(zhli)音视频编解码音视频编解码n nMPEG-4的特点及基本原理n nMPEG-4复杂(fz)而昂贵的技术授权以及其标准兼容性问题n n标准山头的林立导致各种MPEG-4规格的兼容性很差n n2002年初，MPEGLA(一家代表18家电子消费品公司的许可证组织，其对MPEG-4拥有多项专利权),宣布了昂贵的许可费用第22页/共43页第二十三页，共43页。IPTV主流主流(zhli)音视频编解码音视频编解码n nMPEG-4的特点及基本原理n nMPEG-4的特性(txng)描述n nMPEG-4为了支持基于对象的编码，引入了形状编码模块n n为了支持高效压缩，采用了MPEG-1和MPEG-2中的变换、预测混合编码框架n nMPEG-4基于内容的交互性功能第23页/共43页第二十四页，共43页。IPTV主流主流(zhli)音视频编解码音视频编解码n nMPEG-4的特点及基本原理n nMPEG-4的算法集成n n图像和视频的有效压缩n n2D和3D网格纹理映射图的有效压缩n n隐含的2D网格的有效压缩n n控制网格运动的时变几何数据流的有效压缩n n各种视频对象的有效随机存取n n图像和视频系列的扩展控制功能n n基于内容(nirng)的图像和视频编码n n纹理、图像和视频基于内容(nirng)的分级n n空间、时间和质量的分级n n易错环境下的鲁棒性第24页/共43页第二十五页，共43页。IPTV主流主流(zhli)音视频编解码音视频编解码n nMPEG-4的特点及基本原理n n合成视频对象的编码n n人脸及相应(xingyng)的脸部运动数据流的参数化描述n n利用纹理映射的静态和动态网格编码n n视点相关应用的纹理编码第25页/共43页第二十六页，共43页。IPTV主流主流(zhli)音视频编解码音视频编解码n nMPEG-4的特点及基本原理n nMPEG-4支持的功能n n高效压缩、基于内容(nirng)的交互(操作、编辑、访问等)及基于内容(nirng)的分级扩展(空域分级、时域分级)，以基于内容(nirng)的方式表示数据第26页/共43页第二十七页，共43页。IPTV主流主流(zhli)音视频编解码音视频编解码n nMPEG-4的特点及基本原理n n基于内容的功能n nMPEG-4引人了视频对象面(VOP)的概念，每一帧都可分割成许多任意形状的图像区域(视频对象面n n属于同一对象的连接VOP称为视频对象(VO)，从用户的角度，它代表画面中任何可以存取和操作的物理实体n n同一VO的所有(suyu)VOP的形状、运动和纹理信息编码为单独的视频对象层(VOL)第27页/共43页第二十八页，共43页。IPTV主流主流(zhli)音视频编解码音视频编解码n nMPEG-4的特点及基本原理n nMPEG-4引入了形状编码算法n n码的形状信息有两类：二值形状信息(binary shape information)和灰度级形状信息(gray scale shape information)n n形状信息就是透明程度。二值形状信息就是用l表示(biosh)编码VOP的形状区域，用0表示(biosh)非VOP区域n n灰度形状信息的编码采用基于块的运动补偿DCT方法(同纹理编码相似)，属于有损编码第28页/共43页第二十九页，共43页。IPTV主流主流(zhli)音视频编解码音视频编解码n nMPEG-4的特点及基本原理n nMPEG-4支持空间分级和时间分级n n空间分级中MPEG-4支持矩形VOP的分级，基本层给出一个低分辨率的图像，并用双线性内插扩展到增强层的大小，作为增强层对应VOP的参考VOPn n在时间分级中，增强层用于增大(zn d)基层序列的帧率从而使运动更加平滑第29页/共43页第三十页，共43页。IPTV主流主流(zhli)音视频编解码音视频编解码n nMPEG-4的特点及基本原理n nMPEG-4支持很大比特率范围内的高效视频编码n nMPEG-4标准将提供更好的主观视觉质量的图像n nMPEG-4还将支持多个并发(bngf)数据流编码功能n nMPEG-4是第一个在其音、视频表示规范中考虑信道特性的标准第30页/共43页第三十一页，共43页。IPTV主流主流(zhli)音视频编解码音视频编解码n nH.264核心技术n n概述n nH.264是由国际电信联盟(ITU)的视频编码专家组(VCEG)和ISOIEC的MPEG组成(z chn)的联合视频组(JVT)共同开发的视频编码标准，ITU将其命名为H.264AVC，ISOIEC将其称为ISOIEC 1 4496-10MPEG-4 AVCn nH264和以前的标准一样，也是采用DPCM加变换编码的混合编码模式，不用众多的选项，获得更好的压缩性能；加强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利于对误码和丢包的处理第31页/共43页第三十二页，共43页。IPTV主流主流(zhli)音视频编解码音视频编解码n nH.264核心技术n nH.264的优点n n在相同重构图像质量下，与H.263和MPEG-4ASP标准相比能节约50%的码流n n允许视频节目在更低的带宽上传输，节省带宽资源(zyun)，图像质量高，能提供连续流畅的高质量图像n n有较强的容错能力，在质量不稳定的网络环境中可以得到较好的质量第32页/共43页第三十三页，共43页。IPTV主流主流(zhli)音视频编解码音视频编解码n nH.264核心技术n nH.264标准压缩系统采用分层模式n n由视频编码层(VCL)和网络提取层(NAL：Network Abstraction Layer)两部分(b fen)组成n nVCL中包括VCL编码器与VCL解码器，主要功能是视频数据压缩编码和解码n nAL则用于为VCL提供一个与网络无关的统一接口，它负责对视频数据封装打包后在网络中传送，它采用统一的数据格式第33页/共43页第三十四页，共43页。IPTV主流主流(zhli)音视频编解码音视频编解码n nH.264核心技术n nH.264的特点n n帧内预测n n对I帧的编码是通过利用空间相关性而非时间相关性实现的n n帧内预测编码就是用周围邻近(ln jn)的像素值来预测当前的像素值，然后对预测误差进行编码n n帧间预测n n预测时所用块的大小可变n nH.264一共采用了7种方式对一个宏块进行分割，每种方式下块的大小和形状都不相同，这就使编码器可以根据图像的内容选择最好的预测模式第34页/共43页第三十五页，共43页。IPTV主流主流(zhli)音视频编解码音视频编解码n nH.264核心技术n nH.264的特点n n更精细的预测精度n n多参考帧(multiple reference fames)n nH.264支持多参考帧预测，即可以有多于一个(最多5个)的在当前帧之前解码的帧可以作为参考帧产生(chnshng)对当前帧的预测(motioncompensated prediction)n nDeblocking Filtern n抗块效应滤波器，它的作用是消除经反量化和反变换后重建图像中由于预测误差产生(chnshng)的块效应第35页/共43页第三十六页，共43页。IPTV主流主流(zhli)音视频编解码音视频编解码n nH.264H.264核心技术核心技术n nH.264H.264的特点的特点n n整数变换整数变换n nH.264H.264对帧内或帧间预测的残差对帧内或帧间预测的残差(residua1)(residua1)进行进行DCTDCT变换编码。为了克服浮点运算带来的硬件设计复变换编码。为了克服浮点运算带来的硬件设计复杂杂(fz)(fz)，新标准对，新标准对DCTDCT的定义做了修改，使得的定义做了修改，使得变换仅用整数加减法和移位操作即可实现变换仅用整数加减法和移位操作即可实现n n熵编码熵编码n n对于对于SliceSlice层以上的数据，层以上的数据，H.264H.264采用采用ExpGolombExpGolomb码，码，这是一种没有自适应能力的这是一种没有自适应能力的VLCVLCn nSP SliceSP Slicen nSP SliceSP Slice的主要目的是用于不同码流的切换的主要目的是用于不同码流的切换(switch)(switch)，此外也可用于码流的随机访问、快进快退和错，此外也可用于码流的随机访问、快进快退和错误恢复误恢复n n灵活的宏块排序灵活的宏块排序n n灵活的宏块排序灵活的宏块排序(flexible macroblock ordering(flexible macroblock ordering，FMO)FMO)，是指将一幅图像中的宏块分成几个组，是指将一幅图像中的宏块分成几个组，分别独立编码分别独立编码第36页/共43页第三十七页，共43页。IPTV主流主流(zhli)音视频编解码音视频编解码n nWMV9标准简介n nWMV9是微软开发的视频压缩技术系列中最新版本的独有标准，在性能上，WMV9的数据压缩率与H.264一样n nWMV9最大的问题是没有(mi yu)完全开放第37页/共43页第三十八页，共43页。IPTV主流主流(zhli)音视频编解码音视频编解码n nAVS标准n n提出背景n n数字电视技术对于音视频标准的要求n n自主的数字音视频编解码技术标准AVS，代表了当前国际(guj)先进水平，为获得自主知识产权起到了重要的作用第38页/共43页第三十九页，共43页。IPTV主流主流(zhli)音视频编解码音视频编解码n nAVS标准n nAVS视频的核心技术n n先进的变换量化方案，AVS的8 X 8变换与量化可以在l6位处理器上无失配地实现n n帧内预测，AVS的帧内预测技术沿袭了MPEG-4 AVCH264帧内预测的思路，但AVS亮度和色度帧内预测都是以8X 8块为单位的，使方案更加简洁、实现的复杂度大为降低n n帧间预测，AVS标准采用(ciyng)了16 X 16、16 X 8、8 X l6和8 X 8的块模式进行运动补偿，能更好地刻画物体运动，提高运动搜索的准确性第39页/共43页第四十页，共43页。IPTV主流主流(zhli)音视频编解码音视频编解码n nAVS标准(biozhn)n nAVS视频的核心技术帧内预测运动补偿运动估值帧存环路滤波Q-1/ICT-1ICT/Q熵编码视频运动矢量第40页/共43页第四十一页，共43页。IPTV主流主流(zhli)音视频编解码音视频编解码n nAVS标准n n熵编码n nAVS熵编码采用(ciyng)自适应变长编码技术n n在AVS熵编码过程中，所有的语法元素和残差数据都是以指数哥伦布码的形式映射成二进制比特流第41页/共43页第四十二页，共43页。IPTV主流主流(zhli)音视频编解码音视频编解码n nAVS标准n nAVS的优势n nAVS是基于中国创新技术和部分公开(gngki)技术的自主标准编码救率比第一代标准MPEG-2高23倍，而且技术方案简洁芯片实现复杂度低n nAVS是第二代音视频编解码标准的上选AVS通过简洁的一站式许可政策，解决了MPEG-4AVCH.264设专利许可问题缠身难以产业化的死结n nMPEG一4 AVCH264是一个视频编码标准而AVS是一套包含系统、视频、音频媒体版投管理在内的完整标准体系为中国日渐强大的音视频产业提供了完整的信源编码技术方案第42页/共43页第四十三页，共43页。