多媒体技术综述精.ppt

《多媒体技术综述精.ppt》由会员分享，可在线阅读，更多相关《多媒体技术综述精.ppt（33页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、多媒体技术综述多媒体技术综述北京市多媒体与智能软件技术重点实验室 第1页，本讲稿共33页 多媒体数据压缩的必要性多媒体数据压缩的必要性 音视频压缩标准的发展音视频压缩标准的发展 图像图像/视频编码技术的现状及发展趋势视频编码技术的现状及发展趋势第2页，本讲稿共33页多媒体数据压缩的必要性多媒体数据压缩的必要性多媒体数据的显著特点：多媒体数据的显著特点：数据量非常大数据量非常大一张彩色相片的数据量可达一张彩色相片的数据量可达1010MBMB；一路高清晰度电视信号（一路高清晰度电视信号（HDTVHDTV），不压缩需），不压缩需 1Gbps 1Gbps，利用，利用MPEG-2MPEG-2压缩后，尚需

2、压缩后，尚需20Mbps20Mbps解决办法：解决办法：数据压缩数据压缩压缩后再进行存储和传输，到需要时再解压、还原。压缩后再进行存储和传输，到需要时再解压、还原。第3页，本讲稿共33页多媒体数据压缩的必要性多媒体数据压缩的必要性多媒体数据压缩的可能性：多媒体数据压缩的可能性：多媒体数据存在高度的相关性多媒体数据存在高度的相关性 （冗余度，相似性冗余度，相似性）在位图格式的图像存储方式中，像素与像素之在位图格式的图像存储方式中，像素与像素之间在行方向和列方向都具有很大的相关性。间在行方向和列方向都具有很大的相关性。第4页，本讲稿共33页多媒体数据压缩的必要性多媒体数据压缩的必要性多媒体数据的冗

3、余类型多媒体数据表示中存在着大量的冗余，利用多媒体数据的冗余性来减少数据量。常见图像、视频、音频数据中存在的冗余类型如下：1.空间冗余2.时间冗余3.视觉冗余6.纹理的统计冗余5.结构冗余4.知识冗余第5页，本讲稿共33页1.空间冗余 一幅图像表面上各采样点的颜色之间往往存在着空间连贯性，基于离散像素采样来表示物体表面颜色的像素存储方式可利用空间连贯性，达到减少数据量的目的。例如，在静态图像中有一块表面颜色均匀的区域，在此区域中所有点的光强和色彩以及饱和度都是相同的，因此数据有很大的空间冗余。多媒体数据压缩的必要性多媒体数据压缩的必要性第6页，本讲稿共33页图图BitmapBitmap颜色相同

4、的块颜色相同的块帧内压缩帧内压缩多媒体数据压缩的必要性多媒体数据压缩的必要性第7页，本讲稿共33页2.时间冗余运动图像一般为位于一时间轴区间的一组连续画面，其中的相邻帧往往包含相同的背景和移动物体，只不过移动物体所在的空间位置略有不同，所以后一帧的数据与前一帧的数据有许多共同的地方，这种共同性是由于相邻帧记录了相邻时刻的同一场景画面，所以称为时间冗余。同理，语音数据中也存在着时间冗余。多媒体数据压缩的必要性多媒体数据压缩的必要性第8页，本讲稿共33页多媒体数据压缩的必要性第9页，本讲稿共33页3.视觉冗余 人类的视觉系统由于受生理特性的限制，对于图像场的注意是非均匀的、非线性的，通常假定视觉系

5、统是均匀的，线性地对敏感区域和非敏感区域同等对待从而产生了更多的数据。多媒体数据压缩的必要性第10页，本讲稿共33页视觉系统对图像的亮度和色彩的敏感性相差很大。RGB转换为Yuv，对亮度Y的敏感性高于色彩u，v的敏感性。随着亮度的增加，视觉系统对亮度误差的敏感度降低，因此，在高亮度区，灰度的量化可以更加粗糙些。多媒体数据压缩的必要性第11页，本讲稿共33页视觉系统将图像的边缘和非边缘区分对待这是将图像分成边缘和非边缘编码的主要依据。人类的视觉系统总是将视网膜上的图像分解为若干个频率通道后再进一步处理，在编码时将图像分解为符合视觉内在的特性的频率通道，则可以获得较大的压缩比。小波编码在一定程度上

6、利用了这一特点。多媒体数据压缩的必要性第12页，本讲稿共33页4.知识冗余 有些图像的理解和某些基础知识有相当大的相关性，人脸的图像有固定结构这类规律性的结构可由先验知识和背景知识得到，称此类冗余为知识冗余。对于某些图像中的物体构造其基本模型，创建对应的各种特征的图像，这样图像的存储只存储某些特征参数。多媒体数据压缩的必要性第13页，本讲稿共33页5.结构冗余 有些图像的纹理区域，图像的像素值存在明显的分布模式，如方格状的地板图案等，称之为结构冗余。已知结构模式，通过某一过程生成图像。6.纹理的统计冗余 有些图像的纹理尽管不服从明显的分布模式，但在统计意义下符合某一分布规律，利用这种性质可以减

7、少图像的数据量。多媒体数据压缩的必要性第14页，本讲稿共33页 多媒体数据压缩的必要性多媒体数据压缩的必要性 音视频压缩标准的发展音视频压缩标准的发展 图像图像/视频编码技术的现状及发展趋势视频编码技术的现状及发展趋势第15页，本讲稿共33页庞大的数字音视频产业庞大的数字音视频产业音视频产业是电子信息产业的三大组成部分之一音视频产业是电子信息产业的三大组成部分之一 （通信、计算机、音视频）（通信、计算机、音视频）音视频产业产值约占大陆信息产业总产值的三分之一音视频产业产值约占大陆信息产业总产值的三分之一 数字化是音视频产业的发展方向，也是上个世数字化是音视频产业的发展方向，也是上个世纪前十年产

8、业增长的最重要的因素纪前十年产业增长的最重要的因素 音视频压缩标准的发展第16页，本讲稿共33页庞大的数字视频产业庞大的数字视频产业 自从自从19481948年信息论之父年信息论之父C.E.ShannonC.E.Shannon在论文中第一次在论文中第一次给出信息熵的数学表达式，数据压缩技术已经发给出信息熵的数学表达式，数据压缩技术已经发展了展了6060年头。年头。以音视频编解码核心技术为基础的行业标准，一直以来以音视频编解码核心技术为基础的行业标准，一直以来都是该领域的都是该领域的“兵家必争之地兵家必争之地”音视频编解码技术发展的理想方向音视频编解码技术发展的理想方向-全球统一标准，全球统一标

9、准，(使信息管理系统具有普遍的互操作性并确保未使信息管理系统具有普遍的互操作性并确保未来的兼容性来的兼容性)音视频领域存在多种标准有其历史原因，不同的标准音视频领域存在多种标准有其历史原因，不同的标准代表了不同的利益。代表了不同的利益。音视频压缩标准的发展第17页，本讲稿共33页音视频压缩标准的发展音视频压缩标准的发展多种互不兼容标准共存的现象应用领域重叠，造成标准竞争激烈 第18页，本讲稿共33页编码分类编码分类信道编码：面向传输信道编码：面向传输 卫星、有线、地面卫星、有线、地面 互联网、移动网、光盘、便携存储互联网、移动网、光盘、便携存储 信源编码：面向内容信源编码：面向内容 文字编码：

10、文字编码：ASCIIASCII，GB 18030GB 18030，所有信息系统需要，所有信息系统需要 音视频编码：所有音视频系统需要音视频编码：所有音视频系统需要 标清数字视频原始数据超过标清数字视频原始数据超过200Mbps200Mbps，高清超过，高清超过 1Gbps1Gbps 音视频压缩标准的发展音视频压缩标准的发展第19页，本讲稿共33页音视频压缩标准的发展音视频压缩标准的发展 ISO/IEC ISO/IEC 推出的推出的MPEGMPEG系列压缩标准：系列压缩标准：MPEG-1,2,4 MPEG-1,2,4 ITU-T ITU-T推出的推出的H.26XH.26X系列压缩标准系列压缩标准

11、 H.261,2,3,3+,3+,4 H.261,2,3,3+,3+,4 第20页，本讲稿共33页19931993年年，MPEG-1MPEG-1由由ISO/IEC ISO/IEC 的的MPEGMPEG（活动图像编码专家组）发布，（活动图像编码专家组）发布，标准编号标准编号ISO/IEC 11172ISO/IEC 11172，视频压缩是其中的第二部分，即，视频压缩是其中的第二部分，即ISO/IEC ISO/IEC 11172-2,11172-2,目标是在大约目标是在大约1.2Mbps(1.2Mbps(音频视频共音频视频共1.5Mbps)1.5Mbps)时提供接时提供接近家用录像机质量的视频，在近

12、家用录像机质量的视频，在VCDVCD产业获得广泛的应用。产业获得广泛的应用。MPEG-1MPEG-1达不达不到广播电视质量的要求。到广播电视质量的要求。19951995年年，MPEG-2MPEG-2发布发布,标准编号标准编号ISO/IEC 13818ISO/IEC 13818，视频压缩是其中，视频压缩是其中的第二部分，由于该标准是由的第二部分，由于该标准是由ITU-T ITU-T 的的VCEGVCEG（视频编码专家组）和（视频编码专家组）和ISO/IEC ISO/IEC 的的MPEGMPEG（活动图像编码专家组）联合组建的联合视频组（活动图像编码专家组）联合组建的联合视频组（JVTJVT：Jo

13、int Video TeamJoint Video Team）共同开发，因此有两个标准号：）共同开发，因此有两个标准号：ISO/IEC ISO/IEC 13818-2,H.262,MPEG-213818-2,H.262,MPEG-2的目标是在大约的目标是在大约4-8Mbps4-8Mbps时提供标准清晰度电时提供标准清晰度电视质量的视频。在大约视质量的视频。在大约10-15Mbps10-15Mbps时提供高清晰度电视质量的视时提供高清晰度电视质量的视频。在频。在DVDDVD、数字电视产业获得广泛的应用。、数字电视产业获得广泛的应用。音视频压缩标准的发展第21页，本讲稿共33页20002000年年

14、，在支持单向播放的同时，为了满足交互应用，在支持单向播放的同时，为了满足交互应用，MPEG-4 V1MPEG-4 V1版版本发布，标准编号本发布，标准编号ISO/IEC 14496ISO/IEC 14496，视频压缩是其中的第二部分，即，视频压缩是其中的第二部分，即ISO/IEC 14496-2,ISO/IEC 14496-2,其目标是在大约其目标是在大约1.5-8Mbps1.5-8Mbps时提供可交互的家用时提供可交互的家用录像机质量的和标准清晰度电视质量的视频，在流媒体播放领域录像机质量的和标准清晰度电视质量的视频，在流媒体播放领域广泛应用。广泛应用。20012001年年，MPEG-4 V

15、2MPEG-4 V2版本发布，它在版本发布，它在MPEG-4 V1MPEG-4 V1的基础上增加了部的基础上增加了部分压缩工具。分压缩工具。20032003年年，为了进一步提高压缩效率，为了进一步提高压缩效率ISO/IECISO/IEC和和ITUITU两个标准组织两个标准组织联合发布了新的标准，在两个标准化组织的标准号分别为联合发布了新的标准，在两个标准化组织的标准号分别为14496-10(MPEG-4,Part 10,14496-10(MPEG-4,Part 10,也称也称MPEG AVC)MPEG AVC)和和H.264H.264。其目标是在其目标是在768Kbps768Kbps、2-4M

16、bps2-4Mbps、6-10Mbps6-10Mbps时分别提供可交互的家时分别提供可交互的家用录像机质量、标准清晰度电视质量和高清晰度电视质量的视用录像机质量、标准清晰度电视质量和高清晰度电视质量的视频，是目前为止压缩效率最高的编码标准，标准已经被频，是目前为止压缩效率最高的编码标准，标准已经被DVBDVB标标准组织采用，而国内业界通常所说的准组织采用，而国内业界通常所说的MPEG-4MPEG-4是是MPEG-4 MPEG-4 的的V2V2版本。版本。音视频压缩标准的发展第22页，本讲稿共33页AVS AVS：数字音视频编解码技术标准工作组数字音视频编解码技术标准工作组20022002年年经

17、信息产业部科技司批准成立经信息产业部科技司批准成立，同时也是同时也是 MPEG-China(ISO/IEC JTC1 MPEG-China(ISO/IEC JTC1 SC29/WG11SC29/WG11中国代表团中国代表团）工作范围工作范围：面向大陆的信息产业需求，联合大陆企业和科研机构，制（修）订面向大陆的信息产业需求，联合大陆企业和科研机构，制（修）订数字音视频的压缩、解压缩、数字音视频的压缩、解压缩、处理和表示等共性技术标准处理和表示等共性技术标准，为数字音视频设备与系，为数字音视频设备与系统提供高效经济的编解码技术，服务于高分辨率数字广播统提供高效经济的编解码技术，服务于高分辨率数字广

18、播、高密度激光数字存储媒、高密度激光数字存储媒、无线宽带多媒体通讯、互联网宽带流媒体等重大信息产业应用。无线宽带多媒体通讯、互联网宽带流媒体等重大信息产业应用。从从产业化角度看产业化角度看：H.264,MPEG-4H.264,MPEG-4 除了对终端用户收取高额的许可费除了对终端用户收取高额的许可费 （2.52.5美美元元/台）台）还还要向运营商收取许可费，要向运营商收取许可费，MPEG-4MPEG-4 对编码解码时间收费，对编码解码时间收费，H.264H.264对对节目提供商收取参加费，最高封顶每年节目提供商收取参加费，最高封顶每年350350万元，严重影响产业的正常发展，万元，严重影响产业

19、的正常发展，AVSAVS标准只象征性地向终端设备制造商收取标准只象征性地向终端设备制造商收取1 1元人民币元人民币/台的专利费，无疑对产台的专利费，无疑对产业的良性发展起到最大的推进作用业的良性发展起到最大的推进作用.己经称为国家标准己经称为国家标准，但缺乏一个完整、成熟的产业链，这个问题正在解决之中。，但缺乏一个完整、成熟的产业链，这个问题正在解决之中。音视频压缩标准的发展第23页，本讲稿共33页数字音视频标准正在更新换代 一般认为，压缩效率提高一倍，技术标准就会面临更新换代。MPEG-2是1994年完成的，新的技术组合压缩效率已经以超过MPEG-2的2倍以上，所以该换代了。MPEG-4 A

20、VC/H.264 AVS 但是，成熟的行业不愿意换得太早 例如有线电视行业 所以，机会在新的行业，例如高清电视、地面传输、IPTV、3G、数字影院等等 音视频压缩标准的发展音视频压缩标准的发展第24页，本讲稿共33页音视频压缩标准的发展视频编码效率的进步第25页，本讲稿共33页 多媒体数据压缩的必要性多媒体数据压缩的必要性 音视频压缩标准的发展音视频压缩标准的发展 图像图像/视频编码技术的发展现状及趋势视频编码技术的发展现状及趋势第26页，本讲稿共33页 图像图像/视频的预测编码视频的预测编码 对于预测编码技术，压缩编码后传输的并不是像素本身的取样幅值，对于预测编码技术，压缩编码后传输的并不是

21、像素本身的取样幅值，而是该取样的预测值和实际值之差。同一幅图像的邻近像素之间有着而是该取样的预测值和实际值之差。同一幅图像的邻近像素之间有着相关性，或者说这些像素值相似。而且同帧图像中邻近行之间对应位相关性，或者说这些像素值相似。而且同帧图像中邻近行之间对应位置的像素之间也有较强的相关性。置的像素之间也有较强的相关性。编码端：XA=q解码端：qA=X 图1 像素间相关性解释 图2 帧间相关性解释图像/视频编码技术的发展现状及趋势第27页，本讲稿共33页 图像/视频编码技术的发展现状及趋势 图像/视频的变换编码 变换域编码是目前最广泛采用的图像压缩编码方法，乎所 有的图像/视频压缩标准均以变换编

22、码为重要工具。通常视频信号中包含大量的低频成分，即图像的平坦部分，也有少量的高频成分，即图像的细节。变换图像编码技术是根据图像包含的几乎都是低频特征为前提，即大部分能量都集中在变换的低频部分，在编码中对高频系数的进行粗糙量化。第28页，本讲稿共33页 基于模型编码技术基于模型编码技术例如：例如：talking head model:talking head model:编码器对一个包含肩头场景编码器对一个包含肩头场景分析，然后对头部建立分析，然后对头部建立3D3D模型，解码端有自己的模型，解码端有自己的3D3D模型，编码模型，编码端只需要发送驱动模型的参数和场景间的差异，与上述方法相比，端只需

23、要发送驱动模型的参数和场景间的差异，与上述方法相比，编码效率高，但运算复杂性较高。编码效率高，但运算复杂性较高。图像/视频编码技术的发展现状及趋势第29页，本讲稿共33页 混合编码技术混合编码技术混合编码框架的技术主要包括：运动补偿、预测编码、变换混合编码框架的技术主要包括：运动补偿、预测编码、变换编码以及熵编码等。近年来混合编码的研究主要集中于如何编码以及熵编码等。近年来混合编码的研究主要集中于如何在技术细节方面进行进一步完善，使编码效率得到进一步的在技术细节方面进行进一步完善，使编码效率得到进一步的提高。提高。其典型代表为其典型代表为20032003年由联合专家组年由联合专家组JVTJVT

24、制定的新一代视频编码标制定的新一代视频编码标准准H.264/AVCH.264/AVC。图像/视频编码技术的发展现状及趋势第30页，本讲稿共33页 可伸缩编码技术可伸缩编码技术 可伸缩技术将视频编解码技术从传统的压缩技术转变为了更多考虑网络可伸缩技术将视频编解码技术从传统的压缩技术转变为了更多考虑网络适应性和灵活性的编解码框架。适应性和灵活性的编解码框架。20052005年年2 2月，月，JVTJVT将可伸缩性编码将可伸缩性编码（Scalable Video Coding,SVC)Scalable Video Coding,SVC)作为作为H.264H.264标准的扩展，并起草了标准的扩展，并起

25、草了H.264H.264标准的可伸缩性扩展第一草案。可伸缩视频编码具有时域、标准的可伸缩性扩展第一草案。可伸缩视频编码具有时域、空域和质量等多方面的灵活性。空域和质量等多方面的灵活性。SVC SVC 不仅适合网络传输，而且应用到视频监控领域中不仅适合网络传输，而且应用到视频监控领域中 还能满足监控视频资料的存储、检索、分析等方面的种种特殊需求。还能满足监控视频资料的存储、检索、分析等方面的种种特殊需求。在在SVCSVC的需求文档中已将视频监控列为可伸缩视频编码技术的主要的需求文档中已将视频监控列为可伸缩视频编码技术的主要应用领域之一。应用领域之一。可伸缩技术的方法大致上可以划分为两种：基于小波

26、变换的可伸缩技术可伸缩技术的方法大致上可以划分为两种：基于小波变换的可伸缩技术和基于传统的混合编码结构的可伸缩技术。和基于传统的混合编码结构的可伸缩技术。图像/视频编码技术的发展现状及趋势第31页，本讲稿共33页视频自适应技术视频自适应技术未来多媒体网络的发展，是计算、通信与网络的结合，固定服务与移动服务的结合，未来多媒体网络的发展，是计算、通信与网络的结合，固定服务与移动服务的结合，多样化服务与个性化服务的结合。通用媒体访问多样化服务与个性化服务的结合。通用媒体访问(universal media access)被认为被认为是多媒体应用需满足的一项本质性的要求，它指用户可以使用多种终端是多媒

27、体应用需满足的一项本质性的要求，它指用户可以使用多种终端设备，通过各种网络形式，无缝连接地访问所需要的媒体信息。但是，设备，通过各种网络形式，无缝连接地访问所需要的媒体信息。但是，当前媒体应用环境中存在的网络的异构性、终端设备的多样性、多媒体当前媒体应用环境中存在的网络的异构性、终端设备的多样性、多媒体应用的复杂性给实现通用媒体访问带来了很大挑战。应用的复杂性给实现通用媒体访问带来了很大挑战。目前，已经建立了多个视频编码国际标准，这些标准的基本框架都是采用预测、变目前，已经建立了多个视频编码国际标准，这些标准的基本框架都是采用预测、变换、熵编码等技术将视频信号压缩成一定码率的码流，其主要由运动

28、矢量和残差两部换、熵编码等技术将视频信号压缩成一定码率的码流，其主要由运动矢量和残差两部分组成。然而，这种视频表达方式过于单调，仅适用于存储与传输，难以适应当前复分组成。然而，这种视频表达方式过于单调，仅适用于存储与传输，难以适应当前复杂的媒体应用环境。杂的媒体应用环境。为此，人们提出了视频自适应为此，人们提出了视频自适应（video adaptation）的概念。视频自适的概念。视频自适应主要研究如何将已有的视频表达形式变换成为满足限制条件的某种形应主要研究如何将已有的视频表达形式变换成为满足限制条件的某种形式，同时，尽可能提高变换后视频的有用性式，同时，尽可能提高变换后视频的有用性(uti

29、lity)，即用户的满意度。，即用户的满意度。图像/视频编码技术的发展现状及趋势第32页，本讲稿共33页多视点编码技术多视点编码技术多视点视频多视点视频（multi-view video）是一种新型的具有立体感知和交互操作是一种新型的具有立体感知和交互操作功能的视频技术，它由一组平行或会聚相机阵列拍摄得到的视频信号。功能的视频技术，它由一组平行或会聚相机阵列拍摄得到的视频信号。2001年，年，MPEG成立了成立了3DAV工作组，其首要任务就是定义工作组，其首要任务就是定义3D音视频领域的音视频领域的范围和应用场景，并为其中的关键技术制定标准。多视点视频是范围和应用场景，并为其中的关键技术制定标

30、准。多视点视频是3DAV框架下，近框架下，近年来迅速崛起和快速发展的研究领域。在视频监控类的应用中，多视点视频年来迅速崛起和快速发展的研究领域。在视频监控类的应用中，多视点视频编码技术有助于实现多视角立体监控，多摄像头联动等应用。编码技术有助于实现多视角立体监控，多摄像头联动等应用。实现多视点视频编码实现多视点视频编码(MVC)可以基于传统混合编码框架可以基于传统混合编码框架(H.264)，也可基于，也可基于小波编码以及分布式编码等新一代视频编码工具。视点间相关性是多视小波编码以及分布式编码等新一代视频编码工具。视点间相关性是多视点视频序列的重要特性，它与相机阵列形式、相机间距、相机和拍摄对点视频序列的重要特性，它与相机阵列形式、相机间距、相机和拍摄对象间距离存在极大的关系，直接反映在同一时刻相邻视点两幅图像的视象间距离存在极大的关系，直接反映在同一时刻相邻视点两幅图像的视差上。差上。图像/视频编码技术的发展现状及趋势第33页，本讲稿共33页