各种音视频编解码学习详解_.docx

《各种音视频编解码学习详解_.docx》由会员分享，可在线阅读，更多相关《各种音视频编解码学习详解_.docx（60页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、各种音视频编解码学习详解_各种音视频编解码学习详解各种音视频编解码学习详解各种音视频编解码学习详解编解码学习笔记一：基本概念媒体业务是网络的主要业务之间。尤其移动互联网业务的兴起，在运营商和应用开发商中，媒体业务份量极重，其中媒体的编解码服务涉及需求分析、应用开发、释放license收费等等。近期由于项目的关系，需要理清媒体的codec，比拟搞的是，在豆丁网上看运营商的规范标准，同一运营商同样的业务在不同文档中不同的要求，而且有些要求就我看来应当是历史的延续，也就是如今已经很少采用了。所以豆丁上看不出所以然，从wiki上查。中文的wiki信息量有限，很短，而wiki的英文内容内多，删减版也减肥

2、得太过。我在网上还看到一个山寨的中文wiki，长得很像，红色的，叫天下维客。wiki的中文还是很不错的，但是浏览后建议再浏览英文。我对媒体codec做了一些整理和总结，资料来源于wiki，小部分来源于网络博客的采集。网友资料我们将给出来源。假如资料已经转手几趟就没办法，雁过留声，我们只能给出某个轨迹。基本概念编解码编解码器codec指的是一个能够对一个信号或者一个数据流进行变换的设备或者程序。这里指的变换既包括将信号或者数据流进行编码通常是为了传输、存储或者加密或者提获得到一个编码流的操作，也包括为了观察或者处理从这个编码流中恢复合适观察或操作的形式的操作。编解码器经常用在视频会议和流媒体等应

3、用中。容器很多多媒体数据流需要同时包含音频数据和视频数据，这时通常会参加一些用于音频和视频数据同步的元数据，例如字幕。这三种数据流可能会被不同的程序，进程或者硬件处理，但是当它们传输或者存储的时候，这三种数据通常是被封装在一起的。通常这种封装是通过视频文件格式来实现的，例如常见的*.mpg,*.avi,*.mov,*.mp4,*.rm,*.oggor*.tta.这些格式中有些只能使用某些编解码器，而更多能够以容器的方式使用各种编解码器。FourCC全称Four-CharacterCodes，是由4个字符4bytes组成，是一种独立标示视频数据流格式的四字节，在wav、avi档案之中会有一段Fo

4、urCC来描绘这个AVI档案，是利用何种codec来编码的。因而wav、avi大量存在等于IDP3的FourCC。视频是如今电脑中多媒体系统中的重要一环。为了适应储存视频的需要，人们设定了不同的视频文件格式来把视频和音频放在一个文件中，以方便同时回放。视频档实际上都是一个容器里面包裹着不同的轨道，使用的容器的格式关系到视频档的可扩展性。参数介绍采样率采样率也称为采样速度或者采样频率定义了每秒从连续信号中提取并组成离散信号的采样个数，它用赫兹Hz来表示。采样频率的倒数叫作采样周期或采样时间，它是采样之间的时间间隔。注意不要将采样率与比特率bitrate，亦称位速率相混淆。采样定理表明采样频率必须

5、大于被采样信号带宽的两倍，另外一种等同的讲法是奈奎斯特频率必须大于被采样信号的带宽。假如信号的带宽是100Hz，那么为了避免混叠现象采样频率必须大于200Hz。换句话讲就是采样频率必须至少是信号中最大频率分量频率的两倍，否则就不能从信号采样中恢复原始信号。对于语音采样：?8,000Hz-所用采样率,对于人的讲话已经足够?11,025Hz?22,050Hz-无线电广播所用采样率?32,000Hz-miniDV数码视频camcorder、DAT(LPmode)所用采样率?44,100Hz-音频CD,也常用于MPEG-1音频VCD,SVCD,MP3所用采样率各种音视频编解码学习详解各种音视频编解码学

6、习详解?47,250Hz-NipponColumbia(Denon)开发的世界上第一个商用PCM录音机所用采样率?48,000Hz-miniDV、数字电视、DVD、DAT、电影和专业音频所用的数字声音所用采样率?50,000Hz-二十世纪七十年代后期出现的3M和Soundstream开发的第一款商用数字录音机所用采样率?50,400Hz-三菱X-80数字录音机所用所用采样率?96,000或者192,000Hz-DVD-Audio、一些LPCMDVD音轨、Blu-rayDisc蓝光盘音轨、和HD-DVD高明晰度DVD音轨所用所用采样率?2.8224MHz-SACD、索尼和飞利浦联合开发的称为Di

7、rectStreamDigital的1位sigma-deltamodulation经过所用采样率。在模拟视频中，采样率定义为帧频和场频，而不是概念上的像素时钟。图像采样频率是传感器积分周期的循环速度。由于积分周期远远小于重复所需时间，采样频率可能与采样时间的倒数不同。?50Hz-PAL视频?60/1.001Hz-NTSC视频当模拟视频转换为数字视频的时候，出现另外一种不同的采样经过，这次是使用像素频率。一些常见的像素采样率有：?13.5MHz-CCIR601、D1video分辨率分辨率，泛指量测或显示系统对细节的分辨能力。此概念能够用时间、空间等领域的量测。日常用语中之分辨率多用于图像的明晰度

8、。分辨率越高代表图像品质越好，越能表现出更多的细节。但相对的，由于纪录的信息越多，文件也就会越大。目前个人电脑里的图像，能够使用图像处理软件，调整图像的大小、编修照片等。例如photoshop，或是photoimpact等软件。图像分辨率：用以描绘图像细节分辨能力，同样适用于数字图像、胶卷图像、及其他类型图像。常用线每毫米、线每英吋等来衡量。通常，分辨率被表示成每一个方向上的像素数量，比方640x480等。而在某些情况下，它可以以同时表示成每英吋像素pixelsperinch，ppi以及图形的长度和宽度。比方72ppi，和8x6英吋。视频分辨率：各种电视规格分辨率比拟视频的画面大小称为分辨率。

9、数位视频以像素为度量单位，而类比视频以水平扫瞄线数量为度量单位。标清电视频号分辨率为720/704/640x480i60NTSC或768/720x576i50PAL/SECAM。新的高清电视HDTV分辨率可达1920x1080p60，即每条水平扫瞄线有1920个像素，每个画面有1080条扫瞄线，以每秒钟60张画面的速度播放。画面更新率fpsFramerate中文常译为画面更新率或帧率，是指视频格式每秒钟播放的静态画面数量。典型的画面更新率由早期的每秒6或8张framepersecond，简称fps，至现今的每秒120张不等。PAL(欧洲，亚洲，澳洲等地的电视广播格式)与SECAM(法国，俄国，

10、部分非洲等地的电视广播格式)规定其更新率为25fps，而NTSC(美国，加拿大，日本等地的电视广播格式)则规定其更新率为29.97fps。电影胶卷则是以稍慢的24fps在拍摄，这使得各国电视广播在播映电影时需要一些复杂的转换手续参考Telecine转换。要达成最基本的视觉暂留效果大约需要10fps的速度。压缩方法各种音视频编解码学习详解各种音视频编解码学习详解有损压缩和无损压缩在视频压缩中有损Lossy和无损Lossless的概念与静态图像中基本类似。无损压缩也即压缩前和解压缩后的数据完全一致。多数的无损压缩都采用RLE行程编码算法。有损压缩意味着解压缩后的数据与压缩前的数据不一致。在压缩的经

11、过中要丢失一些人眼和人耳所不敏感的图像或音频信息，而且丢失的信息不可恢复。几乎所有高压缩的算法都采用有损压缩，这样才能到达低数据率的目的。丢失的数据率与压缩比有关，压缩比越小，丢失的数据越多，解压缩后的效果一般越差。此外，某些有损压缩算法采用屡次重复压缩的方式，这样还会引起额外的数据丢失。?无损格式，例如WAV，PCM，TTA，FLAC，AU，APE，TAK，WavPack(WV)?有损格式，例如MP3，WindowsMediaAudioWMA，OggVorbisOGG，AAC帧内压缩和帧间压缩帧内Intraframe压缩也称为空间压缩Spatialcompression。当压缩一帧图像时，仅

12、考虑本帧的数据而不考虑相邻帧之间的冗余信息，这实际上与静态图像压缩类似。帧内一般采用有损压缩算法，由于帧内压缩时各个帧之间没有互相关系，所以压缩后的视频数据仍能够以帧为单位进行编辑。帧内压缩一般达不到很高的压缩。采用帧间Interframe压缩是基于很多视频或动画的连续前后两帧具有很大的相关性，或者讲前后两帧信息变化很小的特点。也即连续的视频其相邻帧之间具有冗余信息，根据这一特性，压缩相邻帧之间的冗余量就能够进一步提高压缩量，减小压缩比。帧间压缩也称为时间压缩Temporalcompression，它通过比拟时间轴上不同帧之间的数据进行压缩。帧间压缩一般是无损的。帧差值Framediffere

13、ncing算法是一种典型的时间压缩法，它通过比拟本帧与相邻帧之间的差异，仅记录本帧与其相邻帧的差值，这样能够大大减少数据量。对称编码和不对称编码对称性symmetric是压缩编码的一个关键特征。对称意味着压缩和解压缩占用一样的计算处理能力和时间，对称算法合适于实时压缩和传送视频，如视频会议应用就以采用对称的压缩编码算法为好。而在电子出版和其它多媒体应用中，一般是把视频预先压缩处理好，此后再播放，因而能够采用不对称asymmetric编码。不对称或非对称意味着压缩时需要花费大量的处理能力和时间，而解压缩时则能较好地实时回放，也即以不同的速度进行压缩和解压缩。一般地讲，压缩一段视频的时间比回放解压

14、缩该视频的时间要多得多。例如，压缩一段三分钟的视频片断可能需要10多分钟的时间，而该片断实时回放时间只要三分钟。除wiki外的资料来源：:/doczj/doc/64d82136b90d6c85ec3ac6d4.html/csyy/Using/200411/3142.html编解码学习笔记二：codec类型资料港台将information翻译为资料压缩是透过去除资料中的冗余资讯而达成。就视讯资料而言，资料中的冗余资讯能够分成四类：时间上的冗余资讯temporalredundancy在视讯资料中，相邻的帧frame与帧之间通常有很强的关连性，这样的关连性即为时间上的冗余资讯。这即是上一次学习中的帧

15、间压缩。空间上的冗余资讯spatialredundancy在同一张帧之中，相邻的像素之间通常有很强的关连性，这样的关连性即为空间上的冗余资讯。这即是上一次学习中的帧内压缩。统计上的冗余资讯statisticalredundancy统计上的冗余资讯指的是欲编码的符号symbol的机率分布是不均匀non-uniform的。感悟上的冗余资讯perceptualredundancy感悟上的冗余资讯是指在人在观看视讯时，人眼无法发觉的资讯。视讯压缩英文：Videocompression是指运用资料压缩技术将数位视讯资料中的冗余资讯去除，降低表示原始视讯所需的资料量，以便视讯资料的传输与储存。实际上，原始

16、视此页面能否是列表页或首页？未找到适宜正文内容。此页面能否是列表页或首页？未找到适宜正文内容。此页面能否是列表页或首页？未找到适宜正文内容。各种音视频编解码学习详解各种音视频编解码学习详解MPEG-1较早的视频编码，质量比拟差，主要用于CD-ROM存储视频，国内最为大家熟悉的就是VCDVideoCD，他的视频编码就是采用MPEG-1。它是为CD光盘介质定制的视频和音频压缩格式。一张70分钟的CD光盘传输速率大约在1.4Mbps。而MPEG-1采用了块方式的运动补偿、离散余弦变换DCT、量化等技术，并为1.2Mbps传输速率进行了优化。MPEG-1随后被VideoCD采用作为内核技术。MPEG-

17、1的输出质量大约和传统录像机VCR，信号质量相当，这也许是VideoCD在发达国家未获成功的原因。MPEG-1音频分三层，就是MPEG-1LayerI,II,III，其中第三层协议也就是MPEG-1Layer3，简称MP3。MP3目前已经成为广泛流传的音频压缩技术。MPEG-1有下面几个部分：?第一部分Part1：系统；?第二部分Part2：视频；?第三部分Part3：音频；定义level1，level2，level3，并在MPEG-2中定义了扩展。?第四部分Part4：一次性测试；?第五部分Part5：参考软件；MPEG的缺点：?1个音频压缩系统限于两个通道立体声?没有为隔行扫描视频提供标准

18、化支持，且压缩率差?只要一个标准化的profile约束参数比特流，不适应更高分辨率的视频。MPEG-1能够支持4k的视频，但难以提供更高分辨率的视频编码并且标识硬件的支持能力。?支持只要一个颜色空间，4:2:0。MPEG-2MPEG-2内容介绍MPEG-2作为ISO/IEC13818正式发布，通常用来为广播信号提供视频和音频编码，包括卫星电视、有线电视等。MPEG-2经过少量修改后，也成为DVD产品的内核技术。MPEG-2有11部分，详细如下：第一部Part1：系统-描绘视频和音频的同步和多路技术正式名称是ISO/IEC13818-1或ITU-T中的H.222.0MPEG-2的系统描绘部分第1

19、部分定义了传输流，它用来一套在非可靠介质上传输数字视频信号和音频信号的机制，主要用在广播电视领域。定义了两个不同但相关的容器格式，MPEGtransportstream和MPEGprogramstream，也就是图中的TS和PS。MPEG传输流TS为携带可损数字视频和音频，媒体流的开场和结束能够不标识出来，就像广播或者磁带，其中的例子包括ATSC，DVB，SBTVD和HDV。MPEG-2系统还定义了MPEG节目流PS，它为以文件为基础的媒体设计一个容器格式，用于硬盘驱动器，光盘和闪存。MPEG-2PS节目流是为在存储介质保存视频信息而开发的。MPEG-2TS传输流是为在网络传输视频信息而开发的

20、。目前，MPEG-2TS最广泛地应用是DVB系统。TS流与PS流的区别在于TS流的包构造是固定度的，而PS流的包构造是可变长度。PS包与TS包在构造上的这种差异，导致了它们对传输误码具有不同的抵抗能力，因此应用的环境也有所不同。TS码流由于采用了固定长度的包构造，当传输误码毁坏了某一TS包的同步信息时，接收机可在固定的位置检测它后面包中的同步信息，进而恢复同步，避免了信息丢失。而PS包由于长度是变化的，一旦某一PS包的同步信息丢失，接收机无法确定下一包的同步位置，就会造成失步，导致严重的信息丢失。因而，在信道环境较为恶劣，传输误码较高时，一般采用TS码流；而在信道环境较好，传输误码较低时，一般

21、采用PS码流由于TS码流具有较强的抵抗传输误码的能力，因而目前在传输媒体中进行传输的MPEG-2码流基本上都采用了TS码流的包格。第二部Part2：视频-视频压缩正式名称是ISO/IEC13818-2或ITU-TH.262。各种音视频编解码学习详解各种音视频编解码学习详解提供隔行扫描和非隔行扫描视频信号的压缩编解码器。MPEG-2的第二部分即视频部分和MPEG-1类似，但是它提供对隔行扫描视频显示形式的支持隔行扫描广泛应用在广播电视领域。MPEG-2视频并没有对低位速率小于1Mbps进行优化，在3Mbit/s及以上位速率情况下，MPEG-2明显优于MPEG-1。MPEG-2向后兼容，也即是讲，

22、所有符合标准的MPEG-2解码器也能够正常播放MPEG-1视频流。MPEG-2技术也应用在了HDTV传输系统中。MPEG-2不光运用于DVD-Video，如今大部分HDTV高清电视也采用MPEG-2编码，分辨率到达了1920x1080。由于MPEG-2的普及，本来为HDTV准备的MPEG-3最终宣告放弃。MPEG-2视频通常包含多个GOPGroupOfPictures，每一个GOP包含多个帧frame。帧的帧类frametype通常包括I-帧I-frame、P-帧P-frame和B-帧B-frame。其中I-帧采用帧内编码，P-帧采用前向估计，B-帧采用双向估计。一般来讲输入视频格式是25CC

23、IR标准或者29.97FCC帧秒。MPEG-2支持隔行扫描和逐行扫描。在逐行扫描形式下，编码的基本单元是帧。在隔行扫描形式下，基本编码能够是帧，可以以是场field。原始输入图像首先被转换到YCbCr颜色空间。其中Y是亮度，Cb和Cr是两个色度通道。Cb指蓝色色度，Cr指红色色度。对于每一通道，首先采用块分区，然后构成宏块macroblocks，宏块构成了编码的基本单元。每一个宏块再分区成8x8的小块。色度通道分区成小块的数目取决于初始参数设置。例如，在常用的4:2:0格式下，每个色度宏块只采样出一个小块，所以三个通道宏块能够分区成的小块数目是4+1+1=6个。对于I-帧，整幅图像直接进入编码

24、经过。对于P-帧和B-帧，首先做运动补偿。通常来讲，由于相邻帧之间的相关性很强，宏块能够在前帧和后帧中对应相近的位置找到类似的区域匹配的比拟好，这个偏移量作为运动向量被记录下来，运动估计重构的区域的误差被送到编码器中编码。对于每一个88小块，离散余弦变换把图像从空间域转换到频域。得到的变换系数被量化并重新组织排列顺序，进而增加长零的可能性。之后做游程编码run-lengthcode。最后作哈夫曼编码HuffmanEncoding。I帧编码是为了减少空间域冗余，P帧和B帧是为了减少时间域冗余。GOP是由固定形式的一系列I帧、P帧、B帧组成。常用的构造由15个帧组成，具有下面形式IBBPBBPBB

25、PBBPBB。GOP中各个帧的比例的选取和带宽、图像的质量要求有一定关系。例如由于B帧的压缩时间可能是I帧的三倍，所以对于计算能力不强的某些实时系统，可能需要减少B帧的比例。MPEG-2输出的比特流能够是匀速或者变速的。最大比特率，例如在DVD应用上，可达10.4Mbit/s。假如要使用固定比特率，量化尺度就需要不断的调节以产生匀速的比特流。但是，提高量化尺度可能带来可视的失真效果。比方马赛克现象。第三部Part3：音频-音频压缩MPEG-2的第三部分定义了音频压缩标准。MPEG-2BCBackwardscompatible，后向兼容MPEG-1音频。该部分改良了MPEG-1的音频压缩，支持两

26、通道以上的音频，可高达5.1多声道。MPEG-2音频压缩部分也保持了向后兼容的特点也称为MPEG-2BC，允许的MPEG-1音频解码器解码两个主立体声组件。还定义音频MPEG-1LayerI,II,III额外的比特率和采样频率。例如mp2，是MPEG-1Audiolevel2，标准有：ISO/IEC11172-3,ISO/IEC13818-3。MPEG-1LayerII定义在ISO/IEC11172-3，也就是MPEG-1的第三部分，在ISO/IEC13818-3，也就是MPEG-2的第3部分定义扩展。第四部Part4：测试规范描绘测试程序。第五部Part5：仿真软件描绘软件仿真系统。第六部P

27、art6：DSM-CC(DigitalStorageMediaCommandandControl)扩展描绘DSM-CC数字存储媒体命令及控制扩展。第七部Part7：AdvancedAudioCoding(AAC)此页面能否是列表页或首页？未找到适宜正文内容。此页面能否是列表页或首页？未找到适宜正文内容。各种音视频编解码学习详解各种音视频编解码学习详解*视频+音频比特率o平均最大缓冲区9.8Mbit/so峰值15Mbit/so最小值300Kbit/s*YUV4:2:0*字幕支持*内嵌字幕支持NTSConly*音频oLPCM编码：48kHz或96kHz；16或24-bit；最多可达6声道oMPEG

28、Layer2(MP2)：48kHz，可达5.1声道o杜比数字-DolbyDigitalDD，也称为AC-3：48kHz，32-448kbit/s，可达5.1声道o数字家庭影院系统-DigitalTheaterSystems(DTS)：754kbit/s或1510kbit/soNTSC制式DVD必须包含至少一道LPCM或DolbyDigitaloPAL制式DVD必须包含至少一道MPEGLayer2、LPCM或者DolbyDigital*GOP构造o必须为GOP提供串行的头信息oGOP最大可含帧数目：18(NTSC)/15(PAL)MPEG-2在DVB上的应用DVB-MPEG相关技术参数：*必须符

29、合下面一种分辨率：o720480像素，24/1.001，24，30/1.001或30帧秒o640480像素，24/1.001，24，30/1.001或30帧秒o544480像素，24/1.001，24，30/1.001或30帧秒o480480像素，24/1.001，24，30/1.001或30帧秒o352480像素，24/1.001，24，30/1.001或30帧秒o352240像素，24/1.001，24，30/1.001或30帧秒o720576像素，25帧秒o544576像素，25帧秒o480576像素，25帧秒o352576像素，25帧秒o352288像素，25帧秒MPEG-2和NTSC

30、必须符合下面一种分辨率：o19201080像素，最多60帧秒1080io1280720像素，最多60帧秒720po720576像素，最多50帧秒，25帧秒576i，576po720480像素，最多60帧秒，30帧秒480i，480po640480像素，最多60帧秒注：1080i按19201088像素编码，但是最后8行在显示时抛弃。对YCbCr的补充资料YCbCr不是一种绝对色彩空间，是YUV压缩和偏移的版本。右图为UV色版。YLuma，Luminance视讯，也就是灰阶值。UV视作表示彩度的CChrominance或Chroma。主要的采样subsample格式有YCbCr4:2:0、YCbC

31、r4:2:2、YCbCr4:1:1和YCbCr4:4:4。YUV的表示法称为A:B:C表示法：*4:4:4表示完全取样。*4:2:2表示2:1的水平取样，没有垂直下采样。*4:2:0表示2:1的水平取样，2:1的垂直下采样。*4:1:1表示4:1的水平取样，没有垂直下采样。最常用Y:UV记录的比重通常1:1或2:1，DVD-Video是以YUV4:2:0的方式记录，也就是我们俗称的I420，YUV4:2:0并不是讲只要U即Cb,V即Cr一定为0，而是指U：各种音视频编解码学习详解各种音视频编解码学习详解V相互援引，时见时隐，也就是讲对于每一个行，只要一个U或者V份量，假如一行是4:2:0的话，

32、下一行就是4:0:2，再下一行是4:2:0.以此类推。以上来自wiki资料的整理。编解码学习笔记四：Mpeg系列Mpeg4在上次对MPEG-2的学习整理中，有一个疑惑，双声道理解，就是左右立体声，但是5.1声道是什么？我们经常看到杜比5.1声道的讲法。0.1声道详细指什么？今天去wiki查了一下，相关内容也整理入我们的学习笔记。本文档资料来源:?wiki?:/doczj/doc/64d82136b90d6c85ec3ac6d4.html/view/190268.htm?:/doczj/doc/64d82136b90d6c85ec3ac6d4.html/view/25047.htm5.1声道使用

33、杜比数字技术下，最标准常用的是5.1声道设置，但杜比数字容许一系列不同声道的选择。全部可供选择的声道如下列所示:?单声道中央?双声道立体声左、右，选择性地穿插应用杜比环回?三声道立体声左、中、右?双声道立体声加单环回左、右、环回?三声道立体声加单环回左、中、右、环回?四声道环回立体声左前、右前、左后、右后?五声道环回立体声左前、中、右前、左后、右后以上所有这些设置可选择性地使用低频效果和杜比数字EX矩阵编码中参加附加后环绕声道。杜比编码技术是向下兼容的，很多杜比播放器解码器均备有向下混音作用是发布不同声道至可供使用的扬声器。这包括一些功能例如声音数据通过前扬声器播放如适用，和当中央扬声器不适用

34、时发布中央频道至左或右扬声器。或当用户只要2.0喇叭时，杜比解码器能把多声道信号混音编码为2.0立体声。在5.1,7.1或其他等文字中，.1指的是低频LFE声道。其实5.1声道就是使用5个喇叭和1个超低音扬声器来实现一种身临其境的音乐播放方式，它是由杜比公司开发的，所以叫做杜比5.1声道。在5.1声道系统里采用左(L)、中(C)、右(R)、左后(LS)、右后(RS)五个方向输出声音，使人产生如同身临音乐厅的感觉。五个声道互相独立，其中.1声道，则是一个专门设计的超低音声道。正是由于前后左右都有喇叭，所以就会产生被音乐包围的真实感。如右图所示。MPEG-4总体介绍MPEG-4是一套用于音频、视频

35、信息的压缩编码标准，由国际标准化组织ISO和国际电工委员会IEC下属的動態影像专家组MovingPictureExpertsGroup，即MPEG制定，第一版在1998年10月通過，第二版在1999年12月通過。MPEG-4格式的主要用处在於網上流媒体、光碟、語音傳送視訊電話，以及電視廣播。MPEG-4作为ISO/IEC14496正式发布。ISO/IEC14496-Codingofaudio-visualobjectAV对象编码。为了应对网络传输等环境，传统的MPEG-1/2已经不能适应，所以促使了MPEG-4的诞生。与MPEG-1和MPEG-2相比，MPEG-4的特点是其更适于交互AV服务以

36、及远程监控。MPEG-4是第一个使你由被动变为主动(不再只是观看，允许你参加其中，即有交互性)的动态图像标准，它的另一个特点是其综合性。从根源上讲，MPEG-4试图将自然物体与人造物体相溶合(视觉效果意义上的)。MPEG-4的设计目的还有更广的适应性和更灵敏的可扩展性。MPEG-4采用了一系列新技术，来知足在低带宽下传输较高视频质量的需求。DivX，XviD，MSMPEG4都是采用的MPEG-4视频编码，除了在DVDRip上面的应用，3GPP如今也接纳了MPEG-4作为视频编码方案。各种音视频编解码学习详解各种音视频编解码学习详解最初MPEG-4的主要目的是用于低比特率下的视频通信，但是作为一

37、个多媒体的编码标准，它的范围最后得到了扩展。在技术方面MPEG-4允许不同的软件/硬件开发商创立多媒体对象来提供更好的适应性、灵敏性，为数字电视，动态图像，互联网等业务提供更好的质量。MPEG-4提供范围从每秒几k比特到每秒数十兆比特的，它具有下面功能：?改善MPEG-2的编码效率oMPEG-4基于更高的编码效率。同已有的或即将构成的其它标准相比，在一样的比特率下，它基于更高的视觉听觉质量，这就使得在低带宽的信道上传送视频、音频成为可能。同时MPEG-4还能对同时发生的数据流进行编码。一个场景的多视角或多声道数据流能够高效、同步地合成为最终数据流。这可用于虚拟三维游戏、三维电影、飞行仿真练习等

38、。?提供混合媒体数据视频，音频，语音的编码能力?过失容忍使得内容稳定传输。o当在传输有误码或丢包现象时，MPEG4遭到的影响很小，并且能迅速恢复。?提供受众视听场景的互动能力，MPEG-4终端用户提供不同的对象支持各种互动要求。oMPEG-4提供了基于内容的多媒体数据访问工具，如索引、超级链接、上传、下载、删除等。利用这些工具，用户能够方便地从多媒体数据库中有选择地获取本人所需的与对象有关的内容，并提供了内容的操作和位流编辑功能，可应用于交互式家庭购物，淡入淡出的数字化效果等。MPEG-4提供了高效的自然或合成的多媒体数据编码方法。它能够把自然场景或对象组合起来成为合成的多媒体数据。?MPEG

39、-4对传输数据网是透明的，它能够兼容各种网络。oMPEG-4提供了易出错环境的鲁棒性，来保证其在很多无线和有线网络以及存储介质中的应用，此外，MPEG-4还支持基于内容的的可分级性，即把内容、质量、复杂性分成很多小块来知足不同用户的不同需求，支持具有不同带宽，不同存储容量的传输信道和接收端。o这些特点无疑会加速多媒体应用的发展，从中受益的应用领域有：因特网多媒体应用；广播电视；交互式视频游戏；实时可视通信；交互式存储媒体应用；演播室技术及电视后期制作；采用面部动画技术的虚拟会议；多媒体邮件；移动通信条件下的多媒体应用；远程视频监控；通过ATM网络等进行的远程数据库业务等。MPEG-4视频编码核

40、心思想在MPEG-4制定之前，MPEG-1、MPEG-2、H.261、H.263都是采用第一代压缩编码技术，着眼于图像信号的统计特性来设计编码器，属于波形编码的范畴。第一代压缩编码方案把视频序列按时间先后分为一系列帧，每一帧图像又分成宏块以进行运动补偿和编码，这种编码方案存在下面缺陷：?将图像固定地分成一样大小的块，在高压缩比的情况下会出现严重的块效应，即马赛克效应；?不能对图像内容进行访问、编辑和回放等操作；?未充分利用人类视觉系统HVS，HumanVisualSystem的特性。MPEG-4则代表了基于模型/对象的第二代压缩编码技术，它充分利用了人眼视觉特性，捉住了图像信息传输的本质，从轮

41、廓、纹理思路出发，支持基于视觉内容的交互功能，这适应了多媒体信息的应用由播放型转向基于内容的访问、检索及操作的发展趋势。AV对象AVO，AudioVisualObject是MPEG-4为支持基于内容编码而提出的重要概念。对象是指在一个场景中能够访问和操纵的实体，对象的划分可根据其独特的纹理、运动、形状、模型和高层语义为根据。在MPEG-4中所见的视音频已不再是过去MPEG-1、MPEG-2中图像帧的概念，而是一个个视听场景AV场景，这些不同的AV场景由不同的AV对象组成。AV对象是听觉、视觉、或者视听内容的表示单元，其基本单位是原始AV对象，它能够是自然的或合成的声音、图像。原始AV对象具有高

42、效编码、高效存储与传输以及可交互操作的特性，它又可进一步组成复合AV对象。因而MPEG-4标准的基本内容就是对AV各种音视频编解码学习详解各种音视频编解码学习详解对象进行高效编码、组织、存储与传输。AV对象的提出，使多媒体通信具有高度交互及高效编码的能力，AV对象编码就是MPEG-4的核心编码技术。MPEG-4实现基于内容交互的首要任务就是把视频/图像分割成不同对象或者把运动对象从背景中分离出来，然后针对不同对象采用相应编码方法，以实现高效压缩。因而视频对象提取即视频对象分割，是MPEG-4视频编码的关键技术，也是新一代视频编码的研究热门和难点。MPEG-4不仅可提供高压缩率，同时可以实现更好

43、的多媒体内容互动性及全方位的存取性，它采用开放的编码系统，可随时参加新的编码算法模块，同时可以根据不同应用需求现场配置解码器，以支持多种多媒体应用。MPEG各部分MPEG-4由一系列的子标准组成，被称为部，包括下面的部分。对于媒体编解码，重点关注Part2,Part3,Part10。第一部ISO/IEC14496-1：系统描绘视訊和音訊的同步以及混合方式Multiplexing，简写为MUX。定义了MP4容器格式,支持类似DVD菜单这样的直观和互动特性等。第二部ISO/IEC14496-：视频定义了一个对各种视觉信息包括视訊、静止纹理、计算机合成图形等等的编解码器。对视訊部分来讲，诸多Prof

44、iles中很常用的一种是AdvancedSimpleProfile(ASP)，例如XviD编码就属于MPEG-4Part2。包括3ivx,DivX4/ProjectMayo,DivX5,Envivio,ffmpeg/ffds,mpegable,NeroDigital,QuickTime,Sorenson,XviD等常见的视频格式,需要注意的是Divx3.11,MSMPEG-4,RV9/10,VP6,WMV9并不属于标准的MPEG-4标准。第三部ISO/IEC14496-：音频定义了一个对各种音訊信号进行编码的编解码器的集合。包括高级音訊编码AdvancedAudioCoding，缩写为AAC的

45、若干变形和其他一些音频语音编码工具。即AAC音频标准,包括LCAAC,HEAAC等,支持5.1声道编码,能够用更低的码率实现更好的效果(相对于MP3,OGG等)。第四部ISO/IEC14496-4：一致性定义了对本标准其他的部分进行一致性测试的程序。第五部ISO/IEC14496-5：参考软件提供了用于演示功能和讲明本标准其他部分功能的软件。第六部ISO/IEC14496-6：多媒体传输集成框架即DMIF：DeliveryMultimediaIntegrationFramework第七部ISO/IEC14496-7：优化的参考软件提供了对实现进行优化的例子这裡的实现指的是第五部分。第八部ISO

46、/IEC14496-8：在IP网络上传输定义了在IP网络上传输MPEG-4内容的方式。第九部ISO/IEC14496-9：参考硬件提供了用于演示如何在硬件上实现本标准其他部分功能的硬件设计方案。第十部ISO/IEC14496-10：进阶视频编码，也即ITUH.264，常写为H.264AVC或称高级视频编码AdvancedVideoCoding，缩写为AVC：定义了一个视频编解码器codec，AVC和XviD都属于MPEG-4编码，但由于AVC属于MPEG-4Part10，在技术特性上比属于MPEG-4Part2的XviD要先进。另外从技术上讲，它和ITU-TH.264标准是一致的，故全称为MP

47、EG-4AVC/H.264。第十一部ISO/IEC14496-11：场景描绘和应用引擎可用于多种profile包括2D和3D版本的互交互媒体。修订了MPEG-4Part1:2001以及Part1的两个修订方案。它定义了应用引擎交付，生命周期，格式，可下载Java字节代码应用程序的行为，二进制场景格式BIFS：BinaryFormatforScene，可扩展MPEG-4文本格式一种使用XML描绘MPEG-4多媒体内容的文本格式系统level表述。也就是MPEG-4Part21中的BIFS，XMT，MPEG-J。第十二部ISO/IEC14496-12：基于ISO的媒体文件格式此页面能否是列表页或首页？未找到适宜正文内容。此页面能否是列表页或首页？未找到适宜正文内容。此页面能否是列表页或首页