基于频域外推的误码掩盖.doc

《基于频域外推的误码掩盖.doc》由会员分享，可在线阅读，更多相关《基于频域外推的误码掩盖.doc（28页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 江西师范大学2012届本科毕业设计楷体，小二号字，字体加黑。题目： 基于频域外推的误码掩盖Frequency selective signal extrapolation withapplications to errorconcealment in image communication.Times New Roman字体，小二号字加黑，宋体，小二号字，字体加黑。楷体，小二号字，字体加黑。院系名称：物理与通信电子学院学生姓名： 谢兵 学生学号： 0908063134 专 业： 通信工程 指导老师： 詹学锋 完成时间：2012年4月 注意本页文字居中，美观大方。I黑体，小二号字。宋体，小四号

2、字。行距20磅。摘 要在日常工作和生活中,人们经常接触的语音、文本和图像这三类信息中,因图像信息具有直观性强的特点而成为了当今人们获取信息的主要来源。随着现代通信技术与计算机技术的蓬勃发展,人们对各种图像信息的需求日益增长,使得图像通信已经成为了信息传输的主要方式。在图像通信中，信号外推是一个重要课题，它可以用于各种预测，如损坏的图像数据传输的误码掩盖。这种技术概述了信号超出了有限数目的已知样品时的外推的方法。已知的信号样本是由一组基函数近似，这被定义过的区域以及覆盖被称为未知样品。通过最小化一个合适的错误标准，依次选择的最主导的基函数，非带限信号外推可以得到。它示出这种外推法可以成功地是视频

3、通信中的传输误差以及整幅均匀漂白隐蔽消除缺陷像素透视成像。在无线网络和因特网上传输视频, 误码掩盖的问题越来越重要。回顾了文献中介绍的误码掩盖的方法。误码掩盖后处理利用图像和视频信号的相关特性, 在解码端对丢失区域进行掩盖, 并总结了空域、时域, 以及时空结合的误码掩盖方法。关键词：误码掩盖, 空域误码掩盖, 时域误码掩盖, 信号外推的误码掩盖，图像和视频通信，X射线成像,Times New Roman字体，小四号字，行距20磅。AbstractSignal extrapolation is an important topic in image communication where it

4、can be usedfor various prediction purposes. such as concealment of image data corrupted by transmission errors. This contribution outlines a methodfor extrapolating a signal beyond a limited number of known samples. The known signal samples are approximated by a set of basis functions which are defi

5、ned over an area covering known as well as unknown samples. By minimizing a suitable error criterion and successively selecting the most dominant basis functions, a non band-limited signal extrapolation can be obtained. It is shown that this extrapolation can successfully be used for concealment of

6、transmission errors in video communication as well aselimination of defective pixels in X-ray imaging. The problem of error concealment in image communication is becoming increasingly important because of the growing interest in image delivery over unreliable channels such as wireless networks and t

7、he Internet. This paper reviews the techniques that have been developed for error concealment in the literature. Error concealment by postprocessing refers to operations at the decoder to recover the damaged areas based on characteristics of image and video signals.This paper summarized the error co

8、ncealment methods in space and temporal, including some hybrid temporal- spat ial error concealment method.Keywords: error concealment; Signal extrapolation; Error concealment; Image and video communication; X-ray imaging24注意页码编排。黑体，小二号字。宋体，五号字。单倍行距。目 录摘要IABSTRACTII第一章 绪论11.1 课题背景及选题意义11.2 国内外研究现状11

9、.3 本文的研究内容21.4文章结构2宋体，小四号字。行距20磅。以下段内文字相同格式。黑体，三号字。以下标题相同格式。第一章 绪论 1.1 选题背景及意义图象是人类传递和交流信息以及认识客观世界的重要方式之一。由于图象信息具有生动直观、信息量大等特点，成为人类获取和交流信息、感知外部客观世界进而改造世界的一种重要手段。近年来，随着视频压缩编码技术、网络技术、无线移动通信技术的发展，图像、视频、音频和数据等相结合的多媒体应用在社会生活中日益显著。在当今信息膨胀知识爆炸的时代,随着Internet的发展和用户需求的驱动，基于文本和语音的交流已经无法满足人们的需要, 于是图像视频应运而生，通过互联

10、网和移动通信网络传输图像视频信息变得越来越流行。图像和视频信息以其直观、生动、具体、高效的特点,越来越受到人们的青睐,其业务需求随之越来越大。以 JPEG20001、MPEG-42为代表的图像和视频编码新技术,在压缩性能、处理灵活性、功能性等方面体现了诸多的优点。多媒体技术和相关的应用得到越来越多的关注，如可视电话、视频点播、数字图像监控、数字电视、视频会议等。在多媒体通信中，保证视频信息的传输快速和正确极其重要，然而视频图像（视频序列）具有非常大的数据量，在存储和传输的过程中所占用的带宽较多，这使得实时视频通信的发展面临着严峻的挑战。例如：高清晰视频信号所含巨大的信息量，如果在发送端不进行压

11、缩，在传输、转发以及接收处理过程的计算量将会十分巨大，同时又会造成网络拥塞，为此在视频传输之前必须进行数据压缩和处理。各种高效率的视频编解码标准相继提出;如H.261、H.263等，由“国际电联(工TU一T)”制定;如MPEG一1、MPEG一2、MPEG一4等，由“国际标准化组织(150)”制定。目前最新的视频压缩标准是 H.264/AVC 标准，是由上述两个组织的专家组成的联合视频组(JVT)制定的新数字视频编码标准。它引进了许多先进插值和运动矢量预测技术，如多参考帧机制，1/4 像素运动矢量估计等，大大提高了图像的压缩比特率。H264是一系列国际视频压缩标准的最新标准,其无论从压缩性能还是

12、结构设计方面都优于以前的标准。该标准使用了最新的编码技术,有效地支持交织视频和非交织视频,即使在高比特率的情况下也能提供比以前的标准更优秀的视频质量。而且,该标准支持韧性编码和灵活的编码数据组织形式,这为.H264压缩码流提供了很强的抗差错性能。在技术上,.H264采用了多项改进技术,从而使其成为了目前最高效的视频压缩标准。但是.H264性能的提高是以复杂度为代价的H.264作为最新制定的标准，与其它现有的视频编码标准相比，有如下优点:(1)低码率，和MPEG一2、MPEG一4等压缩技术相比，在同等视频图像质量情况下，经H.264技术压缩后的数据量只有MPEG一2的1/8，MPEG一4的1/3

13、。(2)图像质量高，H.264能提供连续、流畅的高质量视频图像(DvD质量)。(3)容错能力强，H.264在编码端采用了数据分割、帧内编码等容错技术，这些技术在以前的标准中也有，但H.264标准对其进行了改进，而且获得了更好的差错控制效果，同时，H.264标准中还提出了参数集、灵活的宏块次序等新的容错技术。在解码端提供了错误隐藏技术，能解决不稳定网络环境下发生丢包等错误的问题。(4)网络适应性强，H.264提供了网络适配层，使得H.264文件能顺利地在不同网络环境中传输(如互联网，enMA，GpRS等)。常见的视频通信系统包括 3 个部分：发送端视频编码、传输及接收端的视频解码。图 1.1 给

14、出了视频通信系统结构图，从图中可以看出，视频信号首先在发送端被压缩除去时空域冗余信息，然后经过分组、封装打包后进入传输信道，到达接收端后再被转换成可解压的视频流文件，最后通过视频解码完成整个通信过程。通信系统可靠、高效地传输信息始终是通信工作追求的目标。对于实时视频通信来说，处理视频传输过程中的误码和数据丢失问题非常重要和迫切。由于在编码端对视频序列压缩时丢掉了不同帧之间的时域相关信息和同一帧内的空域相关信息，这使得压缩后的视频图像比原始图像的冗余信息要少得多，因此少量的数据丢失或者错误可能引起整个数据传输和处理的过程的不同步，并且在解码时随着帧数的增加，差错会迅速扩散，进而造成图像质量的急剧

15、下降。为了解决这一问题需要引入差错控制技术，对丢失的数据和图像信息进行处理来最大程度的恢复丢失的信息。差错控制技术是一种针对数据错误的控制方法，广泛应用于通信系统。它包含三个方面的内容：（1）向前的差错控制技术，该技术通过在服务器端增加压缩数据的时空域冗余信息，即减少压缩比特率来提高网络传输过程中的抗误码和抗数据丢包的能力；（2）前后交互的差错控制技术，该技术的核心思想是通过服务器端和客户端的交互和通信，客户端根据服务器端反馈的信息来对丢失的数据信息进行掩盖和恢复或者服务器直接对数据进行重传；（3）向后的差错控制技术，该技术是指客户端根据解码数据在时间和空间上相关性来直接对错误信息进行恢复的方

16、法。向前的差错控制技术和交互的差错控制技术虽然能够很好的控制错误信息数量和误码的程度，但是它们的局限性也很明显，比如对于一般的视频传输信道和带宽较宽的传输信道，向前的差错控制技术并不适用，因为在绝大部分时间里，信道处于正常状态，而向前的差错控制为了提高传输过程的抗误码能力，在任何时刻要产生大量的冗余信息，这就会导致带宽被大量的冗余信息占用和浪费，而正常的数据无法传输，严重情况下会产生网络拥塞；对于实时视频通信，交互的差错控制技术并不适用，因为实时视频传输系统对实时性要求极高，为了尽可能的减少传输的延迟，在通常情况下不能对数据进行重传或者反馈，而交互差错控制技术需要服务器端不断地接收错误信息并反

17、馈给客户端，这样就会产生巨大的延迟；向后的差错控技术几乎适用任何情况的视频传输和通信，它利用解码的时域和空域信息对丢失的宏块进行运动矢量搜索或者插值，由于不需要考虑服务器端的情况，因此它不需要进行信息反馈和重传，也就不会增加网络的开销，能够很好应用于实时视频传输，但是它的问题在于当数据丢失比较严重的情况下，恢复的效果可能不够理想。因为差错控制与视频传输息息相关,所以只要有视频传输应用的地方就或多或少地要考虑到差错控制。可见其应用范围非常广泛,而对于无线传输这样的不可靠传输,差错控制有着更大的应用价值。1.2 国内外研究现状为了高效地在网络上传输视频信息，通常在传输前需要对原始视频数据进行压缩编

18、码。目前，ITU-T（ITU Telecommunication Standardization Sector）和ISO/IEC（InternationalStandards Organization/International Electrotechnical Commission）是从事视频编码标准制定工作的两个主要的国际组织。H.系列标准（如H.2611，H.2631等）是ITU-T的建议标准，一般用于实时视频通信领域，如视频电视会议、可视电话等；而ISO/IEC的建议标准MPEG系列（如MPEG-1，MPEG-2，MPEG-42等）主要用于数字电视广播、DVD等。国际电信联盟视频编码专

19、家组（ITU-T VCEG（VideoCoding Experts Group）和国际标准化组织运动图像专家组（ISO MPEG（Moving PictureExperts Group）于 2001 年合作成立了了联合视频组JVT（Joint Video Team），共同开发新一代的视频压缩标准H.2643,4,5,6（也称为H.26L）。H.264 是ITU的正式名称，而MPEG的正式名称是MPEG-4 Part 10, 又称为AVC（高级视频编码）。目前的视频编码标准基本采用了基于变换编码、运动补偿和熵编码的编码框架，这些模块的目的都是最大限度的降低视频信号中存在的空间与时间冗余度。然而在

20、提高压缩效率的同时，码字之间的抗干扰能力却变得非常脆弱。一个码字的传输错误不仅会影响当前码字而且也有可能影响后续码字，结果导致接收视频图象的质量恶化。变长编码使得某一个比特的错误或者丢失可能使后面的比特流无法解码，直到下一个同步码的出现。因此在视频通信中采用差错处理技术是非常必要的。通常，差错处理技术分为以下三类：差错弹性编码技术、错误隐藏技术、编解码器交互式的差错控制技术。差错弹性编码技术可分为下面四种：健壮性熵编码、弹性差错预测、基于层编码的差错保护、多描述编码。Takishima 等人提出可逆的变长编码(如接收的视频比特流)能够在前向和反向信道中同时被解码。Rdemlli 和 Kings

21、bury 提出的弹性差错熵编码EREC(Error Resilient Entropy Coding)是通过将整个数据流分割成很多宏块并采用变长编码形成数据流，然后在比特流中通过对每个宏块的起始位置对压缩数据进行识别。弹性差错预测通过采用帧内编码模式编码的帧或宏块的关系来限制差错在时间域上的扩散。但是这样做的后果会导致出现很多的帧内编码帧或宏块，从而增加比特率，并且对每一帧和宏块进行编码时要在压缩效率与差错控制之间进行优化，以保证数据无障碍的在信道中传输。作为视频传输的一个重要方面,差错控制从第一个视频标准.H261的颁布开始就成为了一个不可忽视的研究方向。随着视频压缩技术的发展,国内外学者针

22、对不同的视频压缩标准,采用多种手段先后提出了一系列差错控制算法。最早期的差错控制手段主要在视频信号的空域、时域、频域门以及变换域、时空域结合等方面进行,这些差错控制技术主要是利用视频信号固有的相关性,其处理方法一般都不太复杂,因此目前在差错控制领域应用最广泛。但是视频信号固有的相关性为基础的技术存在很大局限性,其主要原因是根据传输差错发生程度及视频序列内容特性的变化,其处理效果会有很大差异。因此Tushna chen等人以模板匹配为基础提出了第二代差错控制技术,而Sungdac Choa等从对编码数据进行分级或分类嵌入处理的思想入手,采用添加冗余的手段实现对重要数据的保护,从而在差错控制中取得

23、了很好的效果.目前差错控制技术仍然沿着三个方向继续发展:将数据通信中的差错控制技术扩展到视频通信中,采用冗余信源编码以及对原始信息进行近似。第二阶段是采用模板匹配、数据嵌入等技术的。1.3 本文的研究内容在有干扰的信道中传输高压缩率图像,接收端获得的图像必然会失真。在基于DCT压缩技术的图像通信中,引起图像失真的原因主要有量化误差和传输误码。量化误差会导致接收端图像产生方块效应,传输误码会导致接收端图像出现图像块丢失。本论文围绕着这两种失真问题,以提高接收端图像质量为目的,提出了在接收端对失真图像进行恢复的后处理技术,其中包括块效应消除技术和差错掩盖技术。误码掩盖是一种应对误码的解码端事后处理

24、技术，它主要利用受损图像块或帧在时域、空域中的相关陛对受损单元进行补偿，其本身并不能改变误码。在无线视频传输中, 为了抵抗传输过程中的丢包, 在解码端采用误码掩盖技术最大限度恢复受损的视频块, 从而大幅度提高重建视频的峰值信噪比( PSNR) 以及主观视觉效果。误码掩盖是视频通信中差错恢复的“最后一道防线”，是重要的视频后处理技术之一,所以研究最可行有效的误码掩盖技术是非常有必要的。根据时空域的不同位置，误码掩盖方法可分为以下四种情况：1） 时域掩盖时域掩盖是基于时间相关性的错误隐藏，当视频图像没有激烈的运动时，相邻两帧具有时间相关性。适用于受损区域为帧间编码时，错误隐藏恢复过程分为“运动向量

25、(motion vector，MV) 估算”和”补偿替代”两个阶段，其成功的关键是如何正确找出受损图像块的运动向量。利用时间上连续的相邻帧之间的相关性，受损宏块由前面完好帧的对应块替代。隐藏的效果取决于运动的情况。如果运动矢量完好，运动矢量可用于该块的运动补偿；如果运动矢量也不可用，则运动小时这种替代的效果较好，运动大时取决于运动矢量的重建。时域掩盖是利用视频信号的时域相关性, 通过估计运动矢量从相邻帧中找合适块以代替重建图像的错误块. 该方法对估计运动矢量的帧间编码图像( B 和P 帧) 错误的掩盖效果较好, 但对帧内编码( I 帧) 图像, 一方面编码器一般不会估计运动矢量传给解码器, 另

26、一方面对于视频切换和背景暴露等情况就根本找不到合适的替代块,因此很难利用时域信息对其错误做掩盖处理.当受损区域所在帧静止或运动平滑，采用时域掩盖能有效的恢复受损图像，以基于运动矢量恢复的边界匹配法为代表；2）空域掩盖空域掩盖是基于空间相关性的错误隐藏，在同一帧中，宏块与其周围的宏块有较强的相关性，特别是平滑的图像中，相邻宏块的亮度、色度满足线型关系。因此可以利用丢失块边界进行错误隐藏，根据线型插值恢复丢失块。主要依赖本帧正确接收的宏块信息来恢复受损块,通过空域插值对受损区域进行恢复，以像素加权平均法为代表由于块中所有像素均需要计算， 因此该方法较复杂。时域的误码掩盖对于不规则运动, 运动情况较

27、为复杂, 或出现场景切换时的视频序列恢复效果较差。空域的误码掩盖算法由于仅仅依靠本帧的信息, 能够有效地解决时域掩盖的不足。3）混和掩盖技术单纯的使用空域算法会造成图像的粉化, 而时域算法则无法处理大运动的图像区域, 频域算法的复杂度一般比较高, 可以同时利用时间和空间相关性来进行视频误码的错误隐藏。 因此, 建娱了一种混和的掩盖算法, 同时使用多种算法对发生错误的图像帧进行掩盖。例如, 时空域掩盖适用于运动性较强的受损区域，通过采用运动估计(ME)和运动补偿(MC)来恢复图像一般，受损块上面和下面的运动矢量(MV)将用于其估计运动矢量但方法不适用于受损块处于帧内块的包围中的情况4）频域掩盖基

28、于块的视频混和编码标准中, 源图像或时域补偿后的误差要变换到频域后量化和编码, 由于相邻块的像素值相似, 所以它们的DCT 系数值也是相似的, 因此在频域中也可以像时域那样用相邻块的DCT 系数来估计丢失块的DCT 系数, 从而完成误码掩盖。频域错误掩盖是以周围块的直流分量( DC) 内插得到错误块的DC 值, 再进行反变换以重建错误块内像素灰度的平均值. 该方法的优点是计算简单, 但其恢复的图像将丢失所有边界信息.由于受损块中低频系数与同一帧中相邻的块的对应系数相关，所以其中的DC系数和较低。基于频域外推的误码掩盖技术是在视频图像处理中用频谱分析的方法并采用信号外推技术实现误码掩盖的。本论文

29、主要研究空域错误隐藏算法，目标是寻找一种更优的空域错误隐藏算法，能进一步地提高视频恢复质量，并降低计算复杂度。本论文的研究内容包括: (1)H.264视频编码标准研究，掌握编解码原理、方法。(2)研究解码端的错误隐藏技术，研究经典算法和当前最新算法，总结它们的优点和不足。(3)提出一种改进的空域错误隐藏算法。1.4 论文结构论文研究内容和章节安排如下。第1章，介绍课题的研究背景和意义，国内外研究现状及本文的研究内容及结构安排。第二章，简要介绍了视频压缩技术，并分析了视频传输中差错产生的原因、影响，及错误检测，差错控制和错误隐藏技术; 详细介绍了解码端的错误隐藏技术，分析了空域和时域错误隐藏的常

30、用算法，第3章 算法描述，实验结果与分析第二章 图像视频通信的抗误码技术的研究2.1 视频通信抗误码技术在视频码流在信道传输过程中，由于不可靠信道以及端到端的时延限制等因素的影响，传输差错不可避免。高效压缩后的视频码流对传输中产生的误码非常敏感。一旦传输中出现了误码，不仅影响该误码数据的恢复，还会影响与之相关的其他数据的恢复。由于误码的发生是不可避免的，因此，当视频编码流在传输过程中丢失或受到破坏时，必然会影响传输图像的质量。一个数字图像通信系统应使解码图像中的误差的发生最小化，特别要使在解码帧中连续几帧的误差最小化或完全消失。抗误码技术的实质在于无论何时何处检测到误码，都使因此而丢弃的数据量

31、为最小，或者说造成的伤害影响最小。为了减小传输差错对解码器端重建视频质量的影响，一方面需要在传输中采用各种差错控制技术减少传输差错，另一方面还需要在编解码器层采用适当的容错机制和差错隐藏策略。图2一1描述了抗误码技术的差错控制与差错隐藏技术所处的位置 图2一1差错控制与错误隐藏框图 2.2 差错控制技术移动信道具有易错、时变和带限的特点，以及因多径反射和衰落引入大量的随机误码和突发误码，使得移动信道的误码率比有线信道大。同时由于带宽的限制，视频信息在传输前必须进行高效的压缩编码，目前大多数的视频编码标准所采用的时间和空间预测，使得编码的视频流对信道差错更加脆弱。为了减轻信道差错对解码质量的影响

32、，必须结合实际应用信道的传输特性，采用有效的差错处理机制，因此差错控制技术便成为视频通信的关键技术。在多媒体通信业务急速发展的同时，对其进行可靠传输的需求也逐渐增加.对于在网络上传输的编码视频信息来说，由于其在网络传输过程中会不可避免地产生误码，包括信号衰落、区间误码、丢包等等，因此需要使用某种误码控制方法来保证解码器输出视频信息的视觉质量。误码控制方法大致可分为信道误码控制、信源误码控制、信源/信道联合编码控制和误码防扩散四类技术。2.1.1传输层信道误码控制技术由于量化产生的噪声和传输中出现的误码将会使视频图像在解码器端重构时产生严重的视频图像失真，所以我们提高量化级数和视频信息前向纠错的

33、能力，我们一般主要是通过增加比特资源的开销来提高量化级数和视频信息前向纠错的能力，从而降低量化产生的噪声和传输中出现的误码这两种失真。在信道的带宽资源和信道的误码特征基本已经给定的情况下，那么我们一般就需要结合信源的特点以及添加一些误码控制码来实现检测出视频信息中的错误信息并对其进行有效的重构，从而降低视频图像产生的失真。其中最常用的方法有前向纠错(FEC)和自动重传(ARQ)。1.前向纠错(FEC)前向纠错是比较经典的信道编码误码控制方法。它的原理是:在对视频进行编码时，在编码视频信息中额外加入一些冗余的保护信息，这样当在对视频编码信息进行解码时，解码器通过这些冗余的保护信息来恢复和重构那些

34、遭受到破坏的视频信息。与传统的TCP重传方法相比，前向纠错具有较小的传输延迟，并且可保持恒定的吞吐量以及有限的时延，比较适合在实时通信等对所传输视频信息的时延有非常严格限制的应用系统中。前向纠错方法可以分为与数据有关和无关两种模式:(l)与数据有关的前向纠错方法:此方法在编码视频信息中直接添加保护信息，例如在第n个GOB编码信息中添加第n一1个GOB的保护信息(一个粗糙量化的版本)。这种算法的优点是时延更小，但是仍无法适应动态变化的网络丢包率。(2)与数据无关的前向纠错方法:此方法并不关心编码视频信息的句法，而将编码视频信息分成固定大小的数据块，对每一个数据块添加保护信息。此方法实现简单，但是

35、无法根据网络的动态改变保护级别，因此可能会出现保护不够而无法重构原编码视频信息或保护程度过高而造成编码效果低下的情况。FEC方案的缺点主要有以下几点:首先，加入的额外校验信息会使编码视频信息数据量相应增加。在无误码无线信道中传输时会引入一些恒定的开销，从而在一定传输速率下反而会使传输质量下降;其次，由于无线信道传输质量波动很大，在进行传输系统设计时需要针对某一特定的最坏信道状态进行设计，由此严重降低了对视频信息的压缩性能。而且当信道状态超出原先设定的最坏状态时，整个系统可能会出现严重编码错误甚至不能正常工作的情况;第三，信道编码方案对于某些具有区间误码特征的无线信道来说较难设计。解决方法之一就

36、是使用交叉编码，但由于引入了较大的时延，因此也不是一个最优解决方案。2.自动重传(ARQ)在自动重传方案中，当解码器发现有受误码影响的编码视频信息时，向视频信息发送端发送重传请求，请求将受影响信息再重新传送一次。ARQ在处理数据包丢失以及发生较大区间误码的情况时是非常有效的，但由于需要等待接收重传的数据，这样就可能会在接收端出现较为明显的时延，因此在一些实时通信应用(如视频会议)中是不可行的。ARQ也不适合处理具有随机误码以及短区间误码的情况。虽然己证明ARQ方法比FEC方法更有效，但是由于对受误码影响的信息进行重传而引入了额外的时延，这样就限制了ARQ技术在无线视频传输中的应用。改进的方案之

37、一就是使用混合ARQ方案。在编码视频信息传输时间明显小于解码器端重构视频的播放时延要求时，该方案采用有时延限制的重传机制重新发送丢失的编码视频信息，通过限制重传数据包的数目来实现对时延和传输速率的有效控制。有时延限制的重传策略可以分为接受方控制的重传、发送方控制的重传和混合重传三种。但由于最大重传数目以及视频信息传输的优先级是事先设定好的，这样就不能准确反映传输时延的时变特性，因此也具有一定的局限性。2.1.2信源误码控制技术信源误码控制技术采用的方法主要就是我们经常遇到的容错技术，其作用就是防止那些错误的信息的扩散，将误码影响控制到一定的范围。容错技术的主要工作原理就是在视频信息传播前先对其

38、进行一些抗误码的预处理，这样即使编码的视频信息在传输的过程中受到误码的影响，用户也不用担心，利用容错技术在解码端进行重构时也能够获得较好的视频图像质量。也就是说，那些经过容错技术处理的视频编码信息，我们不用担心会产生失真的图像信息，因为其在信道传输过程中具有较强的抗误码的能力，因此容错技术的应用特别广泛，在网络传输、多媒体传输、无线传输都有很广泛的应用并占有重要的地位。在面向低带宽传输环境下的视频标准如H.263+和MPEG一4中，定义了一系列的容错工具，例如重同步标志、分层编码、可逆变长编码等。以上这些容错工具主要是针对随机误码，适用于无线信道。而在基于Internet的视频传输中，由于数据

39、包的频繁丢失会造成大量编码视频信息的丢失，因此以上这些工具并不是很有效，因此通常使用的容错工具是最优模式选择和多值描述编码)等。1.重同步标志在变长编码和解码过程中，码字同步丢失问题是大多数编码系统中所遇到的最常见的问题之一。在许多编码系统中通过使用同步码字来对视频信息进行周期性的重同步。重同步标志是在码流中插入一些特殊的二进制字符串，使得解码器可以定期校准解码的帧和宏块序号，从而将误码限制在一定范围内。当出现误码时，解码器可以寻找下一个同步码字来继续对后来的视频信息进行解码。同步码字越复杂其长度就越长，如果过于频繁使用就会在解码器输出的视频信息中出现明显的时延。2.分层编码 分层编码指的是将

40、视频信息划分为多个组或者层。编码模式、运动矢量等最重要的信息通常作为视频源的基本信息被放置在基本层中，解码器可以将其解码得到一定视频质量的输出信号，然后通过增强层携带的数据就可以得到一个更加高质量的视频信号。在视频传输层使用最广泛、有效的错误隐藏技术是将分层编码与不等重保护机制相结合，如图 2-2 所示 图2-2 分级编码原理示意图结合传输优先级的分层编码基本思想是将编码视频信息分成两个或更多的层结构，将码流中描述不同编码视频信息的部分(例如运动矢量和DCT系数)分开存放，以便在信道编码时加以不同优先级别的误码保护。这样做有利于对重要编码视频信息的保护。视频信息中的不同部分内容对视频信息重构所

41、起的作用是不一样的。一般来说，在单层结构视频信息传输过程中，I帧起的作用比P帧和B帧更大。而在分层可扩展视频传输过程中，位于高层的信息部分比位于较低层的信息部分对视频信息重构起的作用更大。在非平衡误码保护(UEP)策略中，编码视频信息按照信息内容被分割成不同的部分，并被置于相应优先级的层结构中，对每一部分信息分别使用不同的误码控制方法，从而提高解码器输出视频的视觉质量。基本层(具有高优先级)用于对重要信息的编码，而其余层则用于对重要性不高的信息进行编码。基本层中包含了视频信息中最重要的内容，如运动矢量信息等等，因此基本层应当受到最高优先级的抗误码保护并在可靠信道上传输，从而使得在解码器重构后可

42、得到视觉质量满足用户要求的视频信息，否则解码器重构后视频的视觉质量将会受到很大影响。在增强层中包含的视频信息在较低优先级信道上传输，经解码器端重构后与基本层中重构的信息合并得到高质量的视频信号。由于增强层中的信息是在高层信息(如基本层)的基础上进行编码的，如果在高层数据中出现误码，就会对其后的几帧图像中的增强层信息造成一定程度的影响，导致误码能够在数帧图像中间进行传播。以上这些层可根据其优先级的不同加以不同程度的误码保护，这就是非平衡误码保护策略(UEP)。分层编码的缺点是由于在每一层都要引入位置信息而会导致编码器输出编码视频流的比特率增加，同时也会增加信道负担，但具有较好的抗误码性能。该方法

43、的另一个缺点是基本层忽略了高频信息而使得其仅能获得一个次最优结果。:2.1.3 信源/信道联合误码控制技术信源和信道的低层交互，如量化器、嫡编码、FEC和调制方案等，就称为信源信道联合编码。将信源/信道编码联合在一起抗误码是非常有效的误码控制技术，同时也是一个重要的研究方向。信源和信道联合编码的思想是根据率失真的理论为编码的视频信息和信道的前向纠错进行动态的分配带宽资源，从而使得在解码端获得的重构图像质量达到最佳的状态。在给定的信道错误特性下，设计量化器和嫡编码器使传输错误的影响最小化。当信道有大量噪声时，PCM编码时源编码级粗的量化反而胜过细的量化。可以设计优化量化器，使在给定输入数据概率分

44、布和信道错误特性下。量化和信道错误的组合均方误差最小。信源和信道的组合编码可以有三个选择。(1)对于每个量化变换系数，调制和FEC是相同的。(2)对于相同量化变换系数，调制和FEC是相同的，对于不同的系数可以是不同的。(3)对于同一变换系数的不同比特位，调制和FEC也可以是不同的。基本的原则是，对于有更多噪声的信道，应该更少的比特分配给高频系数，而更多的比特分配给低频系数。信源/信道联合编码的优点是，即使当信道网络的特性出现变化时，我们也可以动态的调整其抗误码的优先级，使得图像的播放效果最好，目前视频通信中联合信源/信道编码研究还处于初级阶段:只局限用信源、信道独立进行编码联合优化主要参数。另

45、外，在低时延信道中，使用RS码和简单交织技术也可以减轻突发误码的影响。在无记忆信道中，FEC技术优于帧内块刷新编码，而在有记忆信道中，后者更为有效。信源和信道的联合误码控制技术的理论虽好，但是对其研究才刚刚开始，而且联合编码方法的难点在于整体优化的实现算法比较复杂，编码耗时较长,但是相信未来信源和信道的联合误码控制技术肯定会占有举足轻重的地位。:2.1.4误码防扩散技术在有误码信道环境下，当视频编码流在传输过程中出现误码时，由于编码器端并不知道解码器端检测到误码，它还会继续使用这些宏块做运动估计，而解码器端也会使用这些己出现误码的宏块做运动补偿，这样就引起了误码传播。误码的传播不仅会使出错帧在

46、解码器端输出重构图像的视觉质量下降，而且可能会给后续帧造成无法弥补的损失。即使解码器端使用了错误隐藏技术也不能阻止重构图像质量的下降。另外由于视频通信对实时性要求强，通常不采用ARQ方式将发生错误的信息进行重传，而使用交互式防误码扩散措施来保证重构图像的质量。1.帧内编码受影响的宏块该方法利用运动矢量的前向依赖关系来对误码进行准确跟踪，并对受误码的宏块采用帧内编码，从而有效地阻止误码的传播。Steinbach等首先分析了由运动补偿所引起的帧间依赖关系，然后根据MV的前向依赖性和权重因子的相关度计算出误码的“能量”，对其中“能量”最大的宏块采用帧内编码，以阻止误码的传播。这种算法可以迅速提高图像

47、质量，在视频通信中也没有引入额外时延，并且与现有标准兼容，但是它存在有计算量大、对内存需求高等问题。Pao-Chi Chang等基于象素的后向运动依赖性提出了较准确的误码跟踪(PET)算法，并给出相应的快速算法。PET算法首先根据象素点后向运动依赖性的递归计算公式和从反馈信道得出的出错宏块信息，来计算出当前编码宏块中象素点受误码影响的程度，然后对受影响的宏块采用帧内编码，以阻止进一步的误码传播。此算法能够快速阻止误码传播并且与现有标准兼容，同时运算量和对内存的需求也较少，适合实时视频应用场合。2.标识受误码影响的宏块在一些宽带网络中，编码器端处理下一个I帧或P帧之前有足够时间得到反馈信息。基于此分析Jong-izy Wang和Pao-Chi Chang等提出当发送端得到从接收端反馈回来的出错信息之后，将同一组(GOB)中的出错宏块以后的象素全部用一个特定的值(如“00”)来标记，这样接下来的P帧或B帧的运动估计就不会参考已标识区域，从而避免了接收端的误码扩散。这种方法在基本没有增加计算复杂度和信道负担的情况下，将误码的影响仅仅限制在出错帧中。3.自适应帧内块刷新这种方法不需要反馈信道，而是基于编码器端的“误码灵敏性尺度”(ESM)来衡量每一个编码宏块对信道误码的易损性，然后进行自适应的帧内块