第8讲易错环境下的视频传输问题(修改) [兼容模式].pdf

《第8讲易错环境下的视频传输问题(修改) [兼容模式].pdf》由会员分享，可在线阅读，更多相关《第8讲易错环境下的视频传输问题(修改) [兼容模式].pdf（35页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、网络多媒体技术网络多媒体技术网络多媒体技术网络多媒体技术第八讲第八讲：易错环境下的视频传输问题易错环境下的视频传输问题第八讲第八讲：易错环境下的视频传输问题易错环境下的视频传输问题第八讲第八讲：易错环境下的视频传输问题易错环境下的视频传输问题第八讲第八讲：易错环境下的视频传输问题易错环境下的视频传输问题郑世宝郑世宝tel:34204002/13501768669tel:34204002/13501768669tel:34204002/13501768669tel:34204002/13501768669E E-mail:mail:输 IP网络视频传输 无线网络视频传输无线网络视频传输IPIP网

2、络视频传输网络视频传输IPIP网络视频传输网络视频传输传输过程中视频文件的损坏和修复 传输过程中视频文件的损坏和修复 由于视频包的实时性较强，通常没有足够的时间重发丢失的视频包，与发送数据包完全不同，不能够采用重传机制。另方面在许多情形中可以很容易地屏蔽丢包产 另一方面，在许多情形中，可以很容易地屏蔽丢包产生的影响（如：显示前一图像中与丢失的视频包相关的内容）实际上相比于其他实时性媒体类型（如的内容）。实际上，相比于其他实时性媒体类型（如音频），视频文件具有最大的丢包容限。因此，利用这些特性，可以进行视频文件的修复和掩因此，利用这些特性，可以进行视频文件的修复和掩盖。采帧准容许 采用ALF（应

3、用层成帧）准则可进行容许丢包的视频传输。视频传输 视频包的结构必须与底层编码算法底层编码算法结构兼容。可分层编码是一种可实现有效网络视频传输的 可分层编码是一种可实现有效网络视频传输的较成熟的方法。可按重要性分优先级传送 可按重要性分优先级传送。采用错误抵抗编码技术，包括数据恢复工具（如，可逆变长编码）和错误消除工具（如：后期处理）。克服时延抖动 克服时延抖动 视频包传输时延由两个部分构成：线路上的传播时延和路由上的队列时延传播时延取决于距离并维持和路由上的队列时延。传播时延取决于距离，并维持常量。而队列时延取决于网络拥塞程度，还可能在一次会话过程中发生相当明显的波动，从而造成延时抖动。一个完

4、善的网络视频传输系统，灵活利用播放缓存播放缓存这工具解决时延抖动是非常重要的接收端的缓冲的一工具解决时延抖动是非常重要的。接收端的缓冲的作用在于使用容量最小的缓存器（或整体时延）来减少因时延而引起的丢包。根据帧重复/丢失而更改采样速率对于解决发送端和接收端的时钟不匹配是非常有用的。塞 拥塞控制 影响有效传输视频的一个重要参数是瓶颈带宽。影响有效传输视频的个重要参数是瓶颈带宽编码器要准确估计这个瓶颈带宽是十分困难的。对于多点广播来说每个接收端所对应的瓶颈 对于多点广播来说，每个接收端所对应的瓶颈带宽都各个不同。尽管可以采用前述的RTCP接收报告的总和来控制但源端采用分层编码接收报告的总和来控制，

5、但源端采用分层编码，终端进行多层解码更实用。适于IP网络的视频码流特性 适于IP网络的视频码流特性 采用自然断点进行打包 自适应视频包大小 打包过程中的无比特层转换打包过程中的无比特层转换 准确定义的高优先级信息 采用灵活的速率控制采用灵活的速率控制 易于转码采用分层编码 采用分层编码 控制错误传播的容限有载荷格式 RTP有效载荷格式无线视频传输无线视频传输无线视频传输无线视频传输在过去的十年移动通信和多媒体通信都经历了相当快速 在过去的十年，移动通信和多媒体通信都经历了相当快速的增长和商业成功。移动和多媒体的集成是人们的梦想，今天3G正在实现这一理想。无线多媒体服务将是下一个十年的热宠。实时

6、可视音频通信是第三代无线通信服务的一个完整部分。然而在对未来移动多媒体系统的所有特征的期望中活 然而，在对未来移动多媒体系统的所有特征的期望中，活动视频是最耗费比特率的，因此将对网络结构和协议有最大的影响。即使最新的压缩技术电视的质量仍需要每秒几比特的 即使最新的压缩技术，电视的质量仍需要每秒几M比特的速率，而对于低分辨率的、有限运动的视频序列，如典型的可视电话，满足图像质量要求的至少也要每秒数十K比特特。由于存在衰减和可能出现高的比特错误移动网络无法提 由于存在衰减和可能出现高的比特错误，移动网络无法提供有保证的服务质量。一个移动无线信道的传输错误的范围从单个比特错误到突个移动无线信道的传输

7、错误的范围从单个比特错误到突发的错误，或甚至连续的间歇性丢失。传统的对付传输错误的技术是前向纠错（FEC），但是因为广泛变化的错误情形，它的效果受到限制。如按最坏的情况设计将导致冗余到达限制量。反馈错误控制技术如自动重复请求（Q）已显示出 反馈错误控制技术，如自动重复请求（ARQ），已显示出比FEC更有效，并已成功地应用于无线视频传输。但是，丢失的数据帧的重传，将导致附加的延迟，对于实时的对丢失的数据帧的重传，将导致附加的延迟，对于实时的对话或交互式服务可能是不可接受的。结论结论结论结论在线信道中结 在移动无线电信道中，即使结合了FEC和ARQ，传输错误也不能避免。传输能免 为无线视频通信系统

8、设计各种不同的错误控制和掩盖技术控制和掩盖技术。数据分类已被MPEG4标准作为一个错误恢复工具，而不等错误保护可以明显地提高无线视频传输系统的健壮性，并当信道恶无线视频传输系统的健壮性，并当信道恶化时只带来图像质量少量的降低。信源和信道联合编码技术信源和信道联合编码技术信源和信道联合编码技术信源和信道联合编码技术 根据香农的“分离”原理，分别考虑信源和信道编码而且在基于下述假设下，系统性能上没有损失是能的失是可能的。假设（a）对信源和信道编码都有无穷大的包长度（因此是无穷大的迟此是无穷大的延迟），假设（b）对传输信道的统计有着精确和完全的了解。作为（b）的推论，分离原理仅应用于点对点通信，对于

9、多用户或广播的情况是无效的。因此，信源信道联合编码（JSCC）在实际中是有优势的。优势的现状现状现状现状如前所述在H263/263/263/26LMPEG4/H264等 如前所述，在H263/263+/263+/26L，MPEG4/H264等，均已提出许多包括数据分类、不等差错保护和可逆变长编码等技术，但大多数的针对无线视频的错误控制机制还没码等技术，但大多数的针对无线视频的错误控制机制还没有普遍采用。许多技术都是针对实际问题的工程性解决方法，在设计整个传输链中的折衷还没有被很好地理解并需要进步完个传输链中的折衷还没有被很好地理解，并需要进一步完善以形成一个通用的理论框架。针对信源信道联合优化

10、包括信源信道联合编码和传输协 针对信源信道联合优化，包括信源信道联合编码和传输协议，针对不良的传输条件得到较好的鲁棒性和自适应性的编码机制，以及考虑到多媒体的传输协议，以便最有效地利用有限的无线网络资源的问题正在热烈的研究之中利用有限的无线网络资源的问题，正在热烈的研究之中。信源和信道编码的折衷信源和信道编码的折衷信源和信道编码的折衷信源和信道编码的折衷 信源编码的目标是在给定的目标比特率下得到尽可能低的失真。对给定的信源统计特性，这一目标有率失真边界的基本限制标有率失真边界的基本限制。编码的信源比特流在噪声信道上可靠地传输受信道容量的限制，确定了在给定信道上可靠地传输信息的最大速率。信道编码

11、的目标是在尽可能接近信道容量的速率上传送可靠的信息。理论上，总可以通过“分离”原理，分别获得信理论上，总可以通过分离原理，分别获得信源和信道的优化。实际上，这是不可能的。信源和信道编码的联合优化可以通过在信道解码时利用信源信号的冗余来得到（信源控制的信道解码解码）或者通过针对一个给定的信道特性设计信源编解码器得到（信道最优化的信源编码）。在任何一种情况，信源和信道编码都几乎不能再在任何种情况，信源和信道编码都几乎不能再分离，是真正结合在一起得到优化的。不幸的是对视频的联合信源信道编码机制还在 不幸的是，对视频的联合信源信道编码机制还在发展中，很多标准还不支持。无线视频系统的构成无线视频系统的构

12、成无线视频系统的构成无线视频系统的构成视频经过编码后首先进行打包然后经过差错控 视频经过编码后首先进行打包，然后经过差错控制（FEC或ARQ）编码和调制，在无线信道传输。该无线系统必须在可靠性吞吐量和延迟之间得 该无线系统必须在可靠性、吞吐量和延迟之间得到折衷。失真测量失真测量失真测量失真测量经常在信道解码后还有些残留的传输错误视频解码器 经常在信道解码后还有一些残留的传输错误，视频解码器必须可以处理一个有错误的比特流。残留的错误带来的附加的失真，必须有一个失真测量。加的失真，必须有个失真测量 由于解码的视频信号是最终放给一个观察者看，所以失真的测量必须与可察知的主观质量一致。在实际上，对视频

13、编码的最普通的失真测量是“均方误差”（MSE）=XYTLtyxdtyxiD2)(1=XYTLtyxdtyxiD2)(1编码的最普通的失真测量是“均方误差”（MSE）。De是编码器失真，Dd是解码器输出失真。=xytlldtyxdtyxiXYTLD1111),(=xytlldtyxdtyxiXYTLD1111),(deDDD=+=XxYyTtetyxetyxiXYTD1112),(1=XxYyTtLlldtyxdtyxiXYTLD11112),(1在视频编领域般用峰值信比 在视频编码领域一般用峰值信噪比（PSNR）10log10（2552/MSE）。22552eeDPSNR210255log10

14、=ddDPSNR210255log10=DDDDDDDPSNRPSNRPSNReedede+=1010log10log10失真失真失真失真-失真函数失真函数失真函数失真函数失真失真失真失真-失真函数失真函数失真函数失真函数在信源和信道编码间改变比特分配（比率 在信源和信道编码间改变比特分配（比率r=Re/Rc），对在解码输出端的视频信号d的图像质量有两个影响质量有两个影响。r的减少使视频编码端的可用的比特率减少了，由此在编码端就降低了图像质量，这和传输错误是无关的。编码端就降低了图像质量，这和传输错误是无关的。实际的PSNRe的减少是由视频编码端的失真率函数De(Re)所决定的。残留字错误率的

15、减少与 的减少相关由错误控制信道 残留字错误率的减少与r的减少相关，由错误控制信道决定，即信道编解码器，调制方案和信道的特性。最后，RWER的减少导致了PSNR的减少，依赖于一些执后，RWER的减少导致了PSNR的减少，依赖于些执行问题，如重同步，打包，和错误掩盖，所有这些都和视频解码器有关。图的右上方表示了在PSNR 和PSNRd间折衷的 图的右上方表示了在PSNRe和PSNRd间折衷的结果。失真 失真函数 DDF是个有用的工具用来对 失真-失真函数 DDF是一个有用的工具，用来对一个给定的错误控制信道，研究在视频编解码器中参数或算法的影响中参数或算法的影响。信信道的联合编 对于信源和信道的

16、联合编码，我们需要一个主观质量函数Q约等于h(De D)量函数Q约等于h(De,D)来捕获两类失真的联合叠加。加 不幸的是测试h(.,.)会需要冗长的主观测试，目前还没有人完成。右图显示了两类典型的用和作为质量PSNRe和PSNR作为质量测试的DDF。在无线上的在无线上的IPIP 传输传输在无线上的在无线上的IP IP 传输传输当在无线链路上运行IP时会出现IP包分段和重 当在无线链路上运行IP时，会出现IP包分段和重组的问题。由于无线网络典型应用的帧大小远远小于最大的IP包大小，所以大的IP包必须分段为小于最大的IP包大小，所以大的IP包必须分段为几个较小的块来传输，并在网络接收节点重新得到

17、组装。幸其中任个块被来 不幸的是，如果其中任何一个小块被破坏，原来的大包将完全被丢弃，这样就增加了有效包的丢失率失率。一个避免分段的方法是在从发送器到接收器的路径上使用最小的包大小。但是，这一信息在终端径上使用最小的包大小。但是，这信息在终端上经常是不可用的。而且，IP包包头的开销（IP/UDP/RTP中典型为48字节）将被禁止。跨层设计跨层设计跨层设计跨层设计图显示了对所调查的 图12-.6显示了对所调查的错误控制信道所带来的错误放大这里IP包的分段误放大，这里IP包的分段是映射到FEC块中的。显然，包的错误率随分块显然，包的错误率随分块的数目而增加。这个问题在设计未来的多这个问题在设计未来

18、的多媒体协议（如，允许在重组的IP包中含有被破坏的段，段在头中指示）时必须考虑到。即跨层设计。对低比特率视频的错误恢复技术对低比特率视频的错误恢复技术对低比特率视频的错误恢复技术对低比特率视频的错误恢复技术输入格式和码率控制输入格式和码率控制 为得到在移动无线信道低比特率下所需要的高压缩率，与标准电视图像相比，必须降低空间分辨率和帧率。例如QCIF 图像和12.5帧/秒帧率。使用码控技术，可以有效减轻在恒定码率无线信道下，低码率编码视频使用码控技术，可以有效减轻在恒定码率无线信道下，低码率编码视频的传输质量下降。错误检测和再同步 用FEC，错误可以高可靠度地由信道解码器检测到，甚至当码字的纠正

19、用高度信解检测到甚字纠能力已被超过时也可以检测到。视频解码器本身也可以检测一些传输错误，例如，解码器不能在码表中找到相匹配的变长码（VLC）码字，或检测到解码的运动矢量、离散余弦变换（DCT）的系数或量化器步长超出它们可容许的范围（语义违变换（DCT）的系数、或量化器步长超出它们可容许的范围（语义违反）。但是，这些视频解码器固有的错误检测能力的可靠性有限度，不能准确定位错误。经常的，一些有错的码字在语法或语义错误/违反之前，被视频解码器处理这样错误位置和错误检测点的距离变化非常大因此频解码器处理，这样错误位置和错误检测点的距离变化非常大。因此，还应当使用外部的错误检测机制，如FEC成帧。重同步

20、技术 重同步技术 一个单个比特的错误经常会带来同步的丢失和解码器端一连串的码字错误。在非紧凑的VLC中的残留冗余度可以用来设计重同步码字，这样可能会在一些下滑后重新得到有效的符号。但是，即使重同步是很快就重新得到的，由于不能确定丢失符号 但是，即使重同步是很快就重新得到的，由于不能确定丢失符号的数目，所以已经不了解视频帧中解码信息的适当位置了。在比特流中规则地插入独特的同步码字，经常是随着一块“包头”比特由于必须避免任何跨越重同步点的有条件的解码包头提比特。由于必须避免任何跨越重同步点的有条件的解码，包头提供了稳定位置的数值（如，目前的量化步长或图像的绝对位置）。尽管一个同步码字的长度可以最小

21、化，在实际中用了相对长的同步码字，来减少比特流中码字重名的可能性。步码字，来减少比特流中码字重名的可能性。利用GOB包头，它可以选择性地在每一个GOB的开始插入，作为重同步点。数据分割或分类 数据分割或分类 可逆变长码（RVLC）抗错熵编码（EREC）片或条结构编码 片或条结构编码（slice）错误掩盖错误掩盖错误掩盖错误掩盖前帧盖 前帧掩盖 即破坏的图像内容由前一帧中对应的像素代替。即破坏的图像内容由前帧中对应的像素代替。这一简单的方法仅对几乎没有运动的序列能获得很好的结果，而对包括大量运动的图像区域得很好的结果，而对包括大量运动的图像区域将有严重的失真。运动补偿掩盖 运动补偿掩盖 即在编码

22、器用作预测的运动矢量，在解码器中也用作运动补偿的运动矢量即运动补偿掩盖也用作运动补偿的运动矢量，即运动补偿掩盖。它假定该运动矢量是无错误传输的。减轻帧间错误传播的影响减轻帧间错误传播的影响减轻帧间错误传播的影响减轻帧间错误传播的影响与错误掩盖相似重同步减少了由给定错误事件 与错误掩盖相似，重同步减少了由给定错误事件（如包丢失）所引入的图像失真的数目。但是，这样的技术并不能阻止错误的传播而这是在视这样的技术并不能阻止错误的传播，而这是在视频编码中最主要和讨厌的错误影响。错误传播是由解码器工作在帧间模式时的循环结 错误传播是由解码器工作在帧间模式时的循环结构所带来的。当前面解码出来的帧当作当前帧预

23、测的参考时，在掩盖后剩余的错误因此会传播到测的参考时，在掩盖后剩余的错误因此会传播到后面的帧中，并在很长一段时间内仍然可见。错误不仅在时间上传播，也在空间中传播，这是错误不仅在时间上传播，也在空间中传播，这是由运动补偿预测带来的。预测预测 漏漏预测预测 通过衰减预测信号的能量，来提高差分脉冲编码调制通过衰减预测信号的能量，来提高差分脉冲编码调制系统的鲁棒性系统的鲁棒性（DPCM）系统的鲁棒性系统的鲁棒性。运动补偿预测器中的空间滤波，是一个压缩性能好的混合编码器的必要成分即使是整像素准确的运动补混合编码器的必要成分。即使是整像素准确的运动补偿，也应使用“环路滤波”。由于低通滤波器衰减了预测信号中

24、高的空间频率成分 由于低通滤波器衰减了预测信号中高的空间频率成分，在预测循环中引入泄漏。引入附加的漏预测，例如更严重的低通滤波，尽管这可能降低编码效率，但因为严重的低通滤波，尽管这可能降低编码效率，但因为提高了在设计环路滤波器时的灵活性，因而在编码效率和错误恢复间的折衷比帧内编码更有优势。帧帧 帧帧内刷新内刷新 可靠的停止帧间错误传播的方法是规则的插入可靠的停止帧间错误传播的方法是规则的插入I可靠的停止帧间错误传播的方法是规则的插入可靠的停止帧间错误传播的方法是规则的插入帧帧。但是，I帧的规则插入带来比特率的显著提高，因而必须用缓冲来平滑到恒定的比特率提高，因而必须用缓冲来平滑到恒定的比特率传

25、输，这会带来几帧的附加延迟。为避免延迟，帧内编码可以分散在几帧中，这样每帧都有一帧内编码可以分散在几帧中，这样每帧都有定百分比来刷新。即百分比帧内刷新。周期帧内更新。周期帧内更新。基于图像内容 的帧内刷新。错制错制 错错误限误限制制 漏预测和帧内编码主要针对时间上错误传播的问题。漏预测和帧内编码主要针对时间上错误传播的问题。但是但是帧间错误传播也导致空间的错误传播帧间错误传播也导致空间的错误传播运动补但是但是，帧间错误传播也导致空间的错误传播帧间错误传播也导致空间的错误传播。运动补偿预测可能使错误从他们初始的位置移到帧的其它部分甚至扩散到整个图像分，甚至扩散到整个图像。可以通过限制运动矢量的区

26、域，将错误限制在帧的一个已定义的子区域是更容易的这样子区域外的信息个已定义的子区域是更容易的，这样子区域外的信息不用于预测，因而也不会受到污染。独立的段解码模式（ISD模式）是一个有效的例子。独立的段解码模式（ISD模式）是个有效的例子。ISD模式保证错误是在一个GOB内，不会传播到其它GOB。基反馈的错控制 基于反馈的错误控制 利用一个从接收器到发送器的反馈信道来克服这些差错的影响。反馈信道指示了比特流的哪一部分是完整接收的，和/或视频信号的哪一部分不能解码，并必须被掩盖被掩盖。依赖于想得到的错误性能，可以发送出反向确认（NACK）或正向确认（ACK）消息。典型的，一个（NACK）或正向确认

27、（ACK）消息。典型的，个ACK或一个NACK指一系列宏块或一个完整的GOB。NACK需要的比特率比ACK低，因为他们仅当错误确实发生时发送，而ACK必须不断地发送。可能会引入附加的延迟。错误跟踪错误跟踪 错误跟踪错误跟踪 错误跟踪方法使用了帧内模式来选择错误跟踪方法使用了帧内模式来选择MB停止帧间的错停止帧间的错误传播误传播，但它的使用仅限制在严重受损的图像区域但它的使用仅限制在严重受损的图像区域。误传播误传播，但它的使用仅限制在严重受损的图像区域但它的使用仅限制在严重受损的图像区域。在无错误传输中，使用了更有效的帧间模式，因此系统可以有效地适应变化的信道条件。这是由在编码器中处理从反馈信道

28、得到的NACK来完成的基于NACK中处理从反馈信道得到的NACK来完成的。基于NACK的信息，编码器可以重建在解码器端的帧间错误传播。通过避免将严重影响的MB用作参考（例如，通过选择帧内模式）前向自适应编码器的编码控制可以有效帧内模式），前向自适应编码器的编码控制可以有效地停止帧间错误传播。错误跟踪不提高在编码和解码器之间的延迟。因此特错误跟踪不提高在编码和解码器之间的延迟。因此特别适用于要求低延迟的应用。参考图像的选择参考图像的选择 参考图像的选择参考图像的选择 为停止在解码器端的帧间错误传播，在编码器端切换为停止在解码器端的帧间错误传播，在编码器端切换到帧内模式，比这样更好的是，编码器可以

29、通过参考已经成功解码的前面的帧来预测当前帧。到帧内模式，比这样更好的是，编码器可以通过参考已经成功解码的前面的帧来预测当前帧。在H 263中参考图像是基于GOB来选取的也就是说 在H.263中，参考图像是基于GOB来选取的；也就是说，对一个GOB的所有MB用的是同样的参考图像。为停止错误传播且保持最好的编码效率应当选择 为停止错误传播，且保持最好的编码效率，应当选择解码器中无错误的可用的最后一帧。RPS模式可以和ISD模式相结合来限制错误，或者，用错误跟踪算法来ISD模式相结合来限制错误，或者，用错误跟踪算法来得到更好的编码效率。总结总结总结总结输大塞起 IP网络视频传输最大的问题是网络拥塞引起的丢包、延时和延时抖动。可分层编码被的丢包延时和延时抖动可分层编码被认为是最适合于IP网络的视频编码技术。无线网络视频传输最大的问题是网络衰落 无线网络视频传输最大的问题是网络衰落引起的误码、丢包。信源信道联合编码被认为是最适合无线网络的视频编码技术认为是最适合无线网络的视频编码技术。