第7讲：网络多媒体 IP网络视频通信若干问题(修改) [兼容模式].pdf

《第7讲：网络多媒体 IP网络视频通信若干问题(修改) [兼容模式].pdf》由会员分享，可在线阅读，更多相关《第7讲：网络多媒体 IP网络视频通信若干问题(修改) [兼容模式].pdf（52页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、网络多媒体技术网络多媒体技术网络多媒体技术网络多媒体技术网络多媒体技术网络多媒体技术网络多媒体技术网络多媒体技术第七讲第七讲：网络视频通信若干问题：网络视频通信若干问题第七讲第七讲：网络视频通信若干问题：网络视频通信若干问题郑世宝郑世宝郑世宝郑世宝tel:34204002/13501768669tel:34204002/13501768669E E-mail:mail:提纲提纲提纲提纲?网络多媒体技术研究趋势？网络多媒体技术研究趋势？?IPIP网络视频通信问题网络视频通信问题?IPIP网络视频通信问题网络视频通信问题?无线视频通信问题无线视频通信问题?融合问题融合问题图 像 通 信 与 信 息

2、 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所网络多媒体技术研究趋势网络多媒体技术研究趋势网络多媒体技术研究趋势网络多媒体技术研究趋势 QoSQoS问题问题：如何提高分辨率、信噪比、延时、：如何提高分辨率、信噪比、延时、鲁棒性？鲁棒性？编码问题编码问题：不仅仅是压缩比问题，从通用走向：不仅仅是压缩比问题，从通用走向专用，例如专用，例如SVACSVAC 率失真问题率失真问题：码控问题，：码控问题，CBR/VBRCBR/VBR 网络编码问题网络编码问题：多用户优化，网络优化：多用户优化，网络优化 视觉信息熵编码视觉信息熵编码：非信号冗余编码，如感知编：非信号冗余编码，如感知编视

3、觉信息熵编码视觉信息熵编码：非信号冗余编码，如感知编：非信号冗余编码，如感知编码、码、ROIROI编码、编码、SVCSVC编码、多视角编码编码、多视角编码 融合问题融合问题：业务融合、网络融合：业务融合、网络融合图 像 通 信 与 信 息 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所融合问题融合问题务融合网络融合务融合网络融合IPIP网络视频通信问题网络视频通信问题问题的提出问题的提出问题的提出问题的提出实时视频的速率本身是突发变化的非平稳的实时视频的速率本身是突发变化的非平稳的?实时视频的速率本身是突发变化的、非平稳的实时视频的速率本身是突发变化的、非平稳的 例如：短期例

4、如：短期I/B/PI/B/P帧编码速率不同；长期运动场景和图帧编码速率不同；长期运动场景和图像细节的不同像细节的不同像细节的不同像细节的不同?网络带宽本身也是不稳定的、波动的网络带宽本身也是不稳定的、波动的 例如不同优先级的业务即使优先级相同但其他例如不同优先级的业务即使优先级相同但其他 例如：不同优先级的业务；即使优先级相同，但其他例如：不同优先级的业务；即使优先级相同，但其他因素，如网络拥塞引起因素，如网络拥塞引起?网络拥塞常会导致丢包、延时和延时抖动网络拥塞常会导致丢包、延时和延时抖动?网络拥塞常会导致丢包、延时和延时抖动网络拥塞常会导致丢包、延时和延时抖动?网络差错还会带来包复制和重排

5、序网络差错还会带来包复制和重排序因此网络视频传输的质量控制是个复杂的系因此网络视频传输的质量控制是个复杂的系?因此，网络视频传输的质量控制是一个复杂的系因此，网络视频传输的质量控制是一个复杂的系统工程问题和科学问题统工程问题和科学问题图 像 通 信 与 信 息 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所解决途径解决途径解决途径解决途径?一般的开环控制有两种：一般的开环控制有两种：采用恒定比特率（采用恒定比特率（CBRCBR）的传输方式）的传输方式，CBRCBR采用恒定比特率（采用恒定比特率（CBRCBR）的传输方式）的传输方式，CBRCBR的缺点：会造成视频质量的不均匀和

6、网络资源的缺点：会造成视频质量的不均匀和网络资源的浪费的浪费；的浪费的浪费；采用变化比特率（采用变化比特率（VBRVBR）传输方式，）传输方式，VBRVBR的缺的缺点：会造成网络带宽的波动和过大的缓存延点：会造成网络带宽的波动和过大的缓存延点：会造成网络带宽的波动和过大的缓存，延点：会造成网络带宽的波动和过大的缓存，延时过大时过大因此需要采取对源端的可行的调整适应因此需要采取对源端的可行的调整适应?因此，需要采取对源端的可行的调整适应因此，需要采取对源端的可行的调整适应方案方案，即带反馈的码率控制。，即带反馈的码率控制。图 像 通 信 与 信 息 处 理 研 究 所图 像 通 信 与 信 息

7、处 理 研 究 所一、如何一、如何在在在在BestBest-EffortEffort网络上传输视频网络上传输视频网络上传输视频网络上传输视频信号信号信号信号?测试在现有的网络和不同的互联网网络传测试在现有的网络和不同的互联网网络传输协议下（输协议下（RTP,RTCP,UDP,RTP,RTCP,UDP,和和IPIP），编码），编码输协议下输协议下,和和编码编码器对于输出码率调整的性能。器对于输出码率调整的性能。发端通过接受报告（发端通过接受报告（RRRR）中由）中由RTCPRTCP包所提供包所提供 发端通过接受报告（发端通过接受报告（RRRR）中由）中由RTCPRTCP包所提供包所提供的反馈信息

8、来获取丢包率。然后，我们可以根的反馈信息来获取丢包率。然后，我们可以根据丢包率粗略估计出块丢失率之后发端就据丢包率粗略估计出块丢失率之后发端就据丢包率粗略估计出块丢失率。之后，发端就据丢包率粗略估计出块丢失率。之后，发端就可用一个算法来调整可用一个算法来调整，编码的最大码率。，编码的最大码率。根据网络状况对根据网络状况对 采用渐进增长倍数递减采用渐进增长倍数递减 根据网络状况，对根据网络状况，对 采用渐进增长，倍数递减。采用渐进增长，倍数递减。以求在高效和公平之间达到平衡。以求在高效和公平之间达到平衡。图 像 通 信 与 信 息 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所

9、 在组播情况下如何判断网络拥塞，以及一种能在组播情况下如何判断网络拥塞，以及一种能够适应异构网络的方法，当够适应异构网络的方法，当RRRR中指示，有相当中指示，有相当比例的接收端都检测到丢包率达到了上限（如比例的接收端都检测到丢包率达到了上限（如1010或者更多），发端就推断网络发生了拥塞，或者更多），发端就推断网络发生了拥塞，它需要降低它需要降低相似的如果有多于相似的如果有多于的接的接它需要降低它需要降低；相似的，如果有多于；相似的，如果有多于1010的接的接收机报告它们的丢包率降低到了下限，发端就收机报告它们的丢包率降低到了下限，发端就可考虑增加可考虑增加可考虑增加可考虑增加。还可在源端采

10、取对帧率进行调整的方法（主要还可在源端采取对帧率进行调整的方法（主要是调整帧截取频率），以适应网络拥塞的情况。是调整帧截取频率），以适应网络拥塞的情况。图 像 通 信 与 信 息 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所然而问题是如果该然而问题是如果该 值的变化次数太过频繁经常降值的变化次数太过频繁经常降?然而，问题是，如果该然而，问题是，如果该 值的变化次数太过频繁，经常降值的变化次数太过频繁，经常降低到最小值。由于向源端指示丢包的信息有一定的延时低到最小值。由于向源端指示丢包的信息有一定的延时（比如在法国和加拿大之间举行的一次电话会议），（比如在法国和加拿大之间举行

11、的一次电话会议），会会（比如在法国和加拿大之间举行的次电话会议），（比如在法国和加拿大之间举行的次电话会议），会会快速地在最大值和最小值之间振荡。由于帧率在此过程中快速地在最大值和最小值之间振荡。由于帧率在此过程中经常被修改（更甚与量化器的值），这样对视频信号的影经常被修改（更甚与量化器的值），这样对视频信号的影响可能也只有在使用电话会议的用户才可以接受响可能也只有在使用电话会议的用户才可以接受响，可能也只有在使用电话会议的用户才可以接受。响，可能也只有在使用电话会议的用户才可以接受。?一个被称为一个被称为RAPRAP的更为细致的方法被应用于视频流在互联的更为细致的方法被应用于视频流在互联网上

12、的传输，该协议要求服务器端的数据源的码率可调节，网上的传输，该协议要求服务器端的数据源的码率可调节，网上的传输，该协议要求服务器端的数据源的码率可调节，网上的传输，该协议要求服务器端的数据源的码率可调节，同时要求在每个客户端有可以进行相应码率调节的接收器，同时要求在每个客户端有可以进行相应码率调节的接收器，且该接收器应能对每个包进行确认。这些确认信息，就相且该接收器应能对每个包进行确认。这些确认信息，就相当于及时向源端提供了有关包丢失的反馈信息当于及时向源端提供了有关包丢失的反馈信息当于及时向源端提供了有关包丢失的反馈信息当于及时向源端提供了有关包丢失的反馈信息。图 像 通 信 与 信 息 处

13、 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所 不同于滑动窗流量控制机制，通过改变窗的大不同于滑动窗流量控制机制，通过改变窗的大小来控制流量和实现码率调整，小来控制流量和实现码率调整，RAPRAP是通过调是通过调整包间间整包间间来来整包间间隔（整包间间隔（interpacketinterpacket gapgap，即，即IPGIPG）来）来作为对网络阻塞的响应。作为对网络阻塞的响应。IGPIGP的调整也是遵循加性递增，乘性递减的原的调整也是遵循加性递增，乘性递减的原则。则。RAPRAP接收器在每收到一个包都产生确认信息的接收器在每收到一个包都产生确认信息的好处，就在于源端就可以

14、保持一个平滑环路时好处，就在于源端就可以保持一个平滑环路时好处，就在于源端就可以保持个平滑环路时好处，就在于源端就可以保持个平滑环路时间的估计。间的估计。图 像 通 信 与 信 息 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所二二如何在组播环境下支持视频传输如何在组播环境下支持视频传输二二如何在组播环境下支持视频传输如何在组播环境下支持视频传输二二、如何在组播环境下支持视频传输如何在组播环境下支持视频传输二二、如何在组播环境下支持视频传输如何在组播环境下支持视频传输由于显而易见的网络中的互异性比如说接收设由于显而易见的网络中的互异性比如说接收设?由于显而易见的网络中的互异性

15、，比如说接收设由于显而易见的网络中的互异性，比如说接收设备的多样性，联接带宽的多变性等等，都对源端备的多样性，联接带宽的多变性等等，都对源端自适应技术提出了挑战自适应技术提出了挑战MaCanneMaCanne曾经发表过一曾经发表过一自适应技术提出了挑战。自适应技术提出了挑战。MaCanneMaCanne曾经发表过一曾经发表过一篇会议论文，提出通过一种被称作接收端驱动的篇会议论文，提出通过一种被称作接收端驱动的分层组播方式（分层组播方式（RLMRLM）将码率自适应调整从源端）将码率自适应调整从源端分层组播方式（分层组播方式（RLMRLM）将码率自适应调整从源端）将码率自适应调整从源端移至接收端。

16、移至接收端。?将视频的分层压缩技术和分层传输技术结合起来，将视频的分层压缩技术和分层传输技术结合起来，?将视频的分层压缩技术和分层传输技术结合起来，将视频的分层压缩技术和分层传输技术结合起来，设想压缩算法将视频图像分多层进行编码，并逐设想压缩算法将视频图像分多层进行编码，并逐层提高质量，这样就可以适应终端的调整。层提高质量，这样就可以适应终端的调整。层提高质样就可以应终端的调层提高质样就可以应终端的调?SVCSVC成为新的互联网视频组播传输的主流技术。成为新的互联网视频组播传输的主流技术。图 像 通 信 与 信 息 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所?网络将不同的

17、层，按照不同的组播分组发送。而网络将不同的层，按照不同的组播分组发送。而终端则依靠加入不同的组播组来接收不同层次的终端则依靠加入不同的组播组来接收不同层次的视频图像。终端显示的视频质量就由终端所加入视频图像。终端显示的视频质量就由终端所加入的组所决定（从最低组到最高组）。的组所决定（从最低组到最高组）。?RLMRLM有一个严格的假设，就是所有的层中都可能有一个严格的假设，就是所有的层中都可能发生丢包，亦即在中间节点发生网络拥塞就会造发生丢包，亦即在中间节点发生网络拥塞就会造成丢包。这就需要网络给接收端一个指示成丢包。这就需要网络给接收端一个指示。RLMRLM接收机会寻找合适的时间积极地通过插入

18、层来进接收机会寻找合适的时间积极地通过插入层来进行测试。行测试。图 像 通 信 与 信 息 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所?McCanneMcCanne研究了假设所有层发生丢包概率研究了假设所有层发生丢包概率都相同的情况。都相同的情况。BajajaBajaja将有相同丢包概率将有相同丢包概率都相同的情况都相同的情况j jj j 将有相同丢概率将有相同丢概率的结果和每层设置优先级的结果进行了比的结果和每层设置优先级的结果进行了比较较，发现使用有优先级的方式传送其性能，发现使用有优先级的方式传送其性能较较，发现使用有优先级的方式传送其性能，发现使用有优先级的方式传

19、送其性能最多可以比不使用有优先级的方式可提高最多可以比不使用有优先级的方式可提高36363636。?图 像 通 信 与 信 息 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所三三基于反馈控制的码率源端调整基于反馈控制的码率源端调整三三基于反馈控制的码率源端调整基于反馈控制的码率源端调整三三、基于反馈控制的码率源端调整基于反馈控制的码率源端调整三三、基于反馈控制的码率源端调整基于反馈控制的码率源端调整压缩视频的固有属性就是突发性在多数压缩视频的固有属性就是突发性在多数?压缩视频的固有属性就是突发性，在多数压缩视频的固有属性就是突发性，在多数时间范围内显示出码率的波动性。时间范围

20、内显示出码率的波动性。如果使用恒定码率传输数据，编码端就需要一如果使用恒定码率传输数据，编码端就需要一个本地缓存器来进行码率平滑。使用缓存器有个本地缓存器来进行码率平滑。使用缓存器有上溢和下溢的问题般情需要通过调整量上溢和下溢的问题般情需要通过调整量上溢和下溢的问题，一般情况需要通过调整量上溢和下溢的问题，一般情况需要通过调整量化阶的尺寸来不断进行调整，而这样就造成了化阶的尺寸来不断进行调整，而这样就造成了视频质量的起伏但有利于网络接入视频质量的起伏但有利于网络接入视频质量的起伏。但有利于网络接入。视频质量的起伏。但有利于网络接入。如果使用变速率传输，可以较好地适应压缩视如果使用变速率传输，可

21、以较好地适应压缩视频码率突发性的特点从而维持较好的视频图频码率突发性的特点从而维持较好的视频图频码率突发性的特点，从而维持较好的视频图频码率突发性的特点，从而维持较好的视频图像质量。但容易造成网络拥塞。像质量。但容易造成网络拥塞。图 像 通 信 与 信 息 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所选择个合适的传输码率需要在三个重要元素选择个合适的传输码率需要在三个重要元素?选择一个合适的传输码率，需要在三个重要元素选择一个合适的传输码率，需要在三个重要元素间取得平衡间取得平衡：延时或服务质量的要求：延时或服务质量的要求；源端所；源端所提出要求的带宽网络所能提供的带宽需要

22、解提出要求的带宽网络所能提供的带宽需要解提出要求的带宽；网络所能提供的带宽。需要解提出要求的带宽；网络所能提供的带宽。需要解决：决：缓存及延时限制条件缓存及延时限制条件 缓存及延时限制条件缓存及延时限制条件 源端码率调整限制条件源端码率调整限制条件 预测限制条件预测限制条件预测限制条件预测限制条件 显式和隐式反馈显式和隐式反馈 信令信号的频率和反应时间限制信令信号的频率和反应时间限制：和网络之间的再协：和网络之间的再协信令信号的频率和反应时间限制信令信号的频率和反应时间限制和网络之间的再协和网络之间的再协商时间商时间 码率预测误差码率预测误差图 像 通 信 与 信 息 处 理 研 究 所图 像

23、 通 信 与 信 息 处 理 研 究 所?源端和网络间进行再协商的机制，以及视源端和网络间进行再协商的机制，以及视频源采用的码率调整方法。频源采用的码率调整方法。频源采用的码率调方法频源采用的码率调方法 在在CBRCBR方式下或者方式下或者RCBRRCBR方式下所表现出来的，方式下所表现出来的，不很频繁的再协商次数，我们可以通过开发网不很频繁的再协商次数，我们可以通过开发网不很频繁的再协商次数，我们可以通过开发网不很频繁的再协商次数，我们可以通过开发网络中可用的反馈资源，在源端对视频码流的速络中可用的反馈资源，在源端对视频码流的速率进行调整。率进行调整。率进行调整。率进行调整。对于实时压缩视频

24、流使用基于码率的拥塞控制对于实时压缩视频流使用基于码率的拥塞控制方面作出贡献的是方面作出贡献的是KanakiaKanakia方面作出贡献的是方面作出贡献的是KanakiaKanakia。图 像 通 信 与 信 息 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所四四码率的特性及其平滑码率的特性及其平滑四四码率的特性及其平滑码率的特性及其平滑技术技术四四、码率的特性及其平滑码率的特性及其平滑四四、码率的特性及其平滑码率的特性及其平滑技术技术?要平滑源码率，必须选择一个合适的网络要平滑源码率，必须选择一个合适的网络上的帧传输调度策略。这个策略必须满足上的帧传输调度策略。这个策略必须

25、满足的帧传输调度策略这个策略必须满足的帧传输调度策略这个策略必须满足源端和目的地的延迟和缓冲限制。源端和目的地的延迟和缓冲限制。存在最优调度策略问题能够对峰值码率码存在最优调度策略问题能够对峰值码率码 存在最优调度策略问题，能够对峰值码率，码存在最优调度策略问题，能够对峰值码率，码率变化量，以及码率变化的次数进行优化。率变化量，以及码率变化的次数进行优化。对于存储视频流对于存储视频流直播视频直播视频 和电话会议等交和电话会议等交 对于存储视频流对于存储视频流、直播视频、直播视频 和电话会议等交和电话会议等交互性视频，优化是不一样的。互性视频，优化是不一样的。图 像 通 信 与 信 息 处 理

26、研 究 所图 像 通 信 与 信 息 处 理 研 究 所SAVESAVE算法算法算法算法SAVESAVE算法算法算法算法?SAVESAVE（Smoothed Adaptive Video Smoothed Adaptive Video over Explicit rate networksover Explicit rate networks）是是一）一）是是一一p p是是是是种在源端通过确切的反馈在网络上的码率种在源端通过确切的反馈在网络上的码率种在源端通过确切的反馈在网络上的码率种在源端通过确切的反馈在网络上的码率大小来传输压缩视频的算法大小来传输压缩视频的算法大小来传输压缩视频的算法大小

27、来传输压缩视频的算法大小来传输压缩视频的算法大小来传输压缩视频的算法大小来传输压缩视频的算法大小来传输压缩视频的算法.码率请求算法码率请求算法帧量化算法帧量化算法 帧量化算法帧量化算法图 像 通 信 与 信 息 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所率请求算法率请求算法?码率请求算法码率请求算法 网络上需要的码率是两个不同码率中较大的那个网络上需要的码率是两个不同码率中较大的那个。但。但在缩频在缩频能会期性的些相关的采能会期性的些相关的采是，在压缩视频下是，在压缩视频下,可能会周期性的出现一些相关的采可能会周期性的出现一些相关的采用帧内编码的帧和采用帧间编码的帧用帧内

28、编码的帧和采用帧间编码的帧,这些帧内编码的这些帧内编码的帧通常具有较大数据量帧通常具有较大数据量 而帧间编码的帧可能会含有较而帧间编码的帧可能会含有较帧通常具有较大数据量帧通常具有较大数据量.而帧间编码的帧可能会含有较而帧间编码的帧可能会含有较少数据量少数据量,散布于视频序列中散布于视频序列中.我们期望网络上的码率能够在一个我们期望网络上的码率能够在一个GOPGOP周期内能得到周期内能得到 我们期望网络上的码率能够在个我们期望网络上的码率能够在个GOPGOP周期内能得到周期内能得到平滑平滑,从而在该周期内避免系统波动从而在该周期内避免系统波动.否则，否则，传输质量传输质量就会比较差。因此，优化

29、常常在一个就会比较差。因此，优化常常在一个GoPGoP内进行。内进行。图 像 通 信 与 信 息 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所?帧量化算法帧量化算法 跟踪在延迟时间跟踪在延迟时间tmaxtmax内，在已知当前所分配内，在已知当前所分配跟踪在延迟时间跟踪在延迟时间tmaxtmax内，在已知当前所分配内，在已知当前所分配的码率以及缓冲占用情况下，可以传送的帧的的码率以及缓冲占用情况下，可以传送的帧的大小大小favailfavail。大小大小 a aa a。图 像 通 信 与 信 息 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所?评价标准评价标

30、准 源端延时源端延时源端延时源端延时 服务质量以及自适应服务质量以及自适应 信道容量及复用增益信道容量及复用增益 信道容量及复用增益信道容量及复用增益 算法参数的敏感性算法参数的敏感性图 像 通 信 与 信 息 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所基于仿真的评估架构基于仿真的评估架构基于仿真的评估架构基于仿真的评估架构基于仿真的评估架构基于仿真的评估架构基于仿真的评估架构基于仿真的评估架构?实验跟踪记录实验跟踪记录?通过帧级仿真对网络特性建模通过帧级仿真对网络特性建模?通过帧级仿真对网络特性建模通过帧级仿真对网络特性建模?网络级仿真网络级仿真图 像 通 信 与 信

31、息 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所本章小结本章小结本章小结本章小结?网络拥塞会在三个方面影响视频传输的质网络拥塞会在三个方面影响视频传输的质量：视频流可用带宽不一致，延迟和延迟量：视频流可用带宽不一致，延迟和延迟量视频流可用带宽不致延和延量视频流可用带宽不致延和延抖动的增加，以及丢包的增加。抖动的增加，以及丢包的增加。根据反馈可以在视频源端进行调整根据反馈可以在视频源端进行调整?根据反馈，可以在视频源端进行调整根据反馈，可以在视频源端进行调整。?也可以在终端进行调整，前提条件是采用也可以在终端进行调整，前提条件是采用RLMRLM。?平滑和码流的合并有利于降低网

32、络中所需平滑和码流的合并有利于降低网络中所需?平滑和码流的合并有利于降低网络中所需平滑和码流的合并有利于降低网络中所需码率的变化量。码率的变化量。图 像 通 信 与 信 息 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所无线视频传输问题无线视频传输问题无线视频传输无线视频传输无线视频传输无线视频传输在过去的十年移动通信和多媒体通信都经历了相当快速在过去的十年移动通信和多媒体通信都经历了相当快速?在过去的十年，移动通信和多媒体通信都经历了相当快速在过去的十年，移动通信和多媒体通信都经历了相当快速的增长和商业成功。的增长和商业成功。?移动和多媒体的集成是人们的梦想，今天移动和多媒

33、体的集成是人们的梦想，今天3G3G正在实现这正在实现这实实一理想。无线多媒体服务将是下一个十年的热宠。一理想。无线多媒体服务将是下一个十年的热宠。?实时可视音频通信是第三代无线通信服务的一个完整部分实时可视音频通信是第三代无线通信服务的一个完整部分。?然而，在对未来移动多媒体系统的所有特征的期望中，活然而，在对未来移动多媒体系统的所有特征的期望中，活动视频是最耗费比特率的，因此将对网络结构和协议有最动视频是最耗费比特率的，因此将对网络结构和协议有最大的影响大的影响大的影响。大的影响。?即使最新的压缩技术，电视的质量仍需要每秒几即使最新的压缩技术，电视的质量仍需要每秒几MM比特的比特的速率，而对

34、于低分辨率的、有限运动的视频序列，如典型速率，而对于低分辨率的、有限运动的视频序列，如典型的电满像质求的少也每秒数十的电满像质求的少也每秒数十的可视电话，满足图像质量要求的至少也要每秒数十的可视电话，满足图像质量要求的至少也要每秒数十K K比比特。特。图 像 通 信 与 信 息 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所由于存在衰减和可能出现高的比特错误移动网络无法提由于存在衰减和可能出现高的比特错误移动网络无法提?由于存在衰减和可能出现高的比特错误，移动网络无法提由于存在衰减和可能出现高的比特错误，移动网络无法提供有保证的服务质量。供有保证的服务质量。?一个移动无线信道

35、的传输错误的范围从单个比特错误到突一个移动无线信道的传输错误的范围从单个比特错误到突?个移动无线信道的传输错误的范围从单个比特错误到突个移动无线信道的传输错误的范围从单个比特错误到突发的错误，或甚至连续的间歇性丢失。发的错误，或甚至连续的间歇性丢失。?传统的对付传输错误的技术是前向纠错（传统的对付传输错误的技术是前向纠错（FECFEC），但是因），但是因为广泛变化的错误情形，它的效果受到限制。为广泛变化的错误情形，它的效果受到限制。?如按最坏的情况设计将导致冗余到达限制量。如按最坏的情况设计将导致冗余到达限制量。反馈错误控制技术如自动重复请求（反馈错误控制技术如自动重复请求（Q Q）已显示出）

36、已显示出?反馈错误控制技术，如自动重复请求（反馈错误控制技术，如自动重复请求（ARQARQ），已显示出），已显示出比比FECFEC更有效，并已成功地应用于无线视频传输。但是，更有效，并已成功地应用于无线视频传输。但是，丢失的数据帧的重传，将导致附加的延迟，对于实时的对丢失的数据帧的重传，将导致附加的延迟，对于实时的对丢失的数据帧的重传，将导致附加的延迟，对于实时的对丢失的数据帧的重传，将导致附加的延迟，对于实时的对话或交互式服务可能是不可接受的。话或交互式服务可能是不可接受的。图 像 通 信 与 信 息 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所结论结论结论结论?在移动无

37、线电信道中，即使结合了在移动无线电信道中，即使结合了FECFEC和和ARQARQ，传输错误也不能避免。，传输错误也不能避免。Q Q传输错误不能免传输错误不能免?为无线视频通信系统设计各种不同的错误为无线视频通信系统设计各种不同的错误控制和掩盖技术控制和掩盖技术控制和掩盖技术。控制和掩盖技术。?数据分类已被数据分类已被MPEG4MPEG4标准作为一个错误恢标准作为一个错误恢复工具，而不等错误保护可以明显地提高复工具，而不等错误保护可以明显地提高无线视频传输系统的健壮性，并当信道恶无线视频传输系统的健壮性，并当信道恶无线视频传输系统的健壮性，并当信道恶无线视频传输系统的健壮性，并当信道恶化时只带来

38、图像质量少量的降低。化时只带来图像质量少量的降低。图 像 通 信 与 信 息 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所一信源一信源和信道联合编码技术和信道联合编码技术、信源、信源和信道联合编码技术和信道联合编码技术?根据香农的“分离”原理，分别考虑信源和信道根据香农的“分离”原理，分别考虑信源和信道编码而且在基于下述假设下，系统性能上没有损编码而且在基于下述假设下，系统性能上没有损失是能的失是能的失是可能的。失是可能的。假设（假设（a a）对信源和信道编码都有无穷大的包长度（因）对信源和信道编码都有无穷大的包长度（因此是无穷大的此是无穷大的此是无穷大的延迟），此是无穷大

39、的延迟），假设（假设（b b）对传输信道的统计有着精确和完全的了解。）对传输信道的统计有着精确和完全的了解。?作为（作为（b b）的推论，分离原理仅应用于点对点通信）的推论，分离原理仅应用于点对点通信，对于多用户或广播的情况是无效的。，对于多用户或广播的情况是无效的。?因此，信源信道联合编码（因此，信源信道联合编码（JSCCJSCC）在实际中是有）在实际中是有优势的。优势的。图 像 通 信 与 信 息 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所优势的优势的现状现状现状现状如前所述在如前所述在H263/263/263/26LH263/263/263/26L?如前所述，在如前

40、所述，在H263/263+/263+/26LH263/263+/263+/26L，MPEG4/H264MPEG4/H264等，均已提出许多包括数据分类、不等差等，均已提出许多包括数据分类、不等差错保护和可逆变长编码等技术，但大多数的针对无线视频错保护和可逆变长编码等技术，但大多数的针对无线视频错保护和可逆变长编码等技术，但大多数的针对无线视频错保护和可逆变长编码等技术，但大多数的针对无线视频的错误控制机制还没有普遍采用。的错误控制机制还没有普遍采用。?许多技术都是针对实际问题的工程性解决方法，在设计整许多技术都是针对实际问题的工程性解决方法，在设计整个传输链中的折衷还没有被很好地理解并需要进步

41、完个传输链中的折衷还没有被很好地理解并需要进步完个传输链中的折衷还没有被很好地理解，并需要进一步完个传输链中的折衷还没有被很好地理解，并需要进一步完善以形成一个通用的理论框架。善以形成一个通用的理论框架。?针对信源信道联合优化包括信源信道联合编码和传输协针对信源信道联合优化包括信源信道联合编码和传输协?针对信源信道联合优化，包括信源信道联合编码和传输协针对信源信道联合优化，包括信源信道联合编码和传输协议，针对不良的传输条件得到较好的鲁棒性和自适应性的议，针对不良的传输条件得到较好的鲁棒性和自适应性的编码机制，以及考虑到多媒体的传输协议，以便最有效地编码机制，以及考虑到多媒体的传输协议，以便最有

42、效地利用有限的无线网络资源的问题正在热烈的研究之中利用有限的无线网络资源的问题正在热烈的研究之中利用有限的无线网络资源的问题，正在热烈的研究之中。利用有限的无线网络资源的问题，正在热烈的研究之中。图 像 通 信 与 信 息 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所信源和信道编码的折衷信源和信道编码的折衷信源和信道编码的折衷信源和信道编码的折衷?信源编码的目标是在给定的目标比特率下得到尽信源编码的目标是在给定的目标比特率下得到尽可能低的失真。对给定的信源统计特性，这一目可能低的失真。对给定的信源统计特性，这一目标有率失真边的基本制标有率失真边的基本制标有率失真边界的基本限

43、制。标有率失真边界的基本限制。?编码的信源比特流在噪声信道上可靠地传输受信编码的信源比特流在噪声信道上可靠地传输受信道容量的限制，确定了在给定信道上可靠地传输道容量的限制，确定了在给定信道上可靠地传输信息的最大速率。信道编码的目标是在尽可能接信息的最大速率。信道编码的目标是在尽可能接近信道容量的速率上传送可靠的信息。近信道容量的速率上传送可靠的信息。?理论上，总可以通过“分离”原理，分别获得信理论上，总可以通过“分离”原理，分别获得信?理论上，总可以通过分离原理，分别获得信理论上，总可以通过分离原理，分别获得信源和信道的优化。实际上，这是不可能的。源和信道的优化。实际上，这是不可能的。图 像

44、通 信 与 信 息 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所?信源和信道编码的联合优化可以通过在信道解码信源和信道编码的联合优化可以通过在信道解码时利用信源信号的冗余来得到（信源控制的信道时利用信源信号的冗余来得到（信源控制的信道解解解码）解码）?或者通过针对一个给定的信道特性设计信源编解或者通过针对一个给定的信道特性设计信源编解码器得到（信道最优化的信源编码）。码器得到（信道最优化的信源编码）。?在任何一种情况，信源和信道编码都几乎不能再在任何一种情况，信源和信道编码都几乎不能再?在任何种情况，信源和信道编码都几乎不能再在任何种情况，信源和信道编码都几乎不能再分离，是

45、真正结合在一起得到优化的。分离，是真正结合在一起得到优化的。?不幸的是对视频的联合信源信道编码机制还在不幸的是对视频的联合信源信道编码机制还在?不幸的是，对视频的联合信源信道编码机制还在不幸的是，对视频的联合信源信道编码机制还在发展中，很多标准还不支持。发展中，很多标准还不支持。图 像 通 信 与 信 息 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所无线视频系统的构成无线视频系统的构成无线视频系统的构成无线视频系统的构成视频经过编码后首先进行打包然后经过差错控视频经过编码后首先进行打包然后经过差错控?视频经过编码后首先进行打包，然后经过差错控视频经过编码后首先进行打包，然后

46、经过差错控制（制（FECFEC或或ARQARQ）编码和调制，在无线信道传输）编码和调制，在无线信道传输。?该无线系统必须在可靠性、吞吐量和延迟之间得该无线系统必须在可靠性、吞吐量和延迟之间得到折衷到折衷到折衷。到折衷。图 像 通 信 与 信 息 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所失真测量失真测量失真测量失真测量经常在信道解码后还有些残留的传输错误视频解码器经常在信道解码后还有些残留的传输错误视频解码器?经常在信道解码后还有一些残留的传输错误，视频解码器经常在信道解码后还有一些残留的传输错误，视频解码器必须可以处理一个有错误的比特流。残留的错误带来的附必须可以处理一

47、个有错误的比特流。残留的错误带来的附加的失真，必须有一个失真测量。加的失真，必须有一个失真测量。加的失真，必须有个失真测量。加的失真，必须有个失真测量。?由于解码的视频信号是最终放给一个观察者看，所以失真由于解码的视频信号是最终放给一个观察者看，所以失真的测量必须与可察知的主观质量一致。在实际上，对视频的测量必须与可察知的主观质量一致。在实际上，对视频编码的最普通的失真测量是“均方误差”（编码的最普通的失真测量是“均方误差”（MSEMSE）编码的最普通的失真测量是“均方误差”（编码的最普通的失真测量是“均方误差”（MSEMSE）。）。?DeDe是编码器失真，是编码器失真，DdDd是解码器输出失

48、真。是解码器输出失真。deDDD=+=XxYyTtetyxetyxiXYTD1112),(1=XxYyTtLlldtyxdtyxiXYTLD11112),(1图 像 通 信 与 信 息 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所在频编域般峰值信在频编域般峰值信?在视频编码领域一般用峰值信噪比（在视频编码领域一般用峰值信噪比（PSNRPSNR）10log1010log10（2552552 2/MSE/MSE）。）。22552eeDPSNR210255log10=ddDPSNR210255log10=DDDDDDDPSNRPSNRPSNReedede+=1010log10lo

49、g10图 像 通 信 与 信 息 处 理 研 究 所图 像 通 信 与 信 息 处 理 研 究 所失真失真失真失真 失真函数失真函数失真函数失真函数失真失真失真失真-失真函数失真函数失真函数失真函数在信源和信道编码间改变比特分配（比率在信源和信道编码间改变比特分配（比率?在信源和信道编码间改变比特分配（比率在信源和信道编码间改变比特分配（比率r=Re/Rcr=Re/Rc），对在解码输出端的视频信号），对在解码输出端的视频信号d d的图的图像质量有两个影响像质量有两个影响像质量有两个影响。像质量有两个影响。r r的减少使视频编码端的可用的比特率减少了，由此在的减少使视频编码端的可用的比特率减少了

50、，由此在编码端就降低了图像质量，这和传输错误是无关的。编码端就降低了图像质量，这和传输错误是无关的。编码端就降低了图像质量，这和传输错误是无关的。编码端就降低了图像质量，这和传输错误是无关的。实际的实际的PSNRePSNRe的减少是由视频编码端的失真率函数的减少是由视频编码端的失真率函数De(Re)De(Re)所决定的。所决定的。残留字错率的减少与残留字错率的减少与 的减少相关错控制信道的减少相关错控制信道 残留字错误率的减少与残留字错误率的减少与r r的减少相关，由错误控制信道的减少相关，由错误控制信道决定，即信道编解码器，调制方案和信道的特性。最决定，即信道编解码器，调制方案和信道的特性。