基于WEB的流媒体视频系统的关键功能分析(62页).doc

-基于WEB的流媒体视频系统的关键功能分析-第 51 页电 子 科 技 大 学 UNIVERSITY OF ELECTRONIC SCIENCE AND TECHNOLOGY OF CHINA工程硕士学位论文ENGINEERING MASTER DISSERTATION论 文 题 目：基于WEB的流媒体视频系统的关键功能分析工 程 领 域： 软 件 工 程 指 导 教 师： 王伟东 作 者 姓 名： 冯里德 班 学 号： 200892343013 分类号 密级 UDC 学 位 论 文 基于WEB的流媒体视频系统的关键功能分析 指导教师姓名 王 伟 东 电子科技大学 （职务、职称、学位、单位名称及地址）申请学位级别 硕士 专业名称 软件工程 论文提交日期 论文答辩日期 学位授予单位和日期 答辩委员会主席 评阅人 2011年 月 日独 创 性 声 明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。签名： 日期： 年 月 日关于论文使用授权的说明本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）签名： 导师签名： 日期： 年 月 日摘 要随着WEB2.0时代的来临，宽带网的各种服务迅速普及，尤其是视频服务不断成熟。互联网行业的这些发展为网站视频系统的建立提供了必要的先决条件。网站作为网上传递信息的平台，正处于从传统图片、文字、FLASH等媒体传播形式向音频、视频、富媒体等新颖的传播方式升级的阶段。通过视频服务系统的建立，网站从原来仅以图片、文字为用户提供信息的方式，发展到以图文、音视频相结合的服务方式为广大用户提供服务。本文将流媒体协议分析入手详细介绍什么是流媒体并运用实例简单分析流媒体协议。随后本文从流媒体代理缓存技术开始详细分析流媒体缓存技术的实现和应用，详细分析基于P2P协议的流媒体系统的设计和实现，最后介绍流媒体的视频编码技术，介绍基于H.264的流媒体编码技术的算法和实现。关键词：流媒体，P2P，H.264编码系统ABSRACTWith the development of the WEB2.0, the services of broadband network are becoming more and more popular; especially the maturing video service. These developments in the Internet industry provide the necessary prerequisites of the establishment of the web video. Website as a platform for online transmission of information is in from the traditional images, text, FLASH and other media forms of communication to the audio, video, rich media and other innovative forms of communication upgrade stage.With the establishment of video service system, the information provided by the website now is the combination of services for the graphics, audio and video instead of the information of original pictures and text etc. This thesis analyzed the stream media protocol in detail and introduced the meaning of stream media, and then analyzed the stream media protocol by a simple example. Then the thesis described the stream media proxy cache technology in detail and the implementation and application of P2P protocols based on detailed analysis of stream media systems design and implementation. Finally, the thesis introduced the stream video encoding technology, introduced H.264-based stream media encoding technology, algorithms and implementation.Keywords: Stream Media, P2P, H.264 Coding System目 录第一章 绪论1 1.1 应用背景1 1.2 流媒体技术1 1.2.1 流媒体的系统组成及网络环境2 1.2.2 媒体服务器硬件平台2 1.2.3 媒体服务器软件平台3 1.2.4 流媒体的网络环境3 1.3 国内外现状3 1.3.1 国外流媒体现状分析3 1.3.2 国内流媒体发展状况5 1.4 论文所采用的关键技术5 1.4.1 J2EE体系结构6 1.4.2 MVC设计模式6 1.4.3 流媒体技术7 1.4.4 基于H.264的集群转码技术7 1.5 论文内容和结构9 1.6 本章小结10第二章 流媒体代理缓存技术分析11 2.1 概述11 2.2 几种典型的流媒体缓存算法12 2.2.1 基于间隔的缓存算法12 2.2.2 选择缓存算法12 2.2.3 基于分段的缓存13 2.2.4 结合编码转换的缓存算法13 2.2.5 结合可扩展编码的缓存算法14 2.3 各种缓存算法的分析比较16 2.4 代理缓存技术的应用20 2.5 本章小结20第三章 基于H.264编码的流媒体视频分析21 3.1 H.264特点分析21 3.2 H.264句法元素23 3.3 H.264编码分析25 3.3.1 自适应可变长编码25 3.3.2 二进制算术编码26 3.3.3 哥伦布编码30 3.4 H.264系统在流媒体中的应用33 3.5 本章小结35第四章 P2P流媒体系统的设计与实现36 4.1 P2P协议分析36 4.2 系统设计38 4.2.1 设计目的38 4.2.2 设计思想39 4.2.3 系统整体结构设计39 4.3 系统的实现40 4.3.1 索引服务器的实现40 4.3.2 PEER端的实现41 4.3.3 解码器的实现43 4.4 代码实现44 4.5 系统测试49 4.5.1 上传测试49 4.5.2 下载测试50 4.6 本章小节51第五章 流媒体系统实例分析52 5.1 概述52 5.2 客户端版本匹配52 5.3 加密协议接收53 5.4 网络质量和数据测试55 5.5 端口和地址解析56 5.6 流媒体播放57 5.7 本章小结58第六章 结束语59 6.1 总结59 6.2 下一步打算59参考文献60致谢62第一章 绪 论1.1 应用背景随着WEB2.0时代的来临，宽带网的各种服务迅速普及，尤其是视频服务不断成熟。互联网行业的这些发展为网站视频系统的建立提供了必要的先决条件。网站作为网上传递信息的平台，正处于从传统图片、文字、FLASH等媒体传播形式向音频、视频、富媒体等新颖的传播方式升级的阶段。通过视频服务系统的建立，网站从原来仅以图片、文字为用户提供信息的方式，发展到以图文、音视频相结合的服务方式为广大用户提供服务。视频服务以其不可替代的优越性正逐渐成为互联网的主要服务；视频服务系统也正在被广大政府网站、广电网站、新闻门户以及各个垂直门户所重视。互联网行业正迎来运营的热潮，网站地产广告、视频贴片广告的成熟给网站赢利的渠道，风险投资的关注和大力投入也给了运营网站巨大的动力和支持。本系统以先进的技术为出发点，充分考虑运营网站的需求，为网站运营打造坚实的系统平台。1.2 流媒体技术概述随着互联网特别是流媒体技术的发展，视频也越来越被各大网站重视，这时候就需要能解决实时传送音频、视频、计算机动画等多媒体格式文件的技术，在这种要求下，产生了互联网多媒体技术和流媒体技术。简单的将，用户在收看网站提供的互联网视频服务时不需要下载视音频格式的文件只要打开能兼容视音频文件格式的客户端就实时能边看变下文件，这种技术就是我们所说的流媒体技术，用户在观看视频的时候只要进行缓冲，有个10来秒的延时时间，计算机在后台下载视频文件，当用户关闭客户端后，视频就终止下载。用户在等待节目播放时时间或大大缩短，并且需要太多的磁盘空间，只要有临时缓存空间就能达到目的。流媒体技术指在互联网中采用流式媒体传送技术，如：多媒体、视频、音频文件，他在播放前只需要部分的磁盘空间，通过互联网将视频数据存放在计算机内存上，边下边放，只是在开始时有一些延迟，其他的数据流随时传送随时播放，流式传输就是其应用的关键方式。 1.2.1 流媒体的系统网络环境及组成流媒体系统主要由以下部分组成：流媒体播放器：供客户端浏览流媒体文件。流媒体服务器：存放和控制流媒体的数据。流媒体编码工具 ：主要用来剪辑、创建和分析流媒体文件数据，形成流媒体格式，可以由非编软件等来实现。使用网络：适合多媒体传输协议或实时传输协议的网络。1.2.2 媒体服务器硬件平台客户通过装在计算机上的视频播放软件来激发放在视频服务器中的流媒体文件，服务器上安装了流媒体播放服务端，通过特殊的流媒体播放协议来响应客户的交互请求，保持视频流实时不断的发送和播出。根据流媒体的特点，视频信息一般具备实时性和同步性要求，视频流必须以固定的码流进行播放，如果码流不一致会引起画面的抖动和不稳定，如WMV流媒体视频格式一般需要300k以上码流才能保持视频图像的清晰度和稳定性。此外，流媒体视频具有数据量大的特性，根据他在视频服务器上的存储方式，直接关系到视频节目的交互式功能和需求，如视频的快进和快退等功能实现。因此流媒体视频服务端必须解决用户对流媒体视频的各种控制功能需求。当用户打开流媒体播放客户端时，根据流媒体客户端的协议地址和接口自动激发存放在流媒体服务端上的视频文件，通过流媒体视频客户端来收看流媒体节目。如果在流媒体服务端带宽有限的情况下，当一个新的用户申请收看流媒体节目时，服务端会自动根据具体情况来决定是否接受用户请求。其中，系统资源包括网络带宽、内存大小、I/O的带宽和CPU的使用率等情况。1.2.3 媒体服务器软件平台流媒体视软件系统主要包括用户管理模块、发行与管理模块、流媒体制作、流媒体视频服务器。主要涉及流媒体的发行、制作、编码等功能。内容管理主要完成视频存储、查寻；发行模块负责将节目提交到网页，或将视频流地址邮寄给用户。用户管理主要包括用户的登记和授权。当节目量大时，就必须编制数据库管理系。节目不多时可使用文件系统。流媒体视频服务将内容通过直播或点播的方式播放，如果流媒体应用范围广、用户量大，可在不同的区域中心建立流媒体内容分发中心。 1.3现状分析1.3.1 国外流媒体现状分析目前国外流媒体系统主要是由Real公司、微软公司与苹果公司三分天下。REAL和微软公司是比较早的流媒体市场解决方案提供者。亚洲：在亚洲，韩国是一个增长最快的市场，至2002年已经有200万的宽带连接。IDC Japan于2002年6月13日公布了日本影视及音乐流媒体信息内容的市场调查结果。结果显示，2001年日本流媒体市场的规模为84亿日元，到2006年将达到1680亿日元规模，增长约20倍。欧洲：英国调查机构Analysys于2001年1月16日公布了有关流媒体市场的调查结果。该机构预测，2006年西欧流媒体市场规模将从2001年的2500万美元扩大为2亿美元，传输量将以年平均90的速度增长，营业额将以年平均50的速度增长，规模将扩大10倍。美国：国际收视率调查的权威机构Nielsen预测，美国的网络流媒体市场将在2004年达到210亿美元的规模。目前流视频的使用率、新技术的开发速度以及用户对流兴趣的增强表明，美国使用流视频的人数2005年将到达8400万，为业务提供商创收70多亿美元。其中通过用户每月的预订费或每次观看付费获得的收入只占总收入的1/6；广告收入差不多占一半，其中大部分是传统的条幅广告，但多媒体广告也占有一席之地；另外的部分来自公司的赞助和消费者电子商务合同的佣金。在中国的互联网流媒体市场上，已经推出大量的流媒体编解码技术的产品如REAL，WMV，H.264、MPEG-1-2等，推动了流媒体技术的应用和发展。国内厂商没有国外厂商在产品线上的领先，但是在专业领域却有着很好的发展，尤其国内厂商熟悉中国广播电视以及流媒体的实际应用状况，因此国内产品的竞争力也是非同小可的。目前国内的供应商主要有“广电设备专业生产商”捷成科技、“视频产品专业供应商”影佳科技、深圳亿特研究院、思华科技、上海汉唐等。1.4 论文所采用的关键技术1.4.1 J2EE体系结构流媒体系统在开发时采用J2EE体系结构，具有以下优点：(1) 平台无关性：可以根据自身的情况选择合适的硬件、操作系统、数据库。保证系统的开放性。(2) 保护用户投资：当用户更换平台时，由于基于J2EE的系统能方便地移植到其它平台上，而无须重新开发，有效地保护用户的投资。(3) 广泛的支持：J2EE技术规范得到了从国际性大公司到自由软件开发者的广泛支持，SUN，IBM，ORACLE，NETSCAPE，BEA等纷纷推出基于J2EE的软件产品。1.4.2 MVC设计模式根据系统设计魔术，当一个应用系统包括多层代码时，如果不采用比较健壮的设计方法和设计模式，在这种设计模式下，系统会出现大量其他的一场情况或者错误情况，应用程序很容易就成为这些代码的简单混合物。由于系统的各个部分互相依赖，各模块间的强偶合，使得系统的组件代码重用会变得相当的困难及不可实现。这种情况下，当系统任何功能模块出现不稳定状况都会影响整个系统的正常运行，如果要新增一个新的应用模块那么就要对原先的应用模块部分进行重新拷贝和复制黏贴，需要花费大量的重复劳动时间，也会造成系统代码的重复和效率低下，当这样的需求在系统的多个地方提出时，当系统中多出出现此类需求时，这时候系统就会出现很多重复和类似代码，是系统运行效率下降并可能出现这样那样的系统错误和不稳定性。这时候，运用MVC软件开发方法能合理的决绝上述提出的这样那样的问题和困难。运用MVC来说合计系统，能真正实现系统的三层分离即模型层、视图层、控制层的分里面。视图是对软件系统模型层的一些内容的表现和反应，通过视图可以维护模型层的一致性、稳定性和安全性。视图通过业务逻辑层来反应模型层的内容并将它们一一呈现在用户的眼前。在这种业务模式下视图通过对自身业务的扩展来监测业务数据层的模式改变和结构改变，视图根据业务数据的改变能主动并即时的来改变自身的运行状态和表现状态。他能够通过主动模式和被动模式来改变自身的状态以达到适应新情况和新要求的变化和改变。在被动模式下，相应的方法会根据需求的变化来调用当前最新数据时。1.4.3 流媒体技术本系统的设计原则定位在流媒体设计的先进性。以Windows Media Service为基本的流媒体开发平台，它们有充分的技术优势，约占全球最大的流媒体应用。WINDOWS系统的技术优势为：(1) 快速缓冲技术，客户无须下载全部内容，可以边下载边收听、收看；(2) 视频播放增强过滤器：当接收到视频流时，Windows Media Player 使用智能过滤功能以删除无用数据以提高整体视频质量，在低带宽时尤其如此；(3) 智能传输：在网络状况不稳定时，客户端和服务器现在可以智能地降低质量以保证持续播放；(4) 支持高质量的视频服务，可以提供高清晰质量的流媒体服务；(5) 支持电信、运营级别的大并发流媒体服务；(6) 支持无人值守的自动录制；(7) 支持分布式应用；(8) 支持DRM数字版权技术；(9) 支持内容标注，在不改变原文件的情况下产生新的视频段落；以Windows Media Service为核心服务，能很好的完成客户对点播、直播、虚拟直播、嘉宾访谈、内容标注、互动视频、自动录制等服务的需求。1.4.4 基于H.264的集群转码技术H.264实时转码技术采用先进的MPEG-4 AVC /H.264编码算法，基于标清和高清标准设计开发的网络转码技术。系统支持1080i、720p、Full D1、CIF等多种输出分辨率，码流可在300kbps至1Mbps之间调整，适应WEB网络的高清播放和低码流需要。H.264实时转码技术提供标准MPEG-4 AVC /H.264和高清MPEG-4 AVC /H.264两种编码格式。经过优化的MPEG-4 AVC /H.264编码，不仅极大的提高了编码效率，而且，信源在H.264编码过程中，采用了特殊的加密技术，从而更为有效的保护数据传输和播出的安全性。H.264实时转码技术尤其适合在互联网等带宽有限条件下，提供安全、清晰、流畅的视频播出。1.5 论文内容和结构本文将流媒体协议分析入手详细介绍什么事流媒体并运用实例简单分析流媒体协议，接下来本文将从流媒体代理缓存技术开始详细分析流媒体缓存技术的实现和应用，详细分析基于P2P协议的流媒体系统的设计和实现，最后介绍流媒体的视频编码技术，介绍基于H.264的流媒体编码技术的算法和实现。本文组织结构如下：第一章：背景知识的介绍。主要介绍系统的发展现状，系统的设计依据。第二章：通过分析流媒体协议，详细介绍流媒体代理缓存技术及流媒体缓存技术的实现和应用。第三章：详细分析流媒体的视频编码技术，介绍基于H.264的流媒体编码技术的算法和实现。第四章：详细分析基于P2P协议的流媒体系统的设计和实现。第五章：运用实例详细分析流媒体技术的协议。第六章：阐述论文最终的成果，提出进一步改进的设想。1.6 本章小结本章首先介绍流媒体技术的应用背景，然后分析了流媒体技术的关键技术，最后介绍论文研究内容和组织结构及取得的成果。第二章 流媒体代理缓存技术分析2.1 概述随着互联网系统的不断普及以及互联网技术的不断发展，多媒体应用成为互联网应用的主流，随之出现了随着多媒体应用的普遍发展，网络带宽也越来越紧张，导致用户的接入和观看视频的质量也随之下降。代理缓存技术就成为了解决这一矛盾的有效技术之一，所谓代理缓存是将视频数据通过分发的手段将内容发布到离用户最近的服务器中，当用户观看视频时刻解决带宽不够的问题，由缓存提供服务使后续的视频流媒体请求减骨干网络和服务器的负载问题，用于提高对用户的服务质量。如下图2-1所示。媒体服务器骨干网代理服务器骨干网客户客户客户缓存图2-1 部署代理缓存的网络体系结构代理缓存技术作为一种网络技术最初是用在互联网内容的分发和发布啥我那个上。在流媒体应用方面，因为流媒体应用不同于一般的网络应用，它具有以下特点：第一，流媒体的分发需要在一段时间持续占用巨大的网络带宽和磁盘I/O贷款，降低网络的带宽消耗和硬件的资源消耗是流媒体应用的主要内容之一。第二，在流媒体的播放过程中，用户往往要参与到互动中来，网络带宽质量的不同会造成参与效果的不同，对网络缓存的管理带来困难。第三，流媒体作为一种视频技术，在分发时需要占用大量的网络空间，如果能实现流媒体缓存像网页缓存一样，那么将大大提高流媒体的使用效果，如果不能很好进行缓存那么视频流媒体将可能消耗大量缓存空间和带乱，将大大用户的利用率和命中率，影响系统应用。第四，流媒体不同于一般的网页浏览，需要更高的要求比如画面质量要求高，不能老是缓冲，视频画面不能老是抖动，这需要对流媒体服务器上的服务端进行优化和重新配置。2.2 几种典型的流媒体缓存算法2.2.1 基于间隔的缓存算法基于间隔的缓存(Interval Caching) 3 指对同一个流媒体对象之间的时间间隔做缓存处理，通过显著降低服务器的I/O读写率和吞吐量来达到缓存的目的。通过缓存连续请求的间隔部分，这种现象主要出现在对媒体视频对象相同部分的两个连续请求时间。目前该算法已经有很多衍生版本和扩展，最典型的是Tewari提出的基于视频资源的缓存算法4。作为视频资源缓存的约束力条件，主要是缓存空间和传输带宽作为首要条件，针对这种算法和研究，采用了一种启发式的算法作为流媒体应用的缓存粒度进行处理和反应。其粒度可以是临近应用的间隔比如一个片段，一个组合，一个活动的空间等一系列媒体和条件以上应用，称为游程（run)。2.2.2 选择缓存算法在考虑磁盘容量的约束条件下，保证流媒体的正常播放，分别针对骨干链路有无QoS保证时的情形，提出了不同的两种流媒体媒体数据帧选取的缓存算法 1。当骨干链路无QoS保证时，帧选取的原则是使得代理缓存可以为客户端播放缓存提供尽可能多的帧,当骨干链路有QoS保证时，以提高网络拥塞时媒体播放的鲁棒性帧播放选取的原则是使得骨干链路的客户端播放缓存和带宽需求最小。选择缓存算法(Selective Caching)是根据带宽情况对影响媒体播放的关键数据或者内容有选择地缓存。当用户接入带宽资源有限的时候，确保用户观看视频不受影响保持视频的连续行和清晰度是媒体缓存算法的主要实现目标。以部分超速率数据为对象的速率分段缓存算法(Rate-Staged Caching)2,同样以降低和提高骨干链路带宽资源需求为目标，类比于时域上的前缀缓存，速率分段缓存算法也存在如何选取截断速率的问题。有一种算法是不以媒体数据帧为缓存对象，而该算法针对流媒体的流式传输，对高于指定数据传输阈值的媒体数据进行缓存。研究表明，在网络带宽和磁盘容量两个约束下，确定优化的速率是一个复杂问题。2.2.3 基于分段的缓存研究人员开始考虑选取部分的媒体关键内容进行缓存，将媒体内容分成前缀(Prefix)和后缀(Suffix)两个片段部分。有效性依赖于用户请求在时域上的有效性就是基于间隔的缓存算法的主要特点。其性能有可能退化到全对象缓存，当到来请求的时间间隔较长时。前缀缓存可以有效地降低用户播放媒体对象时的启动时延，是目前应用较为广泛的流媒体缓存技术。其不足之处在于媒体前缀部分的长度不容易确定。在等长划分算法中，片段长度的选择是关键，文献7提出基于媒体的受访特性确定等分片段的长度，可以获得比指数分段缓存或者前缀缓存更低的网络带宽占用8。分段缓存算法可以提供较为精细更为普遍的方式是将媒体内容分为多个片段，即基于分段的缓存(Segment based Caching，以下简称分段缓存)。这类策略设基本的存储单位为块(block)则第i个片段由第2i 1，2i 1 + 1，2i 1块构成，片段长度为2i 1个块。缓存粒度，带来更多的灵活性，成为目前主流的代理服务器缓存算法之一。,分段策略是分段缓存的主要研究热点，依据它可以将分段缓存算法分成等长划分和变长划分两类。，由于可以通过一次性丢弃较适应缓存流行度的变化，该算法可以取得比普通的前缀缓存更低的平均启动时延大的后续片段，来和更高的字节命中率。分段缓存将媒体内容沿着播放时间分成多个片段(Segment)，并将片段作为存储和置换的基本单元。变长划分算法的代表是Wu等人6提出的片段长度以指数增长的缓存算法策略，2.2.4 结合编码转换的缓存算法随着互联网环境的不断改善和发展，用户使用的客户端也越来越复杂和高级，对媒体要求也越来越高。结合编码转换技术，动态地改变缓存内容质量和传输速率，根据用户的请求和带宽状况，适应接入网络带宽的不同需求。此类缓存算法可以想不同用户提供不同版本的客户端服务来达到算法的实现具体的方式由以下两种方案构成：(1) 将流媒体的完整文件进行缓存，根据用户的具体请求由处于后端的代理服务器完成缓存。这种方法对服务器的要求非常高，特别是服务器的cpu和内存资源，不能较好的满足用户的需求(2) 这样的存储方式难以满足所有用户对流媒体质量的不同要求，编码转换预先由媒体服务器完成而且会对网络带宽带来较大压力。仅缓存经过编码转换后的流媒体，有人提出了一种自适应的缓存方式9 来解决这两种方案之间的矛盾。该算法依据是根据代理服务器CPU资源和网络带宽资源的状，该算法动态地决定是缓存原始版本还是缓存编码转换后的版本。这种方法的缺点在于可能会对同一个视频对象缓存多个版本，对缓存空间提出了较高的要求。由于代理缓存可向服务器申请不同质量的流媒体版本，媒体服务器仍然必须为此承担编码的负载这种算法只在缓存空间受限的情况下对缓存效率改善明显。Masahirok10等人则建议只为每个媒体对象缓存所得到的最高质量的版本，等同申请（按照用户请求的质量申请），最大申请（根据网络带宽）、三种不同的策略向媒体服务器请求所需内容，但是代理服务器可以灵活地采用平均申请（根据一段时间内用户申请质量的最大值与网络带宽比较，取较小值）。Bo Shen等人11提出了一种可编码转换的缓存系统为了降低媒体服务器的编码负担，采用降低降低比特速率（bit-rate reduction）和空间分辨率（spatial resolution reduction）两种编码转换技术在网络边缘完成质量自适应。根据缓存命中后的行为和缓存版本数量，文献提出了TEC-12，TEC-11，TEC-2三种缓存策略。TEC-1l和TEC-12都只会对同一个缓存对象存储一个版本，TE-11总是缓存最高质量的，而TEC-2则会为同一个缓存对象存储多个版本，不同的是TEC-12总是缓存最低质量的。编码转换技术几乎可以达到实时的效果20，随着信号处理技术和编码理论的发展，大大增加了此类技术的实用性。2.2.5 结合可扩展编码的缓存算法结合视频编码技术算法和视频编码缓存算法，视频的算法、缓存一样可以满足不同网络环境用户的不同需求，但是它利用是可扩展编码的缓存对象。采用分层的比特流结构对媒体数据进行压缩，获得的数据层次越多，解码出来的质量越高可扩展编码通常也称为分层编码，所占用的带宽也越大12。结合可扩展编码的缓存技术的主要思路是通过向不同的客户提供编码数据的不同层次子集来达到质量白适应。第l层称为增强层，其解码依赖于基本层；其余层称为基本层，可以被独立解码。Jussi Kangasharju首先提出了以层为单位Revenue缓存算法13。缓存层次采用启发式算法来决定为每个视频选择什么数量的缓存层次，选择建模为一个随机背包问题。一旦满足条件，视频对象的一层都将整体被缓存。该算法以总体缓存受益为优化目标，以网络带宽和缓存空间为约束，是其以整层作为缓存空间的利用率有待提高，粒度也不够精细，将层次作为基本粒度，该算法充分考虑了约束条件对缓存效率的影响。当缓存内容的质量高于用户的请求（即所缓存的层数高于用户请求的层数）时，Reza Rejaie等人则将每一层划分为等长片段14，代理服务缓存只需要向媒体服务器预取那些同层次或低层次缺失的片段数据，如果缓存内容的质量低于用户的请求，则代理服务器缓存还需要对缺失的高层次数据进行预取。Stefan Podlipnig等人15提出了一个新的性能评价指标用来衡量请求命中率与缓存质量之间的平衡程度，在原有水平和垂直的置换策略的基础上，即质量权重命中率，提出了改进的垂直与水平相结合的置换策略。M.Zink等人提出一种无窗口大小并对可扩展编码缓存算法中的预取算法进行了研究，实验发现，垂直与水平相结合的置换策略可以在改善字节命中率(byte-hit-rate，BHR)和提高质量命中率(quality-hit-rate，QHIT)之间取得较好的平衡且有良好的适应性。如下图2-2所示。图2-2 置换策略他们提出的Polishing 16 限制预取算法，该算法通过预取消除同一层次的裂缝来达到降低缓存内容层次波动的目的。从质量变化频率和幅度两个方面对缓存内容进行了描述，缓存算法的目标是使谱函数值最小的情况下，将尽可能多的缓存片段传送给用户。随着可扩展编码技术的发展，Jiangchun Liu等人针对采用MPEG-4编码的媒体提出了FGS缓存算法17。该算法在粒度划分上进一步克服了原有算法不够精细的缺点，可以将视频对象以任意速率进行传输。该算法以在骨干链路带宽消耗和媒体传输质量之间获得最优折衷为目标，设计了一个良好的缓存管理框架，但预取和置换方案还有待讨论和实现。2.3 各种缓存算法的分析比较根据是否考虑代理服务器和客户端之间网络带宽的差异性，本文将目前的流媒体缓存技术分为针对同构网络用户和异构网络用户两类代理缓存技术，下面我们分别对其进行了比较和分析。由表2-1可见，这类算法普遍存在两方面的矛盾。对基于片段的缓存算法而言，由于片段划分策略通常支持前缀缓存，因此在降低用户启动时延方面有明显优势。片段缓存这两个性能之间也存在着明显的权衡关系11。例如，基于间隔的缓存算法和选择型缓存算法分别以两个性能之一作为各自主要的性能考量，却对另一个性能的改进不明显。一方面，代理缓存算法性能在降低用户体验时延和节省骨干链路带宽的两个性能之间存在着折衷。这类算法中，代理服务器所服务的用户终端一般具有相同或者类似的处理能力和接入带宽，缓存算法的设计难点在于媒体数据缓存部分的选取。上文提到的基于间隔的缓存算法、基于分段的缓存算法、选择缓存算法、均属于针对同构网络用户的范畴。我们对其中具有代表性的算法从在时延和带宽方面、算法扩展性、实现复杂度、进行了比较。Framc-Selected缓存提出的在网络服务质量和缓存容量的约束条件下的帧选取算法具有较高的扩展性，但其实现复杂度也相应提高。另一方面，代理缓存算法存在低高扩展性和复杂度之间的矛盾。例如，如选择缓存中；Interval Caching易于实现，但是其扩展性有限，无法对时间临近度较低的用户请求做出反应；基于间隔的缓存中，RBC提出的多种粒度的间隔缓存提高了算法的扩展性，但是实现：复杂度也相应增加。比较而言，Rate-Staged缓存易于实现，但是其算法扩展性受到阈值选取优化问题的困扰；基于片段的缓存算法的复杂度和扩展性适中，因此获得了广泛的研究者关注。表2-1 针对同构网络用户的代理缓存技术比较算法类别算法名称缓存数据的选取算法复杂度算法扩展性时延性能改进带宽节省改进选择缓存Frame-Selected Caching1超出速率阈值的数据中等中等，速率阈值的选取与场景有关中等中等Rate-Staged Caching2部分数据帧高高中等高基于间隔的缓存Interval Caching3滑动间隔滑动间隔的组合整个媒体中等高高中等Resource based Caching4滑动间隔低低，在请求到来时域稀疏时性能低高中等基于分段的缓存Adaptive and Lazy Caching7长度指数增加的媒体片段中等高高中等Prefix Caching5长度相等的媒体片段高高高高Exponential Segment Caching6媒体初始前缀数据低中等，前缀长度的选取与场景有关高中等结合编码转换的缓存技术主要通过传送不同编码速率版本的视频内容来为不同需求的用户服务，从而在网络带宽、缓存空间、CPU资源之间取得良好的平衡。，结合可扩展编码和编码转换的缓存技术均属于针对异构网络用户的范畴。其研究内容集中在如何对不同版本进行缓存，具体分析如表2-2所示。表2-2 结合编码转换技术的缓存方案比较算法名称策略名称缓存质量依据同目标缓存版本数量编码转换的位置对异构网络的支持资源需求CPU存储空间Adaptive Caching Adaptive Caching9CPU资源和S-P带宽共同决定多个位于代理缓存中高中中高Quality Adaptive Caching10QA(avg)S-P带宽1个最高质量原始服务器代理缓存中高低QA(same)C-P带宽大小1个最高质量原始服务器代理缓存