智能家居系统中远程视频监控的研究与实现.pdf

河北工业大学硕士学位论文智能家居系统中远程视频监控的研究与实现姓名：王治学申请学位级别：硕士专业：物理电子学指导教师：徐晓辉20081001河北工业大学硕士学位论文 i 智能家居系统中远程视频监控的研究与实现智能家居系统中远程视频监控的研究与实现 摘摘 要要 视频监控作为一种传统视频技术与现代通信技术相结合的应用，目前在国内外已引起了越来越多的关注。随着计算机网络技术、多媒体图像压缩技术以及数字通信技术的高速发展，网络视频传输在科研和应用领域均引起人们极大的兴趣，基于网络的数字视频监控系统的应用越来越广泛。它与传统的模拟闭路视频系统相比，具有组网容易、传输距离远、抗干扰能力强、图像质量好、查询简单方便等特点。但是，视频数据量大和网络带宽有限一直是限制视频监控网络化的瓶颈。网络视频监控首先要解决的是视频数据的压缩和实时传输。论文首先简单地描述了智能家居，然后介绍视频监控的发展、现状，并对本课题研究的内容及意义做了说明。论文通过理论和实验的分析，选用 MPEG-4 标准实现了对视频数据的压缩。关于实时传输的问题，确定了适合本系统的网络传输协议 RTP/RTCP 协议，并论述了 RTP/RTCP 协议作为本方案网络传输协议的具体应用。论文最后给出系统的总体设计，介绍了各个模块的组成并对其做了详细的研究。关键词：关键词：远程视频监控，MPEG-4，RTP/RTCP，网络传输 智能家居系统中远程视频监控的研究与实现 ii RESEARCH AND ACTUALIZE ON REMOTE VIDEO SURVEILLANCE AND CONTROL IN SMART HOME ABSTRACT As the combined application of traditional video technique and modern communication technique,video monitoring has drawn more and more attention.Due to the computer network technique and multi-medium image compression technique along with the digital communication technique are developing highly,the digital video transmission by Internet is playing important role in science research and industry areas so that the digital surveillance and control system based on Internet is being applied widelier and widlier.Compared with conventional analog closed-circuit television system,the Internet video system has several advantages such as easy to arrange surveillance system as network and cover larger range.But a mass of video data and finite network bandwidth limit video monitors application on Internet all the time.In video monitor on Internet,what we must solve,firstly,is compressing and real-time transport of video data.In this paper,firstly,smart home is described in brief.Then introduce the present and development on video surveillance and control.Contents and signification of this topic are also described.After contrast in theory and experiment this paper chose MPEG-4 to compress the video data.On the aspect of real-time transport of video data,RTP/RTCP protocol is adopted as the transmission protocol of this system especially RTP/RTCP protocol and its application in the design are analyzed.This paper finally gives the total design of the system,and introduced constitute of each module in detail.KEY WORDS:Remote Video Surveillance and Control,MPEG-4,RTP/RTCP,Network Transmission 河北工业大学硕士学位论文 1 第一章第一章 绪论绪论 1-1 智能家居简介智能家居简介 智能家居（Smart Home）的概念最早出现于美国，它一般指将家庭中各种与信息相关的通讯设备、家用电器和家庭保安装置，通过传输技术连接到一个家居智能化系统上，以实现监视、控制和家庭事务性管理，并保持这些家居设施与住宅环境的和谐与协调。智能家居系统作为一个完整的系统，其结构和功能是相当复杂的，整个系统的构建需要涉及许多方面，但无论如何复杂，其基本思路在于：通过网络把各种家居设备连接起来，实现系统与各种家居设备的双向交流。家居智能化就是由一个智能化系统构成安全、舒适和便利的信息化居住空间，从而适应人们在 21 世纪信息社会中的快节奏和与外部世界保持完全开放的生活环境13。智能家居的发展从人们最初的梦想，到今天真实地走进我们的生活，经历了一个艰难的过程。12000 年是智能家居在中国的一个概念年。通过广播电台、电视、报纸和杂志等诸多媒体的广泛宣传，相当一部分居民已经接受了智能家居这个概念。少数高档的住宅小区已经配套了比较完善的智能家庭网络，并在房地产的销售广告中，已经开始把“智能化”作为其一个“亮点”来宣传4。22002-2003 年，有相当一部分高档和中档的住宅小区和私人住宅，在控制和管理上实现一般意义上的智能化，宽带网进入一般居民的住宅和小区，为智能家庭网络功能的完善佐以一定的条件。随着我国关于智能家庭网络系统的各种标准陆续出台，各种具有一定智能的可以上网的终端产品将根据这些标准陆续研发出来，并进入市场。32003-2004 年，是智能家庭网络系统在中国推广应用的两年。我国自行研制的系统已经较为成熟，并有能力与国外的系统和产品相抗衡。4进入 2005 年以后，我国在智能家居技术领域与欧美国家的差距并不大，仅滞后 2-3 年，在这几年中，我国全面普及智能家庭网络系统和产品，使其开始走进普通居民的家居中57。在这期间，智能住宅的概念在欧美等发达国家得到了广泛的认同和发展。欧洲在 1986 年把集成化的家居系统研究列为尤利卡计划，大力进行研究。在 20 世纪 80 年代，欧洲电器标准化委员会制定了家用数字总线标准，进一步规划了智能住宅技术标准。目前，从智能家居行业的发展上看，主要呈现了下列的发展趋势：1标准化：产品逐渐依照国际上流行的相关协议进行设计，充分保证各厂家产品间的兼容性和相互操作能力，保证产品能不断适应未来发展趋势，具有充分的发展潜力。2开放性：智能住宅、家庭自动化、家电网络等产品不可能全部使用同一厂家生产的产品。因此，家庭自动化系统应该具有开放的协议，统一的接口。3模块化：采用模块化的设计可以适应各种场合的需要，保障用户的利益，并允许系统的逐步到位。模块之间遵循一定的协议，可以相互通讯和协调。智能家居系统中远程视频监控的研究与实现 2 4实用性：人们购买家庭自动化产品是为了享受更加便利舒适的生活，绝非追逐潮流的概念。因此，家庭自动化产品在为用户提供各种实用化的功能和服务方面更进了一步。5普及化：家庭自动化系统应该面向低成本，高性能的目标设计，住户对价格较为敏感，所以智能住宅采用的技术要经济实用。同时，家庭自动化系统应该能最大程度兼容用户原有电器设备，节约用户投资。6简洁易用：高科技带来的应该是一种享受而绝不是一种负担。好的家庭自动化产品应该简便易用、用户界面友好，并且不需要使用者花上太多的精力就能掌握810。在智能家居系统中安防是其不可缺少的一部分。由于我国城市人口膨胀，外来人口的增加及煤气和大量家用电器设备使用中的不安全因素等。对小区居民的生命和财产造成了很大威胁：一方面是人为引起的破坏（如盗窃、抢劫等），另一方面是自然灾害引起的破坏（如火灾、煤气泄漏等）。人们越来越迫切要求采用有效的措施以满足日益增长的安全防范需要。目前，传统的安防是采用防盗门和在窗户上加装防盗网等安全防范措施，难以满足现在人们防止外来威胁的要求。为了更有效保证居民的生命和财产的安全，在住宅和住宅小区内引入了智能化的手段进行安全防范管理。智能住宅的安全防范系统是由安全对讲系统、防盗报警系统、防火（火灾报警）系统和防煤气泄漏系统等组成，该安全防范系统是家庭、住宅小区防范外来侵害和自然灾害的一种最重要的、最有效的手段，它大大提高了居民自身的安全感，它已成为社会治安的一个重要组成部分。因而，安全防范系统是智能家居自动化系统中必不可少的一个子系统，它为人们创造出一个安全舒适的生活环境11,12。在安防系统中视频监控又是一种很直接、实用的方式。从上世纪后期开始视频监控也经历了长时间的发展：传统的方式都有各自的不足，本课题所研究的是最新一代的监控系统。在人们对家居安全的需求日益增长的前提下，本文对智能家居安防方面的远程视频监控系统做了详细研究。1-2 课题的发展和研究现状课题的发展和研究现状 1-2-1 课题的发展课题的发展 视频监控系统是随着电视和摄像机的发展逐步成长起来的。从传统的一对一监控系统到多路切换控制系统，微处理系统，多媒体监控系统，发展到现在的数字视频监控系统，是一个从模拟到数字化的转化过程，是不断深入结合计算机技术的过程。它大致经历了 3 个阶段：模拟视频监控系统、准数字视频监控系统和数字视频监控系统13。1-2-1-1 模拟视频监控系统模拟视频监控系统 在上世纪 90 年代以前，主要是以模拟设备为主的闭路电视监控系统（CCTV），称为第一代视频监控系统。这种系统从出现到现在经历了几十年的发展，可以说技术已经相当成熟了，但是它也存在着一些不足之处，主要有以下几个方面：1设备异常复杂，扩展性差：布线工程量大，系统的扩展能力差。对于已经建好的系统，如要增加新的监控点，往往是牵一发而动全身，新的设备也很难添加到原有的系统之中。河北工业大学硕士学位论文 3 2数据采集和保存困难：模拟视频监控系统大多采用录像机作为存储工具，磁带作为存储介质，这种方法不仅记录信息量有限，数据的存储会耗费大量的存储介质（如录像带），而且磁带易变形，磁头、磁带间磨损大，加上采用模拟信号方式记录读取，失真严重，重放的音像质量远不能满足现场的要求，查询取证十分烦琐。3监控范围小：通常只适合于小范围区域监控。因为模拟视频信号的传输工具主要是同轴电缆，而同轴电缆传输模拟视频信号的距离不大于 1Km，双绞线的距离更短，这就决定了模拟监控只适合于单个大楼、小的居民区以及其它小范围的场所。这就说明它只能在本地进行监看，不支持图像的远程传输，所以它已经越来越不能适应时代与用户需求的发展速度。1-2-1-2 准数字视频监控系统准数字视频监控系统 它是基于 PC 机的数字硬盘录像系统（DVR）。它的出现弥补了第一代模拟视频监控系统监控范围小、不能远程监控、图像质量差等不足之处。但是这种系统操作复杂、价格昂贵、会造成资源的浪费，同时扩展性也比较差，并且这种监控系统是基于 Windows 操作系统的，所以它的稳定性欠佳可能导致系统死机现象。1-2-1-3 数字视频监控系统数字视频监控系统 该系统是以网络为依托，以数字视频的压缩、传输、储存和播放为核心的，前端主要设备是摄像机和视频服务器。前端只需要一个电源和一个网络接口就能接入网络进行视频远程传输。它的工作原理是：对摄像机传送来的视频信号进行数字转换后，使用高效的编码芯片（或软件压缩算法）进行视频压缩，然后把处理后的视频发送到网络上，网络上的用户可以直接使用监控终端软件收看监控现场的视频，授权用户还可以控制摄像机云台镜头的动作或对系统进行配置。通过它的工作原理我们可以看出这种系统扩充简易、易于管理和维护、即插即用，省掉了各种复杂的电缆，安装方便，无需专人值守。在监控终端，远程监控人员只需拥有一台安装了监控终端软件的计算机，无需安装特殊的硬件设备，就可以在任何地方对监控现场进行实时远程监控。这样就大大降低了系统的成本，极大的方便了整个监控系统的操作和维护1416。正是由于这个系统存在诸多不可比拟的优点，符合信息化、智能化、网络化的发展方向，使得数字监控系统取代模拟监控系统成为必然。1-2-2 课题的研究现状课题的研究现状 当前，国际上一些权威期刊如IJCV（International Journal of Computer Vision）、CVIU（Computer Vision and Image Understanding）、PAMI（IEEE Trans.On Pattern Analysis and Machine Intelligence）、IVC（Image and Vision Computing）和重要的学术会议如 ICCV（International Conference on Computer Vision）、CVPR（IEEE Computer Society Conference on Computer Vision and Pattern Recognition）、ECCV（European Conference on Computer Vision）、IWVS（IEEE International Workshop on Visual Surveillance）等将智能监控中运动检测和事件识别作为主题内容之一，为该领域的研究人员提供了更多的交流机会。国外许多大学和研究机构在对运动目标的检测和跟踪研究方面，已经研制出了一些比较成熟的目标检测和跟踪系统，并且取得比较理想的效果。美国国防高级研究项目署（DARPA）于 1997 年资助卡内智能家居系统中远程视频监控的研究与实现 4 基梅隆大学、戴维 SARNOFF 研究中心等著名大学和公司合作，联合研制了视频监视与监控系统 VSAM（Video Surveillance and Monitoring）。目标是开发自动视频理解技术，用于实现未来战争中人力监控费用昂贵、非常危险或者人力无法实现等场合的监控。VSAM 是一个战场监控系统，主要功能包括对监控地区进行全方位的昼夜监控，通过先进的视频分析处理器实现智能化监控，根据运动对象行为的危害性进行自动提示和报警等。VSAM 不但能进行一般性的军事安全监控，如军事基地、军械弹药库和边海防监控，而且能够进行局部战争场景的实时监控。在欧洲，CROMATICA（Corwd Management with Telemetric Imaging and Communication Assistance）系统主要用于地铁站内的监控，可以发现反常的人流（如过度拥挤），铁轨上异物出现的危险情况，并以声光等多媒体方式通知监控人员，或根据预先设置的处理程序进行相应处理。英国雷丁大学已开展了对车辆和行人的跟踪及其交互作用识别的相关研究。Haritaoglu 等人开发的实时视觉监控系统不仅能够定位人和分割出人的身体部分，而且通过建立外观模型来实现多人的跟踪，并可以检测人是否携带物体等简单行为。面对全球反恐形势下智能视频监控领域的市场中出现的巨大空缺，国外许多大型企业和研究机构也纷纷投入大量人力财力来开发功能先进的智能视频监控系统17,18。在这一领域中处于世界顶级水平的有：1美国 Vidient 公司推出的 SmartCatch 系统。该系统的主要特点是通过使用先进的机器学习、多物体跟踪和行为推理技术，能够提供包括周边入侵、人群密度、滞留物品等十余种事件的准确监测，准确率高达 94%以上。该系统主要应用于机场安防监控，如美国旧金山国际机场，美国圣地亚哥国际机场、德国法兰克福国际机场，美国交通安全管理局等等。智能视频监控系统 SmartCatch 荣获美国 2005年 Frost Sullivan 产品创新大奖。2法国 Visio Wave 公司提供的 Visio Wave 视频监控系统。该系统除了具备一定的运动监测技术之外，高效的视频压缩、智能化的利用网络和灵活的存储归档机制也是这一系统的特色。Visio Wave 先后赢得巴黎、纽约、伦敦三大地铁的智能视频安防项目，其中纽约地铁项目摄像头的数量达到了惊人的25000 个。3美国 EMW 公司推出的 IVM 智能视频监控系统。该系统运用先进的视频图像处理技术，能够实时、自动地监视、识别、跟踪在摄像机画面内发生的潜在威胁事件，并能够进一步地侦测多种事件和行为。IVM 系统已经应用于美国五角大楼的安防系统，并作为美国在伊拉克军事行动的一部分保卫美国在伊拉克的军队，其作用主要是提供边界入侵预警功能。未来的监控系统将呈现更完美的趋势，可以归结为“5W”，即任何一个授权者（whoever）在任何时候（whenever）、任何地点（wherever），能通过任何一种手段方式（however），获取任何一个被控对像（人或物）（whichever）的任何信息（whatever）（图像、声音、等），形成一个高度智能的监控网。这是未来监控的理想模式。移动通信的高速发展，人们通过手机也可以随时随地的监看监控点，并发送特定的指令，遥控远端的监控点，真正地实现监控的远程化。现阶段，无线通信技术与视频监控技术的结合还处于初始阶段，相信随着移动通信技术与 IPv6 技术的商用实用化之后，未来的视频监控真正实现数字化、网络化、智能化19。河北工业大学硕士学位论文 5 1-3 课题背景和意义课题背景和意义 本课题是在近年来智能家居系统应用越来越广泛的大背景下就行研究的。视频监控是智能家居系统下安防子系统中不可缺少的一部分。所以课题的研究是十分有意义的。近年来，视频监控在各行各业得到了广泛的应用，生活中有小区安全监视，实验室也有实验室监视，交通方面有违章和流量监视，医疗监护系统有医疗监视等等。从功能上讲，视频监视可用于安全防范、信息获取和指挥调度等方面。在军事、交通、金融等对图像质量要求较高的领域，一般采用专业的摄像机作为前端设备，视频数据可通过光端机传输，也可以在计算机上安装不同分辨率的视频采集卡，将视频数据压缩后通过计算机网络进行传输。这类系统投入较大，对硬件和软件的要求也较高。而另一类系统只需在微机上增加摄像头和相应的软件系统，就可实现功能强、价格低、性能可靠的数字化小型监视系统。这类系统一般应用在小区，家庭或是特定领域的环境中，投入小，使用方便，用户可以通过计算机网络随时查看前端摄像头传递过来的图像。本课题研究建立一个对家居环境进行远程监控，实现家居智能化的系统。远程监控是指远端的监控系统通过通信系统对现场的系统进行监测与控制，其目的在于突破地域和环境上的限制，实现集中和高层监控，最终实现生产资源和社会资源的优化配置。现代远程监控技术是计算机技术、通信技术、网络技术和监控技术的结合，是信息技术与控制技术的集成20。本课题研究了一种脱离传统的 PC 机的远程视频监控系统，此系统更方便实用。但是这种基于网络的远程视频监控系统必须要考虑两个最重要的因素。第一，视频数据量的大是惊人的。这就必须考虑到实际的带宽不能无限大，都有一个上限，所以要对原始的视频进行压缩，否则视频是很难向网络上传输的。第二，如何在现有的条件下选择合适的传输协议和传输模块也是一个重要的因素。论文主要就是对这两个方面进行研究和实验。随着现代电子技术的飞速发展，此系统以其更加稳定、廉价、高效的优势，开始在数字视频系统领域逐步取代 PC 机的地位，并会有更广阔的前景。1-4 论文的研究内容和结构安排论文的研究内容和结构安排 1-4-1 论文的研究内容论文的研究内容 由于第三代视频监控系统是基于网络的，所以有两个方面是必须要考虑的：一是视频的压缩，二是在网络上实时传输。所以本文的主要研究内容如下：通过对比现有流行的视频压缩标准从而选定适合本系统的标准MPEG-4。之后阐述了 MPEG-4 图像编码系统的原理，比对关键技术进行了系统分析，并实现了视频的压缩。为了满足实时传输的要求，视频传输协议采用 RTP/RTCP 协议。整个系统采用典型的 C/S 结构，由客户端与服务器端两部分构成。服务器端包括：视频信号捕获部分；视频信号压缩部分；视频信号远程传输部分。本文最主要的工作是对视频压缩和数据上网进行研究和工作。智能家居系统中远程视频监控的研究与实现 6 1-4-2 论文的结构安排论文的结构安排 全文结构共分五章：第一章首先简单介绍了智能家居的概念，并引出与本课题（网络视频监控）的紧密联系，同时对视频监控系统的发展和意义做了详细的介绍，并对本文的选题做了说明。第二章首先介绍了视频压缩的意义，然后对目前最主流的两种视频压缩标准（MPEG 系列和 H.26x系列）进行描述、分析和比较从而选定了适合本课题的压缩标准 MPEG-4 标准。第三章介绍网络传输协议。由于传统的 TCP/IP 等协议在视频传输中的局限性，所以选择了适合本课题的 RTP/RTCP 和 UDP 等协议，并对这些协议详细介绍。第四章是系统的总体设计，根据系统框图对每个部分做介绍：主要有视频音频采集部分，处理部分，网络部分以及存储部分等。并分析了每部分的原理和应用，同时对各个部分主芯片做了介绍，并实现了数据向网络上的传输。第五章对全文做总结和展望。河北工业大学硕士学位论文 7 第二章第二章 视频压缩标准视频压缩标准 2-1 视频压缩意义及应用前景视频压缩意义及应用前景 数字图像中包含的数据量十分庞大，庞大的数据量无疑给存储器的存储容量、通信干线的信道传输率以及计算机的运算速度都带来了极大的困难，成为多媒体技术发展的瓶颈。例如，当分辨率为 640480的 NTSC 制式的图像以 24bit/s 像素，每秒 30 帧的质量传输时，则视频数据有 6404802430=221Mb/s或 28MB/s。然而这样庞大的数据流对大多数传输线路来说是无法承受的，而且也是无法存储的。解决这一问题的办法单纯用扩大存储器容量、提升通信干线的传输率是不现实的，数据压缩技术才是行之有效的方法21,22。通过对视频数据的分析发现，原始视频数据存在的冗余度为数据压缩的实现提供了可能。首先，对于每帧图像数据存在很大的空间冗余，视频图像帧内临近像素之间是空域相关的。其次，对于由每秒30 帧组成的视频序列信号，其相继帧之间也具有较强的相关性，即存在时间冗余。例如，对于电视中的演讲人图像序列，相邻帧之间可能只有由头部、眼部、嘴部的微小变动而引起的细小差别。再次，因为在多媒体系统的应用领域中，人是主要接收者，眼睛是图像信息的接收端，这样就有可能利用人的视觉对于边缘急剧变化不敏感（视觉掩盖效应）和眼睛对图像的亮度信息敏感、对颜色分辨率弱的特点实现高压缩率，从而使由压缩数据恢复的图像信号仍有满意的主观质量。一旦优秀的视频压缩技术投入使用，它将在低成本、较低速率要求、有限带宽的条件下得以动态实时地处理高质量的运动图像，它将对社会产生深远的影响并具有广阔的应用领域。多媒体与互联网相结合，使得多媒体通信系统能提供可视通信、远程监控、远程教学、集中图像管理和声像资料联网传输等功能，利用多媒体计算机系统进行教育、训练、演示、咨询、家庭娱乐等，将常规电视数字化及制造高清晰度电视（DHTV）、交互式电视系统等，而当前多媒体市场的繁荣也证实着这种发展前景正一步步向人们走近。为此人们开始研究视频、音频数据的压缩算法，很多压缩编码标准相继推出，本章将对目前应用最广泛的 H.26X 和 MPEG 系列进行介绍。2-2 H.26x 系列标准系列标准 H.26X 系列标准包括 H.261、H.263、H.263+、H.264 和 H.265。2-2-1 H.261 H.261 是 ITU-T（ITU Telecommunications Standardization Sector）视频编码专家组于 1988 年为在综合业务数字网（Integrated Services Digital Network）上开展双向声像业务（可视电话和视频会议）而制定的，速率为 64kbps 的整数倍。H.261 只对 CIF 和 QCIF 两种图像格式进行处理，每帧图像分成图像层、智能家居系统中远程视频监控的研究与实现 8 宏块组（Group Of Block）层、宏块（MacroBlock）层、块（Block）层来处理。H.261 是最早的运动图像压缩标准，它详细制定了视频编码的各个部分，包括运动补偿的帧间预测、离散余弦变换、量化、熵编码，以及与固定速率的信道相适配的速率控制等部分。H.261 使用了混合编码框架，编码时基本的操作单位称为宏块。H.261 在实时编码时比 MPEG-1 所占用的 CPU 运算量少得多，此算法为了优化带宽占用量，引进了在图像质量与运动幅度之间的平衡折中机制，也就是说，剧烈运动的图像比相对静止的图像质量要差，因此这种方法是属于恒定码流可变质量编码而非恒定质量可变码流编码。2-2-2 H.263 H.263 是国际电信联盟于 1996 年设计的一个标准草案，是为低码流通信而设计的。但实际上这个标准可用在很宽的码流范围，而非只用于低码流，它在许多应用中可以认为被用于取代 H.261。H.263的编码算法与 H.261 一样，但做了一些改善和改变，以提高性能和纠错能力。H.263 标准在低码率下能够提供比 H.261 更好的图像效果，两者的区别有：（1）H.263 的运动补偿使用半像素精度，而 H.261则使用全像素精度；（2）数据流层次结构的某些部分在 H.263 中是可选的，使得编解码可以配置成更低的数据率或更好的纠错能力；（3）H.263 包含四个可协商的选项以改善性能；（4）H.263 采用无限制的运动向量以及基于语法的算术编码；（5）H.263 采用事先预测和与 MPEG 中的 P 帧和 B 帧一样的帧预测方法；（6）H.263 支持 5 种分辨率，即除了支持 H.261 中所支持的 QCIF 和 CIF 外，还支持 SQCIF、4CIF 和 16CIF，SQCIF 相当于 QCIF 一半的分辨率，而 4CIF 和 16CIF 分别为 CIF 的 4 倍和 16 倍。H.263 无限制的运动向量模式允许运动向量指向图像以外的区域。当某一运动向量所指的参考宏块位于编码图像之外时，就用其边缘的图像像素值来代替。当存在跨边界的运动时，这种模式能取得很大的编码增益，特别是对小图像而言。另外，这种模式包括了运动向量范围的扩展，允许使用更大的运动向量，这对摄像机运动特别有利。H.263 先进的预测模式允许一个宏块中 4 个 88 亮度块各对应一个运动向量，从而提高了预测精度；两个色度块的运动向量则取这 4 个亮度块运动向量的平均值。补偿时，H.263 使用重叠的块运动补偿，88 亮度块的每个像素的补偿值由 3 个预测值加权平均得到。使用该模式可以产生显著的编码增益，特别是采用重叠的块运动补偿，会减少块效应，提高主观质量。H.263 算法还可以被开发人员进行二次开发，以产生更好的结果和更佳的压缩方案，而这反过来为最终用户在选择最适合他们业务应用的 H.263 实现中提供了更多的选择。H.263 的编码速度快，其设计编码延时不超过 150ms，其编码码率低，在 512kbps 乃至 384kbps 带宽下仍可得到相当满意的图像效果，特别适用于需要双向编解码并传输的场合和网络条件不是很好的场合。目前，H.263 编码是 IP 视频通信采用最多的一种编码方法，并已被许多多媒体通信终端标准所吸收，如：ITU-TH.310（B-ISDN）、H.320（ISDN）、H.324（PSTN）、H.323（LAN、WAN、Internet）23。2-2-3 H.263+ITU-T 在 H.263 发布后又于 1998 年修订发布了 H.263 标准的版本 2 非正式地命名为 H.263+标准。它在保证原 H.263 标准核心句法和语义不变的基础上，增加了若干选项以提高压缩效率或改善某方面的河北工业大学硕士学位论文 9 功能。原 H.263 标准限制了其应用的图像输入格式，仅允许 5 种视频源格式。H.263+标准允许更大范围的图像输入格式，自定义图像的尺寸，图像时钟频率也有多种选择，从而拓宽了标准使用的范围，使之可以处理基于视窗的计算机图像、更高帧频的图像序列及宽屏图像。为提高压缩效率，H.263+采用先进的帧内编码模式；增强的 P 帧和 B 帧模式改进了 H.263 的不足，增强了帧间预测的效果；去块效应滤波器不仅提高了压缩效率，而且提高重建图像的主观质量。为适应网络传输，H.263+增加了时间分级、信噪比和空间分级，对在噪声信道和存在大量包丢失的网络中传送视频信号很有意义；另外，片结构模式和参考帧选择模式增强了视频传输的抗误码能力。2-2-4 H.264 H.264 是由 ISO/IEC 与 ITU-T 组成的联合视频组（Joint Video Team）制定的新一代视音频频压缩编码标准。事实上，1996 年制定 H.263 标准后，ITU-T 的视频编码专家组（VideoCoding Experts Group）开始了两个方面的研究：一个是短期研究计划，在 H.263 基础上增加选项；另一个是长期研究计划，制定一种新标准以支持低码率的视频通信。长期研究计划产生了 H.26L 标准草案，在压缩效率方面与先期的 ITU-T 视频压缩标准相比，具有明显的优越性。2001 年，ISO 的 MPEG 组织认识到 H.26L 潜在的优势，随后 ISO 与 ITU 开始组建包括来自 ISO/IEC MPEG 与 ITU-T VCEG 的 JVT，JVT 的主要任务就是将 H.26L 草案发展为一个国际性标准。于是，在 ISO/IEC 中该标准命名为 AVC（Advanced Video Coding），作为 MPEG-4 标准的第 10 个选项，在 ITU-T 中正式命名为 H.264 标准。H.264 和 H.261、H.263 一样，也是采用离散余弦变换编码加差分脉冲编码调制，即混合编码结构。同时，H.264 在混合编码的框架下引入了新的编码方式，提高了编码效率，更贴近实际应用。H.264 没有繁琐的选项，而是力求回归基本，它具有比 H.263+更好的压缩性能，又具有适应多种信道的能力。H.264 的应用目标广泛，可满足各种不同速率和不同场合的视频应用，具有较好的抗误码和抗丢包的处理能力。H.264 的基本系统无需使用版权，具有开放的性质，能很好地适应 IP 和无线网络的使用，这对目前因特网中传输多媒体信息和移动网中传输宽带信息等都具有重要意义。尽管 H.264 编码基本结构与 H.261 和 H.263 是类似的，但它在很多环节做了改进，主要有：（1）多种更好的运动估计；（2）块的变换；（3）更精确的帧内预测；（4）统一的变长编码。H.264 标准压缩系统由视频编码层（Video Coding Layer）和网络提取层（Network Abstraction Layer）两部分组成。VCL 中包括 VCL 编码器与 VCL 解码器，主要功能是视频数据编码和解码，它包括运动补偿、变换编码、熵编码等。NAL 则用于为 VCL 提供一个与网络无关的统一接口，它负责对视频数据进行封装打包后使其在网络中传送，它采用统一的数据格式，包括单个字节的包头信息、多个字节的视频数据与组帧、逻辑信道信令、定时信息、序列结束信号等。包头中包含存储标志和类型标志，存储标志用于指示当前数据不属于被参考的帧，类型标志用于指示图像数据的类型。VCL 可以传输按当前的网络情况调整的编码参数。新的快速运动估值算法UMHexagonS（中国专利）是一种运算量相对于 H.264 中原有的快速全搜索算法可节约 90以上的新算法，全名叫非对称十字型多层次六边形格点搜索算（Unsymmetrical-Cross Multi-Hexagon-grid Search），这是一种整像素运动估值算法。由于它在高码率运动图像序列编码时，在保持较好码率失真性能的条件下，运算量十分低，已被 H.264 标准正式采纳。智能家居系统中远程视频监控的研究与实现 10 H.264 不仅比 H.263 节约了 50的码率，而且对网络传输具有更好的支持功能。它引入了面向 IP包的编码机制，有利于网络中的分组传输，支持网络中视频的流媒体传输。H.264 具有较强的抗误码特性，可适应丢包率高、干扰严重的无线信道中的视频传输。H.264 支持不同网络资源下的分级编码传输，从而获得平稳的图像质量。H.264 能适应于不同网络中的视频传输，网络亲和性好。H.264 标准使运动图像压缩技术上升到了一个更高的阶段，在较低带宽上提供高质量的图像传输是 H.264 的应用亮点。H.264 的推广应用对视频终端、网守、网关、多点控制单元等系统的要求较高，将有力地推动视频会议软硬件设备在各个方面的不断完善24。2-2-5 H.265 随着 H.264 的成熟，ITU-T VCEG 开始规划 H.265 标准的制订，其标准将会在 2008-2010 年公布。关于新算法，专家的看法是：在运动预测方面，下一代算法可能不再采用宏块的画面分割方法，而可能采用面向对象的方法，直接辨别画面中的运动主体。在变换方面，下一代算法可能不再沿袭基于傅立叶变换的算法族，有很多文章在讨论，其中所谓的“超完备变换”，主要特点是：其 MN 的变换矩阵中，M 大于 N，甚至远大于 N，变换后得到的向量虽然比较大，但其中的 0 元素很多，经过后面的熵编码压缩后，就能得到压缩率较高的信息流。关于运算量，H.265 的压缩效率比 H.264 提高了 1 倍多，其代价是计算量提高了至少 4 倍，导致高清编码需要 100 GOPS（Giga Operations Per Second）的峰值计算能力。尽管如此，仍有可能使用目前的主流 IC 工艺和普通设计技术，设计出达到上述能力的专用硬件电路，且使其批量生产成本维持在原有水平。因此，500 GOPS 或许是新一代技术对于计算能力的需求上限。2-3 MPEG 系列系列 MPEG（Moving Picture Expert Group）即：活动图像专家小组。它是国际标准化组织（ISO）和国际电工委员会（IEC）联合技术委员会（JTCI）的 29 分会（S29）的第 11 工作组（WG11），工作组的全称是：WG11 of SC29 of ISO/IEC JTCI。该小组成立于 1988 年，经过十几年卓有成效工作，为多媒体计算机系统、运动图像压缩编码标准的制定和实用化做出了巨大贡献。组织成立的最初任务是实现：1.5Mbit/S、10Mbit/S、40Mbit/S 压缩标准，即 MPEG-1、MPEG-2、MPEG-3，但由于 MPEG-2 的功能已使 MPEG-3 成为多余而被取消。199