基于RTSP协议网络监控系统的研究与实现.pdf
茅炎菲，黄忠东：基于 RTSP 协议网络监控系统的研究与实现2011,Vol.32,No.725230引言信息化科技、网络技术的迅猛发展，使得越来越多的多媒体应用走进了人们的生活，包括视频会议、网络视频监控、远程教育等，给人们的生活，工作以及其他各个方面带来了巨大的帮助和便利。本文关注的是基于网络的视频监控系统，在现代行业的安全性方面发挥着越来越重要的作用，尤其是在大型超市、工厂等行业有着广泛的应用。可以说，基于互联网的视频监控系统已经开始普遍应用到各行各业。随着监控系统媒体质量的需求不断的增加，在低带宽限制情况下传输高质量图像信息已经成为监控系统的一大难题。市场上主流的监控系统一般比较普通，在监控画质方面，视频存储方面，移动式网络监控方面存在一定的缺陷。基于RTSP实时传输协议，结合H.264多媒体压缩标准的监控系统，充分解决了监控画质，视频存储方面的缺陷。本文作者主要针对该监控系统进行研究分析设计。1网络监控系统技术介绍1.1RTSP 协议格式实时流协议 RTSP(real time steaming protocol)是一个被广泛支持的处理流媒体传输的协议，它建立并控制一个或几个时间同步的连续性流媒体。尽管连续流媒体流与控制流有可能交叉，但 RTSP 本身通常并不发送连续媒体流1。换而言之，RTSP 充当多媒体服务器的网络远程控制。RTSP 消息由客户端到服务器的请求和由服务器到客户端的回应组成。请求(Request)和回应(Response)消息都使用RFC822中实体传输部分规定(作为消息中的有效载荷)的消息格式。这两者的消息都可能包括一起始行、一个或多个标题域(header)、一行表示标题域结束的空行(CRLF)和一个消息主体(message-body)。RTSP 消息请求格式如图 1 所示。其中，Method 表示请求的命令，包括 DESCRIBE、OPTION、PAUSE、PLAY、RECORD、SETUP、SET_PARAMETER、TEARDOWN 等。Request-URI 表示请求的媒体资源地址，Version 表示使用协议的版本号。各元素间以空格(SP)分隔，除了结尾的 CRLF 外，不允许出现单独的 CR 或 LF 符号。RTSP 消息应答格式如图 2 所示。除了状态行之外，应答消息和请求消息的格式相同。其中，Status-Code 由 3 位数字组成，用于回应请求时表示主机状态。Reason-Phrase 表示一个对于状态码的文本描述。收稿日期：2010-08-23；修订日期：2010-10-25。作者简介：茅炎菲(1983)，女，浙江湖州人，硕士研究生，研究方向为金融信息学、网络、数据库；黄忠东(1968)，男，江苏无锡人，博士，副教授，研究方向为 CIMS、信息集成、数据库等。E-mail：基于 RTSP 协议网络监控系统的研究与实现茅炎菲，黄忠东(浙江大学 计算机科学与技术学院，浙江 杭州 310027)摘要：针对当前主流的监控系统受网络带宽的限制等问题，提出了在有较好扩展性的实时流协议基础上实现的网络监控系统。分析讨论了实时流协议的协议格式、特点和参数，并介绍了 H.264 编解码技术，基于开源项目 Live555 实现了多媒体服务端，具备网络监控系统的实时播放和回放模式。与基于 HTTP 协议的网络监控系统进行性能比较，在针对帧率和花屏等方面有了大幅度提高。关键词：实时流协议;网络监控;Live555;流媒体;帧中图法分类号：TP393文献标识码：A文章编号：1000-7024(2011)07-2523-04Research and design of web DVR system based on real-time streaming protocolMAO Yan-fei,HUANG Zhong-dong(College of Computer Science and Technology,Zhejiang University,Hangzhou 310027,China)Abstract：Web DVRsystembased on a betterscalability real-time streaming protocol in the market monitoring system is proposed whichconstrant by network bandwidth.First,the real-time streaming protocol s format,characteristics and parameters are discussed,andthe H.264 codec technology is described.Then,the open source project of Live555 is used to develop media services and implementthe web DVR system,which contain real-time mode and playback mode.Finally,comparison with the performance of web DVRbasedon HTTP protocol,the results show that methodologist and strategies are feasible.Key words：RTSP;web DVR;Live555;streaming media;frame计算机工程与设计Computer Engineering and Design25242011,Vol.32,No.7计算机工程与设计 Computer Engineering and Design1.2RTSP 状态机RTSP在设计的时候参考了HTTP的内容，RTSP同其下的RTP/RTCP 的关系类似于 HTTP 同 TCP 的关系。但是仍然存在很多差异。RTSP 是一个持续的连接，即在整个流媒体点播和回放过程中，Client 和 Server 一直保持着连接。因此，无论Client 和 Server 都可以是有状态的；而 HTTP 则是无状态的，HTTP 的状态信息需要由其他辅助信息，如 Cookie 等来实现。RTSP 并不是使用 RTP/RTCP，而是操纵他们，本身仍然使用TCP 协议。而 HTTP 则使用 TCP 传输。可以认为在整个媒体点播和回放过程是一个 Session，Session 体现了一个状态机，Client 和 Server 各有一个状态机，如表 1 所示。Serve 的状态机同样包含以上 4 个状态，状态转换规则也相同，但是其对象和语义有差别。由于借鉴 HTTP、RTSP的协议文本格式同 HTTP 相似，准确的说应该是使用了RFC822，每行文本由CRLF隔开。第一行是Request/ResponseLine，Request Line同样是由 组成，Response Line 则是 。Request中Method表示着请求的动作，主要有SETUP、PLAY、PAUSE、TEARDOWN 等，Server 当收到来自 Client 的请求是可以根据提供的方法名做动作，有的动作对 Server/Client 的状态有影响，有的则没有，关于每个方法的语义描述构成了RTSP 协议的主要内容4。1.3H.264H.264是一种高性能的视频编解码技术5。H.264是由ITU-T和ISO两个组织联合组建的联合视频组(JVT)共同制定的新数字视频编码标准。H.264 在制定时就充分考虑了多媒体通信对视频编解码的各种要求，并借鉴了 H 系列和 MPEG 系列视频标准的研究成果，因而具有明显的优势。H.264 最大的优势是具有很高的数据压缩比率，在同等图像质量的条件下，H.264 的压缩比是 MPEG-2 的 2 倍以上，是 MPEG-4 的 1.52 倍。H.264 压缩技术大大节省用户的下载时间和数据流量收费。在具有高压缩比的同时 H.264 还拥有高质量流畅的图像。2网络监控系统的实现2.1系统整体结构市场上主流的监控系统，虽然集成了网络监控系统和本地监控系统，但是它的网络监控系统受网络带宽限制，每秒传输的数据量有限。这些监控系统的网络监控模块在数据传输上采用 HTTP 协议传输JPEG(jointphotographicexpertsgroup)数据流，在网络端重新生成 JPEG 图像，并且被网络显示端定时刷新，只能达到每秒一帧的效果，从而导致网络端实时和回放的监控画面不流畅不清晰。假设用户同时开启多个监控窗口，图像信息传输流量剧增，网络控制可能会进行丢帧，导致多个监控窗口出现花屏现象。本文在市场上流行的监控系统的基础上，提出了基于RTSP 协议的网络监控系统。主要的实现在 PC 端和 Client 端。该系统架构图的主要软件模块如图 3 所示，包括本地监控端，采集卡模块，Media 服务端和网络监控器。本地监控端包括采集卡模块和 Media 服务端，它的主要功能是在本地计算机观看实时模式和回放模式下的视频图像。采集卡捕获UYVY图像信息并被保存到本地计算机的临时文件夹下，同时触发一个检测动作的线程，判断在监控摄像头前表 1Client 状态机EventTargetInitSETUPTEARDOWNReadyInitReadyPLAYRECORDTEARDOWNSETUPPlayingRecordingInitReadyPlayingPAUSETEARDOWNPLAYSETUPReadyInitPlayingPlayingRecordingPAUSETEARDOWNRECORDSETUPReadyInitRecordingRecording图 1RTSP 消息请求格式Message-BodyCR一个或多个标题域LFRequest-HeaderCR LFRequest-HeaderSPSP CR LF起始行消息主体(可选)图 2RTSP 消息应答格式Message-BodyCR一个或多个标题域LFResponse-HeaderCR LFResponse-Header SP SP CR LF起始行消息主体(可选)图 3基于 RTSP 网络监控系统架构本地监控端回放视频储存视频AVI/H.264 编码实时图像采集卡UYVY数据Media服务端RTSP网络端播放器网络监控端茅炎菲，黄忠东：基于 RTSP 协议网络监控系统的研究与实现2011,Vol.32,No.72525是否有物体移动，如果有，采集卡模块会将捕获的UYVY图像进行 H.264 编码，最后产生 AVI 格式的视频文件，作为以后回放监控的视频来源。在网络实时监控时，采集卡模块将 H.264的视频存放到共享内存，作为Media服务端的数据来源。Media服务端的主要功能是向网络播放器提供视频源。在实时模式下，Media 服务端从本地计算机中获取采集卡采集的图像，第一次传输一帧为完整信息，接下来都是各帧之间的差额，并以这种方式向网络播放器实时传输图像信息。在回放模式下，Media会将视频进行解码成图像，将各个帧的信息以实时模式方式传输。网络端播放器通过接收 Media 服务端发送的各个帧的信息，计算重新生成完整的图像信息进行播放。2.2RTSP 的应用Live555 是一个基于开放标准协议 RTSP，RTP/RTCP，SIP等的流媒体传输的开源项目6。同时 Live555 经过多年的开发和改进，已经是一个性能稳定、容易扩展的模块。因此，本文工作选用了 Live555 实现 Media 服务端的开发。基于 Live555 的 Media 服务端原来不支持 AVI 格式的文件播放，不能观看实时采集的视频，不支持子目录的播放等，为了实现以上功能，对开源项目 Live555 上的 Media服务端增加了 3 个类，分别是 H264AVIStreamParser，H264VideoFileMe-diaServerSubsession，和 Live Source，如图 4 所示。2.3回放模式开源项目 Live555 上的 Media 服务端提供了一个可扩展的框架，把数据从源(Source)发送到一个接受端(Sink)。在回放模式下，程序从本地磁盘读取AVI视频文件，按照 AVI 格式提取其中一帧数据，然后把数据发送给 RTP Sink，RTP Sink 根据RTP 传输协议把一帧数据通过网络发送到播放器。在 Media服务端里，Medium 是所有类的基类，根据不同功能其他的类继承自 Medium 的子类，子类又按功能分类。为实现回放功能，添加了如图 4 所示的两个类：H264AVIStreamParser，H264VideoFileMediaServerSubsession。H264AVIStreamParser 通过 seekStream 函数可以根据 AVI文件的索引信息找到相对于第一帧固定时间的那一帧数据，afterGettingNALU 是让 Source 调用读取下一帧数据的函数，doGetNextFrame根据H.264 编码格式得到一帧的大小，读取下一帧数据。H264VideoFileMediaServerSubsession是一个用于管理Sou-rce和Sink的类。当一个用户连接到Media服务端时，H264Video-FileMediaServerSubsession 对象被创建，直到连接断开才消失。当用户要从一个指定时间开始播放时，可以调用 seekStream-Source 方法定位到指定的帧。与这两个类紧密相关的类 H264VideoRTPSink 可以把 H.264 格式的视频通过 RTP 协议发送出去。为了进一步描述 RTSP 连接到断开的过程中，Media 服务端主要对象的工作原理，图 5 详细展示了每个对象的生命周期、对象之间的关系，对象之间进行交互等信息。2.4实时模式从结构上看，实时模式和回放模式类似，但是实时监控需要从Hicap模块获取H.264 编码过的数据，而回放模式是从本地文件读取数据的。由于通过共享内存取视频源实际上是通过指针操作共享内存，和直接读取文件再把一帧数据拷贝到内存没有本质区别，因此实时模式是设计一个实时的视频源，再把整个播放流程整合到一起。为实现实时播放功能，除了添加 H264AVIStreamParser 和图 4Media 服务端主要的类图结构H264VideoRTPSink-fInputBufferSize-fMaxOutputPacketSize-fInputBuffer-fCurDataOffset+createNew()+continuePlaying()+stopPlaying()+.()RTPSinkMediumOnDemandMediaServerSubsessionH264VideoStreamParserH264VideoLiveServerMediaSubsession-fps-devID-fDoneFlag-fDummyRTPSink+createNew()+createNewRTPSink()+createNewStreamSource()+getAuxSDPLine()+checkForAuxSDPLine()+afterPlayingDummy()+seekStreamSource()+.()H264VideoFileServerMediaSubsession-fDoneFlag-fDummyRTPSink+createNew()+createNewRTPSink()+createNewStreamSource()+getAuxSDPLine()+checkForAuxSDPLine()+afterPlayingDummy()+seekStreamSource()+.()H264AVIStreamParser-*AVI_File-*packetBuffer-currentVideoFrame-totalVideoFrame+createNew()+seekStream()+afterGettingNALU()+doGetNextFrame()+.()H264LiveStreamParser-fps-*packetBuffer+createNew()+afterGettingNALU()-onCloseFunc()+doGetNextFrame()LiveSource-deviceID-fps-hMapObject-lpvMem-readingNum-fPreferredFrameSize-fPlayTimePerFrame-fLastPlayTime+createNew()+doGetNextFrame()+frameSize()25262011,Vol.32,No.7计算机工程与设计 Computer Engineering and DesignH264VideoFileMediaServerSubsession 两个类，又新增加了 LiveSource 这个类(如图 4 所示)。LiveSource 从共享内存里获取一帧图像数据取代回放模块里的 FileSource。3测试结果及分析为了便于进行 RTSP 实时流传输协议的再监控系统应用效果评测，本文作者特此完成了基于HTTP传输协议的网络监控系统。评测主要在帧率以及画质两个方面进行。3.1实验结果一为了比较不同协议对网络监控系统帧率的影响，本文作者设计了一个修改监控系统画面帧率的接口，修改监控系统画面帧率，并通过观察网络监控端实际帧率得到实验数据如图 6 所示。从实验结果可以看出，基于RTSP实时流协议的网络监控系统修改帧率后得到的结果更为理想，其主要原因是基于RTSP协议的网络监控系统可以根据配置的帧率大小，让系统保持数据传输时每秒传输的帧率大小，而基于HTTP传输协议的网络监控系统是通过每秒传送一帧来实现实时模式的。因而导致了基于 HTTP 协议的网络监控系统的实际帧率远远没有达到预期的帧率，而基于RTSP协议的网络监控系统的实际帧率能和预期的帧率大致符合。3.2实验结果二基于 RTSP 协议的网络监控系统还大大改善了正在播放的视频出现花屏的现象，为了能和基于HTTP协议的网络监控系统进行对比，本文作者在保持这两个系统同样测试环境的基础上进行测试。首先把两个系统的帧率都设置为 1，在实时模式下依次打开 2,4,6,14,16 个视频窗口播放 1 小时和 5 小时进行对比测试，各测试 5 次取平均，得出在每个情况下的出现花屏的概率。出现花屏的概率=(出现花屏的视频窗口数/打开的视频窗口数)/5。实验结果如表 2 所示。从实验结果可以看出基于 RTSP 实时流协议的网络监控系统在和基于 HTTP 协议的网络监控系统保持一样帧率的情况下，出现花屏的几率大大降低，得到了比较理想的结果。4结束语本文提出了一种基于RTSP协议的网络监控系统的实现发放，该方法基于Live555 开源项目和H.264这种高性能的视频编解码技术，实现了网络监控系统的实时播放和回放模式。本文研究的RTSP实时流协议在信息科技高速发展的时代发挥着重要的作用，在网络多媒体技术发展的过程中，传输控制和压缩编码技术有着重要的地位。所以我们要在 RTSP 协议的基础上进行扩展来充分利用多媒体信息技术，同时我们也要充分重视网络传输质量的控制。表 2基于两类协议系统的花屏概率视频窗口数1 小时基于HTTP协议 基于 RTSP 协议5 小时基于HTTP协议基于 RTSP 协议2468101214160002.5%6%13.46%12.86%13.75%00000000003.33%7.5%18%21.67%22.86%31.25%0000001.43%1.25%图 5回放模式序列TEARDOWNPLAYSETUPDESCRIBEOPTIONS网络监控端Media服务端SubsessionSourceRTPSinkcreateNewcreateNewcreateNewstartPlayingstartPlayinggetNextFrameafterGettingFramebuildAndSendPkgtearDown图 6基于两类协议系统的帧率测试结果预期帧率(fps)；HTTP 实际帧率(fps)；RTSP 实际帧率(fps)13691215182124273035302520151050(下转第 2530 页)25302011,Vol.32,No.7计算机工程与设计 Computer Engineering and Design从长远来讲，这可能是统一存储环境建设的一个技术瓶颈。2.5兼容性指标存储设备的兼容性主要是主机与存储间的 FC 接口和MultiPath 软件的兼容。兼容性问题来自于产品软硬件设计缺陷或测试不全面所致，目前各厂商提供其产品的兼容性列表，但用户方还没有一个规范性的兼容性列表要求，导致选型时工作量极大，甚至在设备安装后遇到难以解决的兼容性问题，将兼容性列表作为指标需要了解不同行业的系统环境，有较大的难度。目前的解决方案是针对行业区别对待。3实验与结果分析根据 SPC 评测数据计算各厂商 FC 阵列的 I/O 性能增益，找到数值比较接近的产品，同时根据本文中的性能相关存储指标，进一步判断厂商所提供的产品是否处于同一档次。根据 SPC 评测数据得到的结果见表 1。3PAR 的 F400 在国内比较少见，但根据该表很容易地判断其所处档次，从而为设备选型提供参考。4结束语统一存储环境的建设已有不短的时间，但统一存储环境的建设指标却是一个新课题。本文从清华大学数据中心运行维护工作中遇到的问题出发，对统一存储环境建设过程中出现的各类问题进行分析汇总，从存储架构的高可用性、性能需求、分级存储需求、伸缩性和兼容性等方面加以阐述论证，提出了存储架构高可用指标、链路高可用指标、磁盘系统高可用指标、性能指标、分级存储指标、伸缩性指标和兼容性指标，力图为统一存储环境建设建立一套适用的参考指标体系。但限于作者的经验及考察的范围和应用案例，这项工作仍有很大的改进余地，在架构设计、性能评估、高伸缩性、应用集成等方面还有许多工作值得研究。对该课题的持续研究不仅对存储技术的发展有促进作用，也为数据中心的建设模式和思路提供了参考，有助于促进对新一代数据中心建设具有指导意义的指标体系的研究。参考文献:1朱伟雄.新一代数据中心建设理论与实践M.北京:人民邮电出版社,2009:188-194.2Assessing storage efficiency within NetApps data centersEB/OL.http:/ SAN 上的数据迁移算法设计与实现J.计算机工程,2009,35(4):53-55.5李树全,吴跃,陈志飞.SAN 存储虚拟化研究J.微电子学与计算机,2009,20(1):39-41.6SPECsfs2008 Users GuideEB/OL.http:/www.spec.org/sfs2008/docs/usersguide.pdf,2008.7SPC benchmark 1TM(SPC-1)official specifcation EB/OL.http:/www.storageperformance.org/specs/SPC-1_SPC-1E_v1.12.pdf,2009:53-62.8SPC benchmark-2TM(SPC-2)official specifcationEB/OL.http:/www.storageperformance.org/specs/spc2_v1.3.pdf,2009:41-59.表 1性能指标接近的中端 FC 阵列指标产品FujitsuDX4403PARF400HDSAMS2300IBMDS5300架构双控冗余，磁盘共享4 控冗余，磁盘共享双控冗余，磁盘共享双控冗余，磁盘共享缓存16G40G32G32G最大磁盘数420384480480SPC 测试用盘数41615KRPM38415KRPM35215KRPM25615KRPMI/O 性能增益1.46未送测1.591.42参考文献:1RFC2326.Real time streaming protocol(RTSP)S.2Gibson Lam,David Rossiter.A SOAP-based streaming contentdelivery framework for multimedia Web servicesC.Washing-ton,DC,USA:IEEE Computer Society,2008:1097-1102.3王路帮.RTSP 协议及其分布式应用框架J.安徽职业技术学院学报,2006,5(1):4-6.4Qadeer,Mohammed A Ahmad,Rehan Khan.Real time videostreaming over heterogeneous networks C.Piscataway,NJ,USA:IEEE Press,2009:1117-1122.5维基百科.http:/en.wikipedia.org/wiki/H.264/MPEG-4_AVCOL.2009.6韩慧英,潘娅.基于 Davinci 的嵌入式Web 视频监控系统J.兵工自动化,2010,29(4):75-77.7Lee Yong-Ju,Min Ok-Gee,Kim Hag-Young.Performanceevaluation technique of the RTSP based streaming server C.Washington,DC,USA:IEEE Computer Society,2005:414-417.8方群,王敏,吉逸.基于 RTSP/RTP 的媒体点播服务器的设计与实现J.计算机工程与设计,2006,27(1):4-6.(上接第 2526 页)
