基于RTP协议的网络视频监控系统的实现.pdf
《基于RTP协议的网络视频监控系统的实现.pdf》由会员分享,可在线阅读,更多相关《基于RTP协议的网络视频监控系统的实现.pdf(6页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、第2 7 卷第4 期2 0 0 6 年7 月微计算机应用M I C R O C O M P U I E RA P P L I C A T l 0 N SV 0 1 2 7N o 4J u l y 2 0 0 6基于R T P 协议的网络视频监控系统的实现裘英王库(中国农业大学信息与电气工程学院北京1 0 0 0 8 3)摘要:描述了基于R T P 协议实现网络视频监控系统,其中描述了系统的组成和几个主要组成模块的工作方式。介绍了视频压缩技术(M P E G 4)的基本实现思想,R T P 协议和协议的具体实现,以及系统软件实现的主要核心技术D ir e c t S h o w,并给出了系统的实
2、际应用情况。现场应用情况表明,基于R T P 协议的网络视频监控系统解决了视频数据连续性和视频数据丢包等关键问题,达到了一个比较理想的应用效果。关键词:网络视频监控系统R T PR T C PD i r e c t S h o w 技术F i l t e rT h eI m p l e m e n t a t i o no fN e tV i d e oW a t c hS y s t e mB a s eo nR T PQ I UY i n g,W A N GK u(C o l l e g eo fI n f o r m a t i o na n dE l e c t r i c a lE
3、n g i n e e r i n g,C h i n aA g r i c u l t u r a lU n i v e r s i t y,B e i j i n g,1 0 0 0 8 3,C h i n a)A b s t r a c t:T h i sa r t i c l ed e s c r i b et h ei m p l e m e n t a t i o no fN e tV i d e oW a t c hS y s t e mb a s eo nR T P,d e s c r i b et h ec o m p o s eo ft h es y s t e ma n
4、dt h em a i nm o d u l e sw o r km o d e,a n di n t r o d u c et h eb a s er e a l i z et h e o r yo fV i d e oC o m p r e s s,R T Pp r o t o c o la n dt h ep r o t o c o li m p l yi nt h es y s t e m,t h ea p p l i c a t i o no fD i r e c t S h o wi nt h es y s t e m,t h el a s tp o i n to u tt h e
5、a c t u a la p p l i c a t i o no ft h es y s t e m T h ea c t u a la p p l i c a t i o no nt h es p o td e c l a r e;T h eN e tV i d e oW a t c hS y s t e mb a s eo nR T Pb a sr e s o l v e dt h es i x t y f o u r d o l l a rq u e s t i o na b o u tt h ec o n t i n u i t yo fv i d e od a t aa n dt
6、h ef r a m el o s eo fv i d e od a t a,a n da c h i e v e dp e r f e c ta p p l i e de f f e c t s K e y w o r d s:N e tV i d e oW a t c hS y s t e m,R T P,R T C P,t h eT e c h n o l o g yo fD i r e c t S h o w,F i l t e r1引言M P E G 一4 标准以其高压缩率、高质量、低传输率成为目前网络多媒体传输的主要格式和标准,因此研究基于M P E G一4 的实时传输技术对于实现
7、流媒体传输技术是必要和有意义的。另外音视频文件的实时传输要求较低的时延和较小的丢包率,而T C P 的重发机制会带来较大的时延,U D P 本身又不提供任何Q o s 保证,因此需要通过实时传输协议(R T P)和实时传输控制协议(R T C P)配合使用提供数据实时传输和Q o s 服务来满足网络音视频数据实时传输的时延和丢包要求。综上所述,开发基于R T P 及M P E G 一4 的流媒体系统已成为满足日新月异的互联网多媒体技术发展的重要的一种手段。2 网络视频监控系统工作流程所谓网络视频监控系统是指基于嵌入式网络视频服务器本文于2 0 0 5 一0 1 2 7 收到。平台,采用先进的互
8、联网技术和标准开发的性能卓越、功能完备的新一代远程视频监控系统。图1嵌入式网络视监控系统图1 所示为本系统基本结构图,摄像头采集的原始数据通过嵌入式网络视频服务器,对这些数据进行M P E G 4 编码,编码后的视频数据被分割成1 K 大小的数据包,将其封装成R T P 包,以组播或点播的形式发送,监控中心接收完一个编码帧的组播包后,进行重组、解码回放或写入硬盘。假如采用组播形式,则要求从视频源到接收端的网络链路上的所有网络设备必须支持组播协议。万方数据4 期裘英等:基于R T P 协议的网络视频监控系统的实现4 3 73 视频服务器视频服务器,通过将前端(摄像头)采集的音视频信号和接收的云台
9、、镜头的受控信号直接转换为可以在局域网上传输的数字信号,音视频信号数据在传送到网络时进行一定的压缩如M J P E G、M P E G 4,以便减少网上传送的数据量。3 1 视频压缩视频压缩是网络监控系统的核心技术,现在使用在网络视频监控系统的主流压缩算法不少,主要有I S O(国际标准化组织)的M P E G 系列和I T U(国际电联)的H 系列。从目前应用的情况来看,大致上:M P E G 4 适用于较低带宽,如2 0 0k b i t s 到8 0 0k h i t s;视频分辨率中等;存储量小,适用于大量录像场合;在网络传输不稳定,如抖动和丢包时,会出现令人烦恼的马赛克现象。M J
10、P E G 适用于较高带宽,如2M b i t s,是欧美主流标准,视频分辨率比M P E G 4 高;在正常传输情况下一般不会出现马赛克;它的缺点是在较低带宽下图像帧率下降很快,不流畅;录像资料占用空间较大;M P E G 2 适用于对图像分辨率和流畅感要求高的场合,但占用带宽资源最大,通常需要3M b i t s 8M b i t s,在交通行业和局域网环境经常用到。H 2 6 4 与M P E G 4 使用场合类似,在压缩还原上又有突破,效果更好。但算法更加复杂,编解码占用资源更多,可能引起系统延时加大。考虑到系统的实现环境和要求在此系统中我们选用了M P E G 4 压缩算法。M P
11、E G 4 是I S O 推出的低码率、高压缩比的视频编码标准,传输速率为4 8 6 4k b i t s,使用时占用的存储空间较小,M P E G 4 压缩编码算法的基本思想是利用预测编码减少时间冗余度,利用变换编码减少空间冗余度。算法主要由运动估计、运动补偿、D C T 变换、量化和霍夫曼编码构成。3 2 芯片的选择从对嵌入式网络视频服务器的分析可知,此视频服务器需要对摄像机、云台等外围设备进行控制,并且对摄像头采集的数据进行转换压缩。在本系统中,C P U 负责整个嵌入式网络视频监控系统的协调,视频和语音压缩以及各种外围设备控制这三大功能。经过比较分析,最终选择了美国德州仪器(T I)公
12、司的D i g i t a lM e d i a 2 0(以下简称D M 3 2 0)。D M 3 2 0 的D S P 内部有图像协处理器I M X 高速处理D C T,运动估计(补偿),插值运算。V I。C V I。D 模块完成码流编码。在此监控系统的嵌入式视频服务器中可以做到V G A 的M P E G 4 每秒2 4帧的实时压缩编码。D M 3 2 0 内部集成了一个A R M 9 2 6 核和一个C 5 4 X 的D S P。A R M 工作频率高达1 7 5 M H z,配合有8 K 的数据C a c h e 和1 6 K 的指令C a c h e,使得A R M 有很强的系统能力
13、。4R T P R T C P4 1R T P R T C P 简介图2网络视频监控系统数据流R T P(实时传输协议)由I E T F 的A V T 小组开发,1 9 9 6年成为R F C 正式文档,用于V O I P、视频等实时媒体传送的协议。R T P 协议包括R T P 和R T c P(R T P 控制协议)两个关系密切的子协议:R T P 传输具有实时特性的数据;R T c P 监测Q o s 和传送参与多媒体数据收发者的信息。R T P 在U D P 的上层,从上层接收多媒体信息码流,组装成R T P 数据包,发送给下层U D P,相当于0 S 1 的会话层,提供同步和排序服务
14、。故R T P 协议适用于传送连续性强的数据,如视频,音频等,并对网络引起的时延差错有一定的自适应能力。R T C P 为实时控制协议,用于管理控制信息,如监视网络的延时和带宽,丢包情况等,一旦所传输的多媒体信息的带宽发生变化,接收端则通知发送端,广播符号化识别码和编码参数。R T P 用于U D P 数据封装时的情形如图3,R T P 头如图4。数据(净荷类型)R T P 头数据(净荷类型)U D P 头R T P 头数据(净荷类型)I P 头U D P 头R T P 头数据(净荷类型)图3R T P 数据的封装顺序号荷载类(s e q u e n c eV 打PXC CM型P TN u m
15、 b e r)时间戳(t i m es t a m p)同步源标识S S R c(s y n c h r o n i z a t j o nS O U r C ei d e n t i f i e r s)特约源标识C S R C(c o n t r i b u t i n gs o u r c ei d e n t i f i e r s)荷载数据(P a y l o a d)图4R T P 数据包头在R T P 数据包头中,提供了包内数据类型的标志(P T),用于说明多媒体信息所采用的编码方式;在多媒体数据头部 万方数据4 3 8微计算机应用2 0 0 6 焦加上时间戳(t i m es
16、t a m p),依靠时间戳可使在接收端的数据包的定时关系得以恢复,从而降低了网络引起的延时和抖动;根据顺序号(S e q u e n c eN u m b e r)可以在接收端进行正确排序和定位,以及统计包丢失率。4 2 视频数据连续性保证我们在传输视频数据时,采用无连接的U D P 协议,由于U D P 包在网络上要经过若干个1 P 节点的存储转发,还有网络阻塞等缘故,无法确保U D P 包在发送端的发送顺序与接收端的接收顺序一致,因此,必须加以传输控制。,实现R T P 协议。即对每一个视频数据包进行编号,接收端在接收数据包时,按包的顺序号重组视频帧,以确保视频数据的连续性、正确性。只有
17、在一个视频帧完全被接收后,才进行解码、回放。4 3 视频数据丢包应对在实际开发过程中发现U D P 包的最大包长不应超过2 K,由于一个编码后的视频帧在1 3 0 K 之间,因此,一个视频帧需被拆分成1 1 5 个U D P 包。M P E G 4 使用X V I D 方式解码有较高的容错能力,在出现丢包的情况下,解码后会出现方格及边缘模糊,直到下一个I 帧到来,方格及边缘模糊才能去除。为避免出现上述情况,三种方法可解决这一问题:(1)减少I 帧编码的间隔,极端情况是一帧的间隔。在M P E G 4 中采用这个方法后,带宽的需求随之明显增大,一般情况下是每3 0 帧出现一个I 帧;(2)仅对那
18、些变化量超过某一门限的块进行编码和传输;(3)同时使用帧内编码和帧间编码,而且对于帧内编码的间隔根据网络状况动态地进行调整。以上方法是通过调整帧内编码和帧间编码的帧的混合程度来使包丢失对视频效果的影响最小化。还可以使用简单的包丢失恢复技术,如利用空域或时域的内插在目的端进行丢包的恢复和视频的平滑。空域的恢复使用同一帧的邻近区域来重新组建丢失的碎片;时域的恢复使用前一帧的相应区域来替代丢失的区域信息。这种方法的实现较为复杂。还有一种既适于帧内编码又适于帧间编码的方法,这就是使用基于前向纠错的差错控制机制F E C。在这样的机制中,可以在传输的码流中加入用于纠错的冗余信息,在遇到包丢失的情况时,利
19、用冗余信息恢复丢失的信息。它的不足是增加了编码时延和传输带宽。在本系统的研制中,采用F E C机制解决视频帧丢包问题。方式是,每6 个包进行异或运算产生一个校验包,即F E C包,选择6 为间隔,因为多数帧由6 个包组成。当接收端在规定的时问内确定丢包时,采用F E C 包及另外的5 个包恢复丢失的包。这样,在丢包率不超过2 0 的网络环境中可确保视频帧的完整传输。4 4 传输速率控制在网络拥挤时,必须降低传输流量。拥挤的判断通过R T C P 反馈信息决定。事实上,我们采用简单的做法,即只使用报告包中的丢失信息进行拥塞的指示。我们认为丢包率超过2 5 可以认定网络拥挤。降低网络流量的做法是丢
20、弃采集帧。经测试,每秒1 5 帧的采集速度基本上无丢包现象的出现。5 监控中心监控中心,主要完成现场图像接收,用户登录管理,优先权的分配,控制信号的协调,图像的实时监控,录像的存储、检索、回放、备份、恢复等。监控中心是完成的是整个系统的中枢部分,承担着与用户和前端设备的接口任务。而监控中心监控软件完全应用了D i r e c t S h o w 技术。5 1D i r e c t S h o w 技术D i r e c t S h o w 是微软的一套针对视频数据采集和显示的系统架构,也是一套基于C O M 的编程接口。D i r e c t S h o w 为多媒体流的捕捉和回放提供了强有力
21、的支持。运用D i r e c t S h o w,我们可以很方便地从支持W D M 驱动模型的采集卡上捕获数据,并且进行相应的后期处理乃至存储到文件中。它广泛地支持各种媒体格式,包括A s f、M p e g、A v i、D v、M p 3、W a v e 等,使得多媒体数据的回放变得轻而易举。另外,D i r e c t S h o w 还集成了D i r e c t X 其他部分(比如D i r e c t D r a w、D i r e e t S o u n d)的技术,直接支持D V D 的播放,视频的非线性编辑,以及与数字摄像机的数据交换。更值得一提的是,D i r e c t
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 RTP 协议 网络 视频 监控 系统 实现
限制150内