基于USB的嵌入式远程视频监控系统设计.pdf
1994-2010 China Academic Journal Electronic Publishing House.All rights reserved.http:/第26卷第6期Vol126NO.6重庆工商大学学报(自然科学版)J Chongqing TechnolBusinessUniv1(Nat Sci Ed)2009年12月Dec12009 文章编号:1672-058X(2009)06-0558-05基于USB的嵌入式远程视频监控系统设计蒋承延1,贾 晅2(1.重庆电力高等专科学校,重庆400053;2.西南政法大学 教育信息技术中心,重庆401120)收稿日期:2009-09-01;修回日期:2009-10-21。作者简介:蒋承延(1974-),男,四川越西县人,副教授,从事计算机及应用研究。摘 要:利用嵌入式系统开发技术与Internet技术,根据固定场所使用的特点,提出了一种采USB摄像头的嵌入式远程视频监控系统实现方案;本方案采用ARM 9S3C2410为处理器和嵌入式Linux作为系统服务器端,将USB摄像头采集的视频数据压缩后,通过Internet传输实现对固定场所的远程视频监控。关键词:视频监控;运动检测;嵌入式系统;ARM9S3C2410 中图分类号:TP391.8文献标志码:A视频监控系统作为安防领域的重要组成部分,是一种防范能力很强的综合性系统。本系统基于嵌入式Linux的远程视频监控系统,目标是要实现独立的嵌入式智能终端设备及其与以太网的直接接入,从而通过网络与远端主机进行通信;在嵌入式智能设备终端上要完成视频采集、视频Web服务器,并通过以太网传输图像到远端主机,供客户端实时监控。采用高度集成的ARM9 S3C2410作为系统核心,扩展少数外围设备,实现了基于嵌入式软硬件平台的远程图像监控系统。1 系统设计在此是要设计一个以嵌入式系统为中心的用于远程视频监控系统的嵌入式系统,通过该系统可以实现USB摄像头监控功能和网络传输的功能。整个监控系统构建在局域网(LAN)之上,主要组成部分包括摄像头、视频服务器、交换机、用户等,如图1所示。图1 监控系统的组成各部分功能说明如下:USB摄像头:采集监控现场数据,传输给视频服务器处理;视频服务器:实现图像数据的采集处理,通过网络传输给客户端显示,每个视频服务器都设定了一个固定的IP地址,用户可以通过IP地址来访问视频服务器,并能检测运动目标,实现短信报警;交换机:为局域网中的各个主机提供网络服务;用户:为任何一个接入该局域网的计算机,通过浏览器访问视频服务器即可得到监控图像。1994-2010 China Academic Journal Electronic Publishing House.All rights reserved.http:/1.1 系统硬件设计在此设计的远程视频监控系统的设计采用ARM与嵌入式Linux操作系统相结合的方式以获得更高的性价比,另外ARM是一个比较完全的CPU系统,可扩展的接口丰富,系统扩展空间比较大,比如接3.5寸液晶屏显示报警图片等。ARM处理器结合嵌入式Linux系统完成系统控制和系统协议转换,视频数据的压缩及视频流的网络传输通过软件实现,本系统使用的硬件平台功能框图如图2所示。1.2 系统的软件设计本系统采用了ARM Linux作为操作系统,ARM Linux是移植到ARM内核上的Linux操作系统。Linux操作系统的源代码中已经有针对各种不同处理器的硬件适配层,在“arch/”下面就包括ARM。但是这还不能充分涵盖各种ARM芯片在各个方面的功能和部件,各种形式的补丁为原版Linux做出了补充和修改。在实际的系统中,还要根据系统板的硬件配置进行移植。本系统软件主要由USB驱动程序、嵌入式Linux操作系统、图像处理程序和报警程序组成,如图3所示。2 系统实现2.1USB驱动程序接口与摄像头驱动移植由于系统平台上运行的是arm linux,启动启用了MMU,系统进入保护模式,所以应用程序就不能直接读写外设的I/O区域(包括I/O端口和I/O内存),这时一般要借助于该外设的驱动来进入内核完成这个工作。本系统中的视频采集分两步实现:一是为USB摄像头在内核中写入驱动,二是要再写入上层应用程序获取视频数据。(1)USB驱动程序接口。USB驱动程序包括用户驱动程序、通用总线驱动程序、主机控制器驱动程序几部分。其中用户驱动程序可以包含多个不同的功能接口对应不同的驱动程序,它们不直接与USB设备硬件交互,而是通过协议软件的抽象处理完成与设备的不同功能口之间的通信,提供了USB设备的功能操作及特定子类协议封装;通用总线驱动程序(USBD)拥有特定操作系上抽象出的主机控制器驱动程序的共有特性,是整个USB驱动程序的核心;主机控制器驱动程序是直接与硬件交互的软件模块,主要实现主机控制器硬件初始化、负责总线的注册、为USBD层提供相应的接口函数、提供根HUB设备配置和控制、实现四种955第6期蒋承延,等:基于USB的嵌入式远程视频监控系统的设计 1994-2010 China Academic Journal Electronic Publishing House.All rights reserved.http:/数据传输方式(控制、批量、中断和等时)等功能。Linux通过定义了统一的URB(Unibersal Request Block)结构,在用户驱动程序和USBD之间,以及US2BD和HCD之间进行消息传递。用户开发的USB驱动程序主要是负责将数据封装成URB和从URB中得到数据。(2)摄像头驱动程序Spca5xx2LE接口。USB摄像头的设备驱动程序主要提供两个接口:一个是与US2BD层的接口,主要用于向USBD层注册该设备并且完成usb_drivers数据结构的例化;另一个是为应用程序提供访问接口。2.2 视频监控系统软件实现嵌入式系统建立起来之后,就可以利用操作系统内核所提供的接口来开发视频监控软件模块了。本系统结合ffmpeg库开发了ARM处理器核的嵌入式视频监控系统,它有如下运行特点:(1)网络监控模式。视频服务器工作,系统采用ffmpeg库实时影像压缩技术,独立运转,不需要主机控制,直接通过以太网络连接到网络服务器,实现远程监控,使用浏览器即可观看实时影像,不需要安装专用的解码软件。(2)实时报警模式。嵌入式监控系统端利用背景减除法实时监控目标区域有无目标闯入,如果有则立即通过短信网关以短消息的方式向用户发出警报,用户可以发出向服务器端发出请求,查看摄像头监控区域状况,实现安防监控。2.2.1 图像采集利用V4L进行图像采集,本系统为了保证通用性,选择了市场占有率最高的ZC301芯片型的摄像头,所以整个系统所处理的视频流是jpeg格式的。(1)初始化设备。首先打开视频设备,摄像头在系统中对应的设备文件为/dev/video0,采用系统调用函数fd=open(/dev/video0,O_RDWR),fd是设备打开后返回的文件描述符,以后的系统调用函数就可使用它来对设备文件进行操作了。接着,利用ioctl(fd,V I D I OCGCAP,&video_cap)函数读取struct video_capa2bility中有关摄像头的信息。该函数成功返回后,这些信息从内核空间拷贝到用户程序空间video_cap各成员分量中,使用printf函数就可得到各成员分量信息,例如printf(maxheight=%d,fd.maxheight)获得最大垂直分辨率的大小。使用ioctl(fd,V I D I OCGPI CT,&video_pict)函数读取摄像头缓冲中video_picture信息。在用户空间程序中可以改变这些信息,具体方法为先给分量赋新值,再调用V I D I OCSPICT ioctl函数,例如:fd.depth=3;if(ioctl(fd,V I D I OCSPICT,&video_pict)0)perror(V I D I OCSPI CT);return-1;。(2)截取视频图像。完成以上初始化设备工作后,就可以对视频图像截取了,有两种方法:一种是read()直接读取;另外一种mmap()内存映射。read()通过内核缓冲区来读取数据;而mmap()通过把设备文件映射到内存中,绕过了内核缓冲区,最快的磁盘访问往往还是慢于最慢的内存访问,所以mmap()方式加速了I/O访问。另外,mmap()系统调用使得进程之间通过映射同一文件实现共享内存,各进程可以像访问普通内存一样对文件进行访问,访问时只需要使用指针而不用调用文件操作函数。065重庆工商大学学报(自然科学版)第26卷 1994-2010 China Academic Journal Electronic Publishing House.All rights reserved.http:/因为mmap()的以上优点,所以在程序实现中采用了内存映射方式,即mmap()方式。利用mmap()方式视频截取具体进行操作如下:先使用ioctl(fd,V I D I OCG MBUF,&vm_map)函数获得摄像头存储缓冲区的帧信息,之后修改video_mmap中的设置,例如重新设置图像帧的垂直及水平分辨率、彩色显示格式。可利用如下语句:Video_mbuf.height=240;Video_mbuf.width=320;Video_mbuf.format=V I DEO_PALETTE_RGB24;接着把摄像头对应的设备文件映射到内存区,具体使用grab_data=(unsigned char3)mmap(0,vm_map.size,PROT_READ|PROT_WR ITE,MAP_SHARED,fd,0)操作。这样设备文件的内容就映射到内存区,该映射内容区可读可写并且不同进程间可共享。该函数成功时返回映像内存区的指针,失败返回值为-1。2.2.2 网络远程视频监控实现网络化的嵌入式视频监控系统作为第四代视频监控系统,不受时间和空间的限制,本身可以作为视频流媒体服务器,突破了监控的时空限制,使用户可以通过网络中的任何一台电脑来观看实时的视频信息。通过网络传输实时影像,监控方式、监控距离等方面都不受限制。本系统将ffmpeg移植到嵌入式设备中,利用ffmpeg强大的实时影像压缩技术实现视频监控。为了保证应用程序和操作系统及编译器间的兼容性,设计中ffmpeg库采用了ffmpeg-0.4.8版本。首先从http:/上获取ffmpeg-0.4.8.tar.gz源代码包,进行解压,进入解压目录对其进行配置和编译,为了编译成在ARM上允许的二进制程序,需要对configure文件和Makefile文件进行手动修改,并设置好环境变量。然后执行make,make install。此步后,将生成所需要的二进制工具(ar m版本)ffm2peg和ffserver以及ffplay。需要注意的是要事先下载并交叉编译xvid等所需要的编解码库,否则编译通不过。2.3 运动目标检测运动目标检测是指从视频流中实时提取目标,检测出图像序列中与运动的三维物体相关的点,滤除图像中与运动对象无关的信息。运动目标检测的结果是一种“静态”目标 前景目标,由一些静态特征所描述。运动目标检测根据前景目标所处的背景环境,可以划分为两类:静态背景下运动目标检测和动态背景下运动目标检测。背景减除法的优点是算法实现简单、速度快,能够提供运动目标最完全的特征数据,缺点是在运动频繁(如大型商场)的场合可能难以获得背景图像;用固定背景做差分对于动态场景的变化(如户外日照、室内灯光渐变和其它外来无关事件的干扰等)特别敏感,需要不断更新。因此大部分研究人员目前都致力于开发不同的背景统计模型,以期减少动态场景变化对于运动目标分割的影响。设定摄像头视频采集循环的周期为T,系统初始化以后,获得的第一帧图像就保存为背景图像,接下来每隔时间T采集一帧,利用背景减除法进行运动目标检测。该软件使用QT/E的图像处理类库Q I mage process开发。首先循环采集两帧图像数据,进行二值化处理后,分别提取两幅图像的亮度作差。得到背景差分图像后,与设定的亮度阈值进行比较。超过该值,则触发报警。165第6期蒋承延,等:基于USB的嵌入式远程视频监控系统的设计 1994-2010 China Academic Journal Electronic Publishing House.All rights reserved.http:/3 结束语在此将当前嵌入式系统技术应用于网络视频监控系统,设计了一种基于嵌入式Linux和S3C2410X的低成本的网络视频采集传输系统,给出了基于ffmpeg和ffserver的远程监控方案,在视频服务器上实现TCP/IP协议并运行嵌入式HTTP服务器,形成一个用户可以通过网络浏览器进行远程访问的服务器,服务器程序集成了视频采集、网络通信和报警处理部分。实现了基于B/S模式的网络图像监控系统,客户机端用浏览器即可实现对远程图像的监控,并能实现运动目标的检测和报警。参考文献:1 RUTH A,ASHOK K.A Network of Sensor2based Framework for Automated Visual SurveillanceJ.Journal of Network andComputerApplications,2007,30(3):1244-12712 JAVED O,RASHEED Z,ALATASO.A Real Time Surveillance System forMultipleOver2lapping and Non2Overlapping CamerasJ.IEEE International Conference onMultimedia and Expo(ICME 2003),Balti more,Maryland,USA,2003(3):1201-12233刘慧明,王汝琳.视频监控系统的发展理念与实践J.智能建筑,2004(3):102-1054江潮,苏祥芳.基于网络的数字视频监控系统J.武汉大学学报,2000,46(5):608-6125叶玮琼.嵌入式WebServer智能家居中央控制器实现方法研究M.广州:广东工业大学出版社,20056姜敏,施健.基于嵌入式WEB服务器的远程视频监控技术J.计算机时代,2007(5):31-347贾智平,张瑞华.嵌入式系统原理与接口技术M.北京:清华大学出版社,20058余永权.嵌入式系统的技术和发展J.电子世界,2004(10):4-5.9陈俊宏.Embedded Linux嵌入式系统原理与实务M.北京:中国铁道出版社,200410 朱珍民,隋雪青.嵌入式实时操作系统及其应用开发M.北京:北京邮电大学出版社,2006The desgin of remote video monitoring system based on embedded US BJI ANG Cheng2yan1,JI A Xuan2(1.Chongqing Electronic Power College,Chongqing 400053,China;2.Educational Information Technique Center,SouthwestUniversity of Political Science and Law,Chongqing 401120,China)Abstract:In this paper,based on the development of embedded systems technology and Internet technology,according to the characteristics of the use of fixed location,a mining embedded USB camera remote video surveil2lance system program was proposed.ARM 9S3C2410 was used in the program for the processor and embeddedLinux as a server2side system forUSB camera video data compression for the transmission through the Internet to a2chieve a fixed place on the remote video surveillance.Key words:video surveillance;motion detection;embedded systems;ARM9S3C2410责任编辑:代晓红265重庆工商大学学报(自然科学版)第26卷
