基于WindowsCE的嵌入式视频监控系统研究与实现.pdf
第46卷 第2期厦门大学学报(自然科学版)Vol.46No.22007年3月Journal of Xiamen University(Natural Science)Mar.2007 研究简报 基于Windows CE的嵌入式视频监控系统研究与实现陈 飞,陈启安3,郑仁广,陈永建(厦门大学信息科学与技术学院,福建 厦门361005)收稿日期:20062042243 通讯作者:cheer 摘要:后PC时代的到来,使人们开始越来越多地接触到嵌入式产品,嵌入式技术已成为一个研究热点和消费热点.视频监控在各行各业已经得到广泛的应用,由于应用范围的差异、传输条件的限制等因素,嵌入式监控系统必将成为开发及应用的新热点.本文立足于嵌入式系统、Windows CE操作系统、网络应用等技术,根据现实应用,在eBoxII平台下研究和实现了视频监控系统E2Life,有机地结合了嵌入式终端设备和网络传输,符合嵌入式和网络结合的发展趋势,同时,这一系统架构也为视频监控系统的发展开辟了新的前景.关键词:嵌入式系统;Windows CE;视频监控;内核定制中图分类号:TP 319文献标识码:A文章编号:043820479(2007)0220283205 计算机智能视频监控是计算机视觉领域一个新兴的应用方向和备受关注的前沿课题.伴随网络技术和数字视频技术的飞速发展,监控技术正向着智能化、网络化方向不断前进.监控系统功能日益强大,但是依然需要工作人员不间断地分析监视场景内的活动,日夜值守,工作量繁重.因此计算机视觉和应用研究学者适时提出新一代监控视频监控的概念1.视频监控在不需要人为干预情况下,利用计算机视觉和视频分析的方法对摄像机拍录的图像序列进行自动分析,实现对动态场景中目标的定位、识别和跟踪,并在此基础上分析和判断目标的行为,从而既能完成日常管理又能在异常情况发生时及时做出反应.计算机视频监控系统不仅符合信息产业的未来发展趋势,而且代表了监控行业的未来发展方向.嵌入式系统是指以应用为中心,以计算机技术为基础、软硬件可裁剪、适应于特定应用系统对功能、可靠性、成本、体积、功耗等严格要求的专用计算机系统2,由于嵌入式系统的实时性等特点,监控计算机逐渐向嵌入式方向发展.但是目前大多数嵌入式系统还孤立于Internet之外,随着Internet的发展以及Inter2net技术与信息家电、工业控制技术等结合日益密切,嵌入式设备与Internet的结合将代表着嵌入式技术的真正未来3.本文所研究的基于Windows CE的视频系统结合了嵌入式、网络、智能监控等特点,用于远程自动监控场所.1 开发环境1.1 硬件平台系统的硬件主要包括eBoxII、摄像头和一台PC服务器.eBoxII是微软提供的最新基于Windows CE的嵌入式开发平台,具有强大的运算、网络通信能力和完全不低于一台普通PC的接口特性,eBoxII有着良好的节能特性、低功耗、低噪音、便于移动、系统相对封闭、安全.CPU采用ICOP生产的Vortex86 SoC(系统集成芯片),Vortex86 SoC具有奔腾处理器同样的性能,支持CRT/LCD、UDMA IDE、软驱和I/O等外围设备.Vortex86 SoC在低功耗和低发热情况下有强大的处理能力.与嵌入式产品的设计开发同步,ICOP开发的Vortex86基于嵌入式SBC和处理器模块,具有低功耗,低发热和能在-2060 的宽温条件下工作的特点.eBoxII主要性能指标如表13所示.摄像头采用Logitech生产的QuickCamPro5000摄像头,并利用相关的最新驱动程序,主要使用于图像采集模块.PC服务器基于Windows XP操作系统,构建Ftp服务器和邮件服务器.Ftp服务器用于保存上传的报警图片;邮件服务器提供发送接收E2mail功能.1.2 软件平台在Windows CE产品开发包括内核定制以及应用程序的开发4,微软在这两个方面都提供了非常好的开发工具,这就是内核定制工具PlatformBuilder(简表1eBoxII的性能指标Tab.1The capability of eBoxIICPUVortex862200 MHz(SoC:System2on2Chip)实时时钟通过锂电池备份的实时时钟内存128 MBSDRAM板贴32 M Flash MemoryVGA输出共享系统内存8 MB152pinD形母头VGA连接器以太网Realtek8100B单芯片10/100 Mbps自适应I/OEnhanced IDE,44pin box接头 1Parallel Port,25pin D2sub接头 1USB Port3(其中1个前置)62pin PS2键盘接头 62pin PS2鼠标接头音频AC97 CODEC,全兼容AC97 V2.1麦克风输入,线性输入/输出接口电源供应单电源+5 V 3 A,及支持ACPI功能(高级电源管理接口)及1个开关按钮尺寸、质量133 mm63 mm111 mm484 g称PB)和Embedded Visual C+(简称EVC).2 系统功能分析及结构组成目前流行的嵌入式软件大都采取分层结构设计,本文也将采用这种分层的结构设计,并允许根据需要对不同的层次进行重写和替换,抽象接口是在抽象层定义的,它不依赖于任何特殊硬件.所有顶层的操作和处理都建立在抽象接口之上.这种分层结构实际上就是一种面向对象的程序结构,目的是将底层实际的不同驱动或者实现抽象成对上层的统一接口.在实现中底层部分主要针对视频采集的接口统一实现,得到统一的上层接口,方便扩展和修改.上层中的报警机制(包括E2Mail,Ftp,纪录备份)采用对象的特点,把每个报警方法都抽象成为对象,针对每种不同的程序实现统一使用接口.E2Life系统能通过摄像头捕捉视频图像,根据图像运动检测算法分析异常运动情况,并能在捕捉到异常状况时启动报警模块功能,并保存下所捕捉到的运动图片.充分发挥了eBoxII强大的计算、网络、多媒体功能,通过友好的人机交互界面,便于设置,用于远程自动监控场所,并能稳定工作.具体系统结构图如图1所示.系统主要功能有:1)GUI显示:可以在eBoxII上浏览实时视频,实时图像采集.2)报警功能:通过运动检测算法,检测到有异常时,启动报警功能.包括:发送E2mail通知用户,上传异常图片到Ftp服务器等.3)远程实时视频浏览:登陆Web服务器后,可浏览实时图像,实现历史记录的查询.4)运行参数设置:包括系统的启动和结束;视频的色度、亮度、对比度、灰度等参数;动态检测的灵敏度参 图1E2Life系统结构图Fig.1Configuration of E2Life system数;E2mail的服务器地址、收件人地址、主题;Ftp的地址、端口、用户名及密码;报警方式选择等参数.3 软件设计嵌入式系统的软件设计包括两个部分,即操作系统内核定制和应用程序软件设计,应用程序使用Em2bedded Visual C+4.0进行开发.3.1 基于eBoxII平台的内核定制Windows CE是一个组件化、模块化的实时多任务操作系统,支持多种处理器,具有强大的网络通信和图像处理能力.下列为利用Platform Builder开发向导定制Windows CE的IDE开发过程:1)启动工程向导,新建操作系统平台.2)选择开发板支持包(Board Support Packages,BSP),Windows CE支持目前流行的多款CPU系统,主要由X86系列、ARM系列、MIPS系列、SH3系列、482厦门大学学报(自然科学版)2007年SH4系列等,每一种系列除了相应的标准开发包外,还带有此系列中较为常用的具体CPU的开发包.在eBoxII平台下选用安装的“ICOP_Vortex86_50”BSP.3)选择基本配置结构,默认有智能电话、数字成像设备、工业自动控制设备、多媒体应用系统、掌上电脑或移动手持设备、机顶盒、瘦内核、上网机等已经集成的配置环境.由于视频监控系统所需组件比较综合,选用自定义配置模式进入.4)选择所需的组件,具体设置项:基础类库、应用程序、操作系统核心服务、网络通信服务、文件系统、字体、Internet程序、多媒体技术、安全设置、操作系统外壳.5)确定好平台模块和组件后,就可以构建平台,生成N K.bin文件,进行必要的修改、设置.6)下载到eBoxII运行、调试.使用DHCP服务将操作系统镜像下载到eBoxII上,如图2所示5,然后根据相应的启动选项启动.图2DHCP方式下载镜像Fig.2Download image with DHCP3.2 应用程序开发6-8系统主要模块包括:图像采集模块,图像动态检测模块,Ftp报警模块,Mail报警模块,配置模块等.系统实现流程如图3所示.1)图像采集9在Windows下常用的视频捕捉方法有:VFW(Video For Windows)、WDM(Windows Driver Mod2el)、视频捕捉卡方式.在Linux下常用的视频捕捉方法有:VFL(Video For Linux)、视频捕捉卡方式.在Windows CE中,就像Windows CE的Win32 API只是Windows的Win32 API的子集一样;Windows CE中的DirectX SDK没有Capture Filter这类代表Cap2ture Device的Filter,也没有ICaptureGraphBuilder,要进行视频捕捉,只有自己手动配置DirectShow ap2plication各项元素用于媒体捕捉.这就需要一个Source filter从Driver中接收原始(Raw)数据,即让Raw data=Source filter=Encoder(decoder)=图3E2Life系统流程图Fig.3Flowchart of E2Life systemFile writer这样进行捕获.但是Windows CE中并没有自带支持媒体捕捉的Source Filter和File writer.所以必须从底层的Driver入手,分析他们之间的关系和接口,从而为编写Source Filter和File Writer提供线索.DirectShow中提供了一种叫ksproxy的代理Fil2ter,它代表了各种类型的WDM流设备,硬件制造商(IHV)们通过扩展这种Filter,封装为一种叫ksproxyplug2in的COM对象(通常实现的是与下层驱动的流接口即是一种Stream Interface)来提供特定的功能,这些下层通信的实现几乎都包括在Driver中.而对应用程序开发者来说,都可以通过DeviceIoControl和CreateFile函数完成对Driver及设备的控制和访问,并且可以通过RequestDeviceNotifications函数查询和管理设备提供的接口.再根据接口函数实现直接对设备在Driver中的数据流进行控制的目的.其后还可以通过DeviceIoControl和WriteFile对捕捉的数据流进行操作.其中CreateFile的过程可以封装在待开发的Source Filter中,而WriteFile的过程可以封装在File writer中.2)运动检测算法将图片分为86的48块,则我们图像采集模块所创建的640480的图像可分为8080大小的48个区.在每个区域中直接比较两帧图像对应象素点的灰度值.对于图像区域S,判别条件是:582第2期 陈飞等:基于Windows CE的嵌入式视频监控系统研究与实现dij(x,y)=1,当f(x,y,i)-f(x,y,j)T0,其它,(x,ys)dij(x,y)N(1)其中,0f(x,y,i),f(x,y,j)255.T为域值,表示统计差值超过域值的象素点的数目,当数目大于固定值N时,则判定有运动发生.本算法不仅从阈值的变化进行判断,同时,又从变化的点数上予以限制,此算法可根据N值的设定来控制报警图像的大小,大大降低了因小目标物体而产生的误报警.为了避免天气、光线等因素发生变化时产生的误判断,我们进一步改进算法,增加了一个附加判别条件:(x,yss)f(x,y,i)-f(x,y,j)t(2)光线、天气变化会对整个图像产生影响,变化比较均匀,分布于整个区域.若是有人闯入,则变化是局部的、个别的.通过判断四个角区域S1,S2,S3,S4的灰度变化大小即可来判断是否为光线等分布均匀的干扰信号.当S1,S2,S3,S4四个区域都满足式(2)时,说明灰度变化是光线的影响,不是有人非法侵入,不用启动报警.该算法提高了检测的准确度,同时也容易实现,运算量增加不大,对检测速度影响不大,避免了由于光线等的干扰而导致虚警,大大减少了误报现象的产生,提高了报警的准确性.3)嵌入式Mail,Ftp设计10该模块属于报警模块,基于多线程原理设计,降低前台等待时间,整个实现都是基于SMTP协议11、Ftp协议12和Socket原语编写.利用封装机制,便于提高速度、移植和重用,当启动此模块后,当运动检测模块得到异常图像后,将通过发送E2Mail和Ftp通知用户.4 系统性能分析4.1 图像采集利用QuickCamPro5000摄像头,并采用最新的驱动,可达到20帧/s左右.图像采集模块采集到的图像为BMP格式的图片,采集图像大小和帧速可以在E2Life系统中设置.其中640480的图片大概是900 kb;其余尺寸大小按面积成比例.例如320240大小的图片大概是250kb.程序一监测到有运动发生即启动图像采集模块,并立刻把采集到的图像上传到FTP服务器.4.2 网络性能邮件服务器其性能受到网络情况的影响,在eB2oxII上发送一封邮件(邮件内容为普通文本)所需时间为1.2 s左右,因为邮件的发送采用后台线程模式,并不影响系统的性能.FTP服务器是利用Serv2U自己配置的服务器,服务器与系统处于相同的网络环境,在eBoxII上传一个900 kb左右的图像文件需要0.8 s左右,系统的实时性受网络情况影响.在网络情况良好的情况下,采用Ftp协议传送,能保证准确、快速发送到服务器.为了实现报警的功能,可以添加系统拨打电话模块或者短信模块,在采集到的图像变化比较大时,拨打用户的电话,或者发送短信通知用户.4.3 检测效果系统的动态检测与投影到视图上的象素点有关,和图像采集模块独立,并没有采用原始的图像文件.在检测效果上,因为算法一样,在eBoxII和PC上的检测效果一致,因为改进了检测算法,可以准确判断出光线等均匀变化的噪声干扰,表2给出了以人作为检测目标的动态检测效果,在光照充足、普通光照、阴天的条件下均进行了测试(准确率为在一定环境和灵敏等级下测试50次能正确识别的百分比).表2 动态检测效果Tab.2Effect of dynamic detect灵敏等级检测距离/m准确率/%光照充足普通光照阴天高1010096932094898730918785中109994922093888530858178低1096939020928683308078755 结 论本文将视频监控系统应用到嵌入式系统开发中,并以嵌入式操作系统Windows CE为软件平台,在面向对象方法的指导下,采用Socket技术、多线程技术、共享内存技术,利用定制内核工具Platform Builder和集成开发环境Embedded Visual C+4.0具体实现嵌入式视频监控系统E2Life.这样构造系统的过程是一条行之有效的快速开发嵌入式测控系统的道路,并较易形成产品的系列化,提高产品的竞争力.E2Life682厦门大学学报(自然科学版)2007年系统在开发时始终坚持开放性原则,利用面向对象的思想,类封装尽可能与平台无关,实现代码的精练与高效率,功能模块相对独立.当然,现在系统的功能尚不完善,还只是一个简单的模型,还有很多模块需要扩展,必须再接再厉,将现有系统继续开发完全,成为一个功能齐全、智能程度高的家居系统.参考文献:1 谭铁牛.智能视频监控技术概述C 第一届全国智能视觉监控学术会议.北京:中国科学院自动化研究所,2002:10-12.2 王学龙.嵌入式Linux系统设计与应用M.北京:清华大学出版社,2001.3ICOP Technology Inc.eBoxII EB/OL.tw.4 汪晓平.Visual C+网络通信协议分析与应用实现M.北京:人民邮电出版社,2003.5Ikeda N.Object2oriented technology to embedded soft2wareJ.IEEE,1998,7:157-164.6George M R.Windows CEfor a reconfigurable system2on2a2chip processor J.IEEE,2004,12:201-207.7 周毓林.Windows CE.net内核定制及应用开发M.北京:电子工业出版社,2005.8 陈向群.Windows CE.NET系统分析及实验教程M.北京:机械工业出版社,2003.9 傅曦.嵌入式系统Windows CE开发技巧与实例M.北京:化学工业出版社,2004.10 田东风.Windows CE应用程序设计M.北京:机械工业出版社,2003.11 汪兵.EVC高级编程及其应用开发M.北京:中国水利水电出版社,2005.12赵海.嵌入式Internet 21世纪的一场信息技术革命M.北京:清华大学出版社,2001.Research and Implementation of Embedded VideoSurveillance System Based on Windows CECHEN Fei,CHEN Qi2an3,ZHENG Ren2guang,CHEN Yong2jian(School of Information Science and Technology,Xiamen University,Xiamen 361005,China)Abstract:At present,Post2PC era,people more and more pay attention to the embedded products,and embedded technology hasalready become the research focus and consumption hotspot.Because of transmit quality and diversity of application area,the embed2ded surveillance system will become the target of the development of embedded system.Refer to the embedded system,Windows CEoperating system,network technology,this paper research and implement an Embedded Video Surveillance System E2Life based onWindows CE.The system unite the embedded terminal equipment and network trait and extend the foreground of embedded system.Key words:embedded system;Windows CE;video surveillance;kernel customization782第2期 陈飞等:基于Windows CE的嵌入式视频监控系统研究与实现
