基于全方位计算机视觉的遗留物检测系统.pdf
自动化测试计算机测量与控制.2010.18(3)Computer Measurement&Control517收稿日期:2009-07-03;修回日期:2009-08-19。作者简介:汤一平(1958-),男,浙江杭州人,博士,教授,主要从事全方位视觉传感器及其应用、计算机视觉等方向的研究。文章编号:1671-4598(2010)03-0517-03 中图分类号:TP391141文献标识码:A基于全方位计算机视觉的遗留物检测系统汤一平,富吉勇,陈耀宇(浙江工业大学 信息工程学院,浙江 杭州 310032)摘要:针对目前在遗留物检测方面所存在的检测范围小、误检率过高和无法捕捉到遗留物放置者等问题,设计了一种基于全方位计算机视觉的遗留物检测系统;首先,采用全方位视觉传感器(Omni-Directional Vision Sensors,ODVS)来获得更大范围的全景视频检测区域;其次,利用一种基于两个不同更新率的改进的混合高斯分布模型的建模方法,获得两个背景模型,再通过当前帧与获得的两个背景模型进行差分运算得到当前帧的暂时静止对象;再次,根据时间指标和距离指标判定暂时静止对象是否属于遗留物;最后,将遗留物所处的空间展开成透视图来进行报警;实验结果表明,该系统能有效地检测全景范围内的遗留物,具有较高的检测精度和鲁棒性。关键词:遗留物检测;全方位视觉传感器;混合高斯分布模型;长短周期;行为判断A System of Abandoned Objects Detection Based onOmni-Directional Computer VisionTang Yiping,Fu Jiyong,Chen Yaoyu(College of Information Engineering,Zhejiang University of Technology,Hangzhou 310032,China)Abstract:At present,video surveillance used in the field of abandoned objects detection has faced the problems:limit of detection range,high mistake of detection,unable to detect the owner of abandoned objects.Based on this situation,designed an abandoned objects detectionsystem based on computer vision.At first,Omni-Directional Vision Sensors(ODVS)is used to get larger detection area.Secondly,we usean improved mixed Gaussian modeling method based on two different update rates in order to get two background models,then subtract cur2rent frame from the two background models in order to detect the temporarily static objects.Thirdly,judge the temporarily static objects asabandoned objects or not,using the standard of time and distance.At last,alarmed after the abandoned object was detected.Experimentalresults show that the system is robust enough to detect the abandoned objects effectively.Key words:abandoned objects detection,ODVS,Gaussian mixture model,long-short cycle,behavior estimation0 引言当今世界反恐形势严峻,为保证社会安全,对可疑遗留物件的检测已成为机场、体育馆、候车厅和展览馆等公众场合安防系统不可缺少的内容。遗留物是指被运动主体携带从运动到静止,然后与运动主体分离,静止超过一定时间并且没有所属主体的物体1。遗留物检测属于静止物体检测的范畴,目前对静止物体检测的应用主要是违章停车和遗留物检测,违章停车的应用较多,而对于遗留物的检测应用,还需要进一步的完善,提高检测的精度2。遗留物检测之所以复杂,是因为需要进行遗留物检测的环境复杂,如机场等公共场合存在很多遮挡问题,并且不仅仅是判断物体是否从运动到静止,更需要建立模型,判断物体是否被运动主体携带从运动到静止,是否没有所属主体。1 相关研究中国发明专利3公开了一种遗留物检测方法及系统。包括以下步骤:(1)检测前景像素点,特征化前景像素点;(2)对前景像素点特征化的持续状态进行计时,提取计时达到预设值的像素点;(3)检测出由提取的像素点形成的连通区域,确定为待分析目标;(4)分析目标的运动特性以确认是否为遗留物。论文1-2和4中阐述了多种遗留物检测方法,核心思想为:建立背景模型检测暂时静止物体,然后根据暂时静止物体区域边缘轮廓以及其它先验知识来判断是否为遗留物。上述这些遗留物检测方法及系统存在着几个主要问题:(1)由于摄像装置的视觉范围有限,要检测较大场景范围的遗留物必须采用多个摄像装置;(2)由于没有考虑视频图像中运动对象和暂时静止对象发生事件的时间序列,缺少行为判定准则,会造成较高的误检测率;(3)无法获得遗留物放置者的信息。2 系统框架本文设计了一种基于全方位计算机视觉的遗留物检测系统,如图1所示。系统中主要包括了用于监视大范围全景内安全情况的视觉传感器以及用于根据视觉传感器的信号进行遗留物检测的功能模块。主要功能模块包括:(1)ODVS图像获取模块:用于获得监控场景的全景视频图像,包括系统初始化单元和图像获取;(2)场景内对象检测模块:用于抽取出监控场景内的运动对象、暂时静止对象和场景静态对象,包括长短周期背景建模单元和对象区分单元;(3)遗留事件检测模块:用于检测出在场景内发生的各种遗留事件的状态,包括遗留物品的携带者跟踪单元、遗留物品的携带者抓拍单元和遗留状态判断单元。518计算机测量与控制 第18卷图1 遗留物检测系统流程图3 系统详细设计311 无死角的全方位视觉传感器全方位视觉传感器ODVS摄像机主要由一次折反射镜面、二次折反射镜面、广角镜头和CCD摄像机组成。通过二次折反射将水平方向一周的全景图像折反射给CCD摄像机成像,这样就可以在一幅图像中获取水平方向360 的全景视频信息。无死角ODVS的结构图如图2所示。图2 无死角ODVS的结构图无死角ODVS应用于遗留物视频检测的优点是:(1)一个ODVS就能实现大范围场景进行监控;(2)在对遗留物品携带者进行跟踪时避免了用多个摄像头进行信息融合的繁琐工作;(3)获取一个场景图像时,ODVS在场景中的安放位置更加自由。具体设计请见参考文献5。312 暂时静止物体检测遗留物必须是暂时静止物体,为了有效地检测暂时静止物体,本文采用文献6提出的方法。该方法以混合高斯分布模型来建立两个不同更新率的背景模型,再根据其与当前帧的差值来得到两个不同更新率的前景对象,然后从不同更新率所获得的前景对象来判断全景内各种对象的状态。混合高斯分布模型(GMM)7是一种采用多个高斯分布来对每个背景像素进行建模的方法。其基本原理是使用混合高斯分布模型来表征图像帧中每一个像素点的颜色;当获得新的图像帧时,自适应更新混合高斯分布模型;在每一个时间段上选择混合高斯分布模型的子集来表征当前的背景;如果当前像素点的颜色与混合高斯分布模型相匹配,则判定该点为背景点,否则判定该点为前景点。采用混合高斯分布模型对背景像素进行建模来检测暂时静止对象,存在着如下一些问题:当背景像素更新率较快时,暂时静止的对象可能会被误检为背景;而更新率较慢时,暂时静止的对象又可能会和运动对象一起被检测为前景。为解决这上述问题,Fatih Porikli提出了一种改进的前景对象提取算法6,其基本原理是:建立两个混合高斯分布背景模型,赋予较小、较大的模型更新率,而其它的初始化参数如高斯分布个数、标准方差和权重系数等都是相同的。分别采用BL(long-term background)和BS(short-term background)表示更新较慢和较快的背景图像。每当获取一帧新图像,便分别与BL和BS进行差分运算,得到FL(Foreground Long)和FS(Foreground Short),FL和FS就能分别表示更新较慢和较快的前景图像。由于更新率的不同,在更新较慢的FL中可能包含了运动对象、暂时静止对象和噪声等;而在更新较快的FS中包含了运动对象和噪声等。根据FL和FS值之间的关系,可判断归纳出当前帧内某像素的4种不同类型,判定结果如表1所示:表1 根据FL和FS值判断某像素的类型类型FL(x,y)FS(x,y)预测类型11运动对象10暂时静止对象01随机噪声00场景静态对象类型1:如果该像素属于运动对象,那么在任意背景模型更新率下都是属于前景;类型2:如果该像素是从运动状态转为静止状态,若更新率较大,它将被视为背景,相反,在更新率较小的背景图像下,它是属于前景的;类型3:如果该像素是在某时刻被遮挡,然后解除,那么对于新显现的颜色,更新率较小的背景图像由于无法做到实时更新,仍然判定该像素为背景,而更新率较大的背景图像则做出相反决策;类型4:如果某像素是属于静态场景的一部分,那么在不同更新率的背景图像下都将被视为背景。只有在类型2即FL(x,y)=1FS(x,y)=0时,该像素才有可能是暂时静止对象。出于增强系统检测鲁棒性的目的,可以构造一个基于统计信息的可能性函数L来判断该像素(x,y)是否属于暂时静止对象,其定义如式(1)所示。L(x,y)=L(x,y)+1,FL(x,y)=1FS(x,y)=0L(x,y)-k,FL(x,y)1FS(x,y)0maxe,L(x,y)maxe0,L(x,y)maxe时,该像素就被判定为属于暂时静止对象。k表示可能性函数的衰减速率,它决定了当暂时静止对象从场景移除后,也就是在该对象融为场景背景或重新运动的情况下,系统解除警示的反应速度。第3期汤一平,等:基于全方位计算机视觉的遗留物检测系统 519313 遗留物检测我们根据表2的准则判断暂时静止物体是否真正处在遗留状态。表2 遗留物综合判定表类型距离指标-d时间指标-t结果类型1超过所规定的距离D或者完全消失静止时间超过所规定的时间T确认为遗留物类型2所规定的距离D的范围内无运动对象静止时间超过所规定的时间T确认为遗留物类型3范围内运动对象轨迹线的斜率与到遗留物的连线斜率的差 静止时间超过所规定的时间T确认为遗留物类型4除了类型13距离指标以外的情况静止时间超过所规定的时间T可 疑 遗留物类型5符合类型13距离指标静止时间未超过所规定的时间T可 疑 遗留物距离指标d用于确认遗留物品与遗留物品的携带者相分离的状态。当遗留物品的携带者与遗留物品开始分离时刻时,得到遗留物的位置信息(Ox,Oy),然后不断地读取从遗留物品的携带者跟踪单元中所计算得到的携带者的位置信息(Sx,Sy),然后计算这两个点之间的距离,计算方法由式(2)所示:d=(Sx-Ox)2+(Sy-Oy)2(2)时间指标t,用于计算暂时静止物体停留的时间,取物体被检测为暂时静止物体时的计算机系统时间为TStart,然后取当前的计算机系统时间TNow,物品所经历的静止时间可以由公(3)计算:t=TNow-TStart(3)314 透视展开算法当通过上述遗留物检测方法检测到全景场景中的遗留物后(包括确定遗留物以及疑似遗留物),系统需要预警以提示监控人员进一步确认。由于ODVS所采集的全景图像不符合人的视觉习惯,所以系统提供柱状展开视图方便监控人员查看,展开算法请见文献6。4 实验研究与分析为了验证系统算法的的有效性,我们在浙江工业大学存中楼大厅(监控面积约80m2)内进行了遗留物模拟实验。实验方法是人将一个纸箱带入到场景内,然后离开场景。我们将ODVS安置在大厅的中间,成像器件的分辨率为6403480像素,30帧/s。实验平台的微处理器采用主频为216GHz的AMD Athlon双核处理器,内存2G。实验主要验证了长短周期检测暂时静止物体如何判断为遗留物。在混合高斯长短周期建模检测暂时静止物体实验中,取高斯分布模型匹配的阈值215,高斯分布模型是否有效的阈值015,高斯分布个数为3,标准方差的缺省值为25,各分布的权重缺省值为0105,更新率较慢的赋值为01001,更新率较快的赋值为0105。设置阈值maxe为80,衰减系数k为1。如图3(a)为ODVS拍摄的全景图;(b)为全景图的局部放大图;(c)为(b)对应的长周期前景二值图,由图可知人和物都被检测为前景;(d)为(b)对应的短周期前景二值图,只有人被检测为前景;(e)为(b)对应的遗留物检测结果。图3 暂时静止物体检测的中间结间在暂时静止物体判定为遗留物实验中,设置时间指标t=4秒,即物体从被检测为暂时静止物体开始时算起,若静止时间超过4秒则被检测为遗留物。如图4所示,(a)为第225帧全景图,此时物体开始被检测为暂时静止物体;(b)为(a)经过95帧后的第320帧全景图,因为实验数据为30帧/s的视频,95帧图像经过的时间为95/30 4s,所以暂时静止物体被判定为遗留物;(d)为第400帧图像,很显然物体依旧被认为是遗留物。图4 遗留物检测5 总结本文实现了一种基于全方位计算机视觉的遗留物检测。首先通过ODVS获得大范围监控全景图像,然后根据长短周朝高斯建模来预测各种对象类型,接着根据判定为暂时静止对象和时间指标、距离指标来判断是否为遗留物,最后将遗留物所处的空间展开成透视图来进行报警。实验结果表明本文所提出的检测算法能有效地检测出整个全景内的遗留物体。今后的研究将注重对遗留物的携带者进行跟踪、抓拍和识别,并加入行为语义化处理流程8,同时也会关注遗留物被其他人拿走的视频检测。同样也要进一步优化系统程序来提高系统的鲁棒性和实时性。(下转第523页)第3期左万里,等:航天测控装备交互式电子技术手册应用研究 523据DM和发布结构功能完善的IETM,系统遵循了以下原则:面向用户需求配置模块浏览用户身份与其配属设备进行绑定,设备信息作为该用户的默认需求信息,从而决定所需发布的DM,做出合理配置。根据用户权限配置模块考虑到测控装备信息的秘密等级,系统规定了用户权限,以权限确保DM的发布范围受控。214 浏览子系统浏览显示子系统以文本、图形和多媒体等多种样式向用户显示数据模块具体的技术信息内容。(1)数据模块显示每一数据模块都是一个完整的XML文档,而XML文档描述的是数据本身,并没有规范数据的表现形式,通常通过CSS(级联样式表)和XSL(可扩展样式语言)以及XSL T为数据的显示提供发布机制。其中,CSS是W3C制定的标准,获得了广泛支持;XSL是XML的一个应用,提供定义规则的元素转换和显示,从而实现文档内容与显示样式的分离。使用XSL进行样式控制,不仅可以控制文本内容,还可以实现对标记属性的控制。(2)用户界面用户界面是测控装备IETM推广应用的关键,根据测控装备使用维护和岗位训练的特点,为充分发挥IETM功效,设计用户界面时遵循了以下原则:屏幕设计均衡、简洁、一致。人机交互具有指导性和层次性。系统自动匹配历史输入,灵活进行信息参引。信息集成模块化。测控装备信息主要包含在操作手册、安装手册和故障汇编等资料中,系统为了保持IETM内容与纸质资料的一致性,将IETM信息按照上述手册进行集成,分类存储显示。显示样式多样化,采用了文字、图形图像和多媒体等多种样式综合显示信息。3IETM应用模式利用通用的IETM开发平台,地域分布的各测控装备可以开展各自交互式电子技术手册的创作,所形成的各类数据以数据模块形式保存在公共源数据库中,并通过网络浏览器访问及查询。由此形成了以公共源数据库为中心的测控装备IETM群,各级各类用户依据权限访问和使用装备信息,达成“一次创作、多次共享”的目的。(1)IETM创作:从测控装备研制签订合同时介入,向工业部门提出IETM数据需求,明确数据组织标准、创作平台和数据模块编辑器等软件,必要时对厂家和接装人员就IETM和本系统进行简要培训。接装人员在厂家协助下完成装备结构树绘制、数据模块设计、信息集规划、数据模块编辑、出版物定义和发布等IETM创作活动。(2)IETM应用:各IETM完成后,公共源数据库存用于存储所有装备的信息,各级人员根据自己的权限通过网络访问数据,也可从公共源数据库中复制数据切片到本地访问,以部分在线式浏览模式实现机动装备的IETM保障。(3)IETM管理:包括单个IETM的管理和基于IETM群的总体管理。单个装备IETM的管理者依托装备总体人员,经审批完成装备技术状态改变后IETM信息的同步,比如系统升级、装备改造和故障维修等。总体管理主要是指IETMs的总体负责人,依托总体技术部的系统工程师实现对所有测控装备IETM的浏览和维护,并负责用户权限的管理。4 结束语在航天高密度任务背景下,IETM的应用能有效提高测控装备保障效率,以减少信息查询时间、提高维修效率和保证装备的战备完好性,同时也为装备综合数据环境、装备管理信息系统和实力评估等信息化建设打下坚实的基础。在航天测控装备领域推广应用IETM是一个较为庞大的系统工程,本文探讨了IETM应用建设的第一阶段,对于与装备厂家的接口规范、数据交换和职责划分等内容还需进一步研究。参考文献:1李 勇,王 洪.军用飞机交互式电子技术手册研发探讨J.航空标准化与质量,2006,(3):32-36.2李宗亮,顾宗磊,等.基于ASD S1000D的IETM创作研究J.科学技术与工程,2007,7(7):4939-4943.3丁 凡.ASD S1000D规范简介J.航空标准化与质量,2006,(3):53-56.4周伟祝,唐金国.ASD S1000D规范中的数据模块编码分析J.世界标准化与质量管理,2008,6.5常 雷,杜晓明,等.IETM数据模型标准研究J.计算机测量与控制,2009,(4).(上接第519页)参考文献:1 Yingli Tian,Rogerio Feris,Arun Hamp2apur.Real-Time Detec2tion of Abandoned and Removed Object in Complex EnvironmentsA.The Eighth International Workshop Visual Surveillance C.2008.95-102.2李国辉,涂 丹,袁 见.监控视频运动目标检测减背景技术的研究现状和展望J.中国图形图像学报,2006,11(7):919-927.3 刘德健,赵 勇.遗留物检测方法及系统 P.中国专利:CN101231696,2008-07-30.4 N.Bird,S.Atev,N.Caramelli,R.Martin,O.Masoud,N.Pa2panikolopoulos,“Real Time,Online Detection of Abandoned Ob2jects in Public Areas”A.IEEE International Conference on Ro2botics and Automation C.May,2006.3775-3780.5汤一平,叶永杰,朱艺华,等.智能全方位视觉传感器及其应用研究J.传感技术学报,2007,20(6):1316-1320.6 Porikli F.Detection of temporarily static regions by processing videoat different frame rates A.2007 IEEE conference on advancedvideo and signal based surveillance C.2007.236-241.7 P.KaewTraKulPong and R.Bowden.An improved adaptive backgroundmixture model for real-time tracking with shadow detection A.inProceedings of the 2nd European Workshop on Advanced Video-BasedSurveillance Systems C.Sept.2001:pp.274-279.8汤一平,何祖灵.动态图像理解技术在ATM智能监控中的应用J.计算机测量与控制,2009,(6):1110-1113
