基于运动目标检测跟踪算法的智能视频监控系统设计与研究.pdf

上海大学硕士学位论文基于运动目标检测跟踪算法的智能视频监控系统设计与研究姓名：毛群凌申请学位级别：硕士专业：信号与信息处理指导教师：张俊杰20081001上海大学硕士学位论文摘要智能视频监控系统是一门集通信、计算机视觉、数字视频、运动目标检测跟踪等技术为一体的综合系统，随着视频信息处理技术的发展，全数字化、网络化的视频监控系统优势越来越明显，其高度的开放性、集成性和灵活性为视频监控系统和设备的整体性能提升创造了必要的条件，智能视频(：I n t e l l i g e n tV i d e o)监控成为第三代全数字化网络视频监控领域中最前沿的应用模式之一。本论文围绕运动目标检测和跟踪算法进行研究，然后设计出一个基于运动目标检测和跟踪算法的智能视频监控系统。取得的创新成果如下：(1)针对S n a k e 轮廓过度收缩或没有达到真实轮廓的现象，提出运动目标边缘记忆轮廓收缩算法，命名为R G r e e d y(R e c o r dG r e e d y)算法，即在原始G r e e d y 算法的基础上增加运动边缘点约束力和一个区域面积项，此算法在解决该问题上具有鲁棒性。(2)帧间差分算法中，由于环境和噪声的影响，固定的阈值分割很难准确提取目标，且伴有量化噪声，针对这两个缺陷，提出在线阈值三帧梯度差分检测算法，实验证明该算法具备自适应性，可以更有效地提取出运动目标并消除了量化噪声，解决了上述两缺陷。(3)对K a l m a n 滤波器进行创新性3 D 建模，针对M e a nS 1 1 i R 对快速运动目标的跟踪不稳定；当运动目标出现大比例遮挡时，M e a nS h i f t 算法会失效两个缺陷，提出K a l m a n M e a n S h i f t 残差跟踪算法，算法中参数q，吒的取值很关键，其决定着物体的加速度，直接影响K a l m a n 滤波器是否能准确对下一帧运动目标的位置进行预测，在本文取值6 最佳。实验证明该算法可以实现对快速运动目标的稳定跟踪，并对运动目标的大比例遮挡具有鲁棒性。(4)新型可动态扩展的设计方式：采用A R M 传输母板与视频监控子板的主从设计方式，根据现场需要可灵活增加视频监控子板的数目，解决了传统监控系统固定监控路数的问题，可以灵活适应视频监控系统的监控变化，硬件上利用H P I 总线实现多路监控子板的动态扩展；软件上利用H P I 总线V上海大学硕士学位论文动态扫描实现各个子板的自动辨识以及驱动程序的自动加载。(5)监控系统的智能化。设计出一个基于运动目标检测跟踪算法的智能视频监控系统，实现了智能声光报警和智能储存：当检测到运动目标时自动声光报警，并同时自动提高压缩码率，提高被摄运动目标的图像质量，当运动目标离开监控场景时跟踪结束时，降低压缩码率，节省储存资源。关键词：智能视频监控，检测，跟踪，K a l m a n，M e a n s h i f l上海大学硕士学位论文A BS T R A C TI n t e l l i g e n td i g i t a lv i d e os u r v e i l l a n c es y s t e mi sac o n v e r g e n ts y s t e r nt h a ti sc o m p o s e do fc o m m u n i c a t i o nt e c h n i q u e，c o m p u t e rt e c h n i q u e,d i g i t a lv i d e ot e c h n i q u et o g e t h e rw i t hd e t e c t i n ga n dt r a c k i n gt e c h n i q u e W i t ht h ed e v e l o p m e n to fv i d e op r o c e s s i n gt e c h n i q u e，d i g i t a lv i d e os u r v e i l l a n c eb a s e do ne t h e r n c tn e t w o r kh a sm o r ea n dm o r ea d v a n t a g e s W i t ht h ea d v a n t a g eo fi n t e g r a t i n ga g i l i t y,i n t c r l l i g e n td i g i t a lv i d e os u r v e i l l a n c eb e c a m et h em o s ta d v a n c e dd e v i c eo ft h et h i r dg e n e r a t i o nd i g i t a lv c d i os u r v e i l l a n c e I nt h i st h e s i s，r e s e a r c ho fd e t e c t i n ga n dt r a c k i n ga l g o r i t h mi sd e s c r i b e df i r s t l y A f l e rt h a t，ad e s i g no fi n t e d l i g e n td i g i t a lv e d i os u r v e i l l a n c eb a s e do nd e t e c t i n ga n dt r a k i n ga l g o r i t h mi si n t r o d u c o d T h em a i ni n n o v a t i v ea c h i e v e m e n t sa r ea sf o l l o w s：(1)D u et oS n a k es h r i n k i n go v e ra n dn o-r e a c h i n gr e a le d g ep r o b l e m，t h i sp a p e rp r e s e n t sR G r e e d y(R e c o r dG r e e d y)a l g o r i t h m C o n s t r i c t i o np o w e ro fe d g ep o i n t sa n da r e af a c t o ra r ea d d e di n t oi t，i tc a ns o l v et h et w op r o b l e m sa b o v e(2)I nf r a m ed i f f e r e n c ea l g o r i t h m,w i t ht h ee n v i r o n m e n tn o i s e，i ti sd i f f i c u l tt od i s t i lo b j e c tb yu s i n gf i x e dt h r e s h o l d，a n di ta l s oh a sq u a n t i t a t i n gn o i s e D u et ot h e s et w od i s a d v a n t a g e s，t h ef l e x i b l et h r e s h o l df r a m ed i f f e r e n c ea l g o r i t h mr a i s e di nt h i sp a p e rc a ns l o v et h et w op r o b l e m s(3)F i r s t l y,K a l m a n3 Dm o d e lf i l t e ri sn e w l yd e s c r i b e d W i t hb a de f f e c to f t r a c k i n gl l i g h s p e e d0 b j e c tb a s e do nM e a n-s h i f ta l g o r i t h m，a n dw h e nt h eo b j e c ti sc o v e r e dt e m p o r a r i l y,t h eM e a n-s h i f tw i l lb ei n v a l i d I nt h i sp a p e r,K a l m a aM e a nS h i f td i f f e r e n c ea l g o r i t h mi sr a i s e dt os o l v et h et w op r o b l e m s I nt h i sa l g o r i t h m，q，吼，吒a r ev e r yi m p o r t a n tp a r a m e t e r s，i nt h i sp a p e r,t h ev a l u e6i sb e s tf o rt h e m T h ee x p e r i m e n tr e s u l ti n d i c a t e st h a ti tc a l lt r a c kh ig hs p e e do b j e c ts t a b l ya n dc a l ls o l v et h eo b j e c t-c o v e r i n gp r o b l e m(4)D a n a m i ee x t e n d i n gm o d eo fi n t e l l i g e n tv i d e os u r v e i l l a n c ei sn e w l yd e s c r i b e di nt h i sp a p e r,i tC a na g i l d yc h a n g et h en u m b e ro fm o n i t o r i n gc h a n n d，a n dV I I上海大学硕士学位论文s o l v et h em o n i t o r i n gc h a n n e lf i x e dp r o b l e m(5)An e wi n t e l l i g e n tv i d e os u r v e i l l a n c es y s t e md e s i g nb a s e do nd e t e c t i n ga n dt r a c k i n ga l g o r i t h mi sd e s c r i b e dc l e a r l y,i tc a l li m p l e m e n ti n t e l l i g e n tm o n i t o r i n gf u n c t i o n s，s u c ha s a l a r m i n gi n t e l l i g e n t l ya n ds t o r i n gv i d e od a t ai n t e l l i g e n t l ya n dS OO n K e y w o r d s：V i d e oS u r v e i l l a n c eS y s t e m，D e t e c t i n g,T r a c k i n g,Z a l m a n，M e a n s h i RV I I I原创性声明本人声明：所呈交的论文是本人在导师指导下进行的研究工作。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。签名：复盈凌日期：兰!堡兰：?石本论文使用授权说明本人完全了解上海大学有关保留、使用学位论文的规定，即：学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容。(保密的论文在解密后应遵守此规定)签名：毛聋盈，号师签名：兰甚么惫垄日期：z!：2 呈：n上海大学硕士学位论文1 1 引言第一章绪论一个理想的智能视频监控系统应该是这样的：如果有一天，城市的一角突然发生枪击事件。犯罪嫌疑人立即逃向不远处的轿车，试图驾车逃跑。然而，他的一举一动已经落入了公共安全监控网之中，难以遁形。首先，带有声音识别和声源定位功能的视频监控系统检测到枪声之后立即调整摄像头角度和方向，对准枪声来向，同时启动第一次报警，报告枪击发生的大致位置。该摄像头采集视频，检测运动人体，分析人物的行为特征，并立即定位、跟踪嫌疑人。定位后，通知系统内处于合适位置的多个摄像头提取嫌疑人面部特征，试图驾驶的车辆的车牌等，并上传到管理系统，建立数据库表项，分发到公安局，车站，机场，银行，海关等重点单位。监控系统转而跟踪该车辆。警方在嫌疑人运动的路上设置警力拦截和追捕。即使嫌疑人侥幸逃脱现场追捕，当他出现在全国任何一个摄像头前的时候，仍然无法逃脱被捕的命运。1 2 视频监控系统的发展历史视频监控系统在电信、银行、交通、电力、水利、石化、智能大厦等诸多领域有着广泛的应用。随着计算机技术、多媒体技术和网络技术的发展，视频监控系统正向数字化、网络化、集成化和智能化方向发展。按照发展阶段可划分为三代，即第一代模拟视频系统(V C R：V i d e oC a s s e t t eR e c o r d e r s)、第二代部分数字化视频系统(D V R N V R D i 百t a lV i d e oR e c o r d e r s N e t w o r kD V R)、第三代全数字网络化的视频系统(P V I n t e m e tP r o t o c o lV i d e o)，而智能视频监控系统(I n t e l l i g e n t V i d e o)是第三代最前沿视频系统。其发展趋势如图1 1 所示：上海大学硕士学位论文图1 1 各类视频监控系统发展趋势第一代模拟视频监控系统(V C R)主要是指以数字信号控制的模拟视频监控系统，该阶段也可以分为两个阶段。第一阶段是2 0 世纪8 0 年代，该阶段为微处理器的迅速发展，视频监控系统利用基于微处理器固件的矩阵切换器，将原来分散的全硬件视频监控系统集中管理，用键盘进行视频切换，用磁带录像机对视频录像。第二阶段是2 0 世纪9 0 年代初，视频监控系统采用软件设计，用P C 机实现摄像机到监视器的视频矩阵切换、云台和镜头的统一控制，通过串口连接报警设备，并通过软件程序自动完成视频切换、云台控制、报警联动、视频录像等各项控制功能。系统能充分利用P C 机的资源，使视频监控系统随电脑技术的发展而不断进步，同时其开放性的结构特性更可使之与其它多种系统实现互动集成，如消防报警系统、出入口管理系统、楼宇自控系统等。第二代部分数字化视频系统：9 0 年代，计算机网络开始诞生并迅速发展，随之带动了数字视频技术的发展，使数字视频的存储和传输成为可能。数字信号的传输可靠性较高。与模拟视频监控系统相比具有：图像质量好、数据的储存成本低、传输距离远等特点。且监控人员不必要在现场就可以对监控现场进行实时监控，大大提高了监控的工作效率和灵活性。所以第二代部分数字化视频系统一出现就得到大众的青睐，被广泛的应用于各个行业，并且逐步取代模拟视频监控系统。第二代部分数字化视频系统终端功能较强，便于现场操作。但稳定性不好，视频前端(如C C D 等视频信号的采集、压缩、通讯)较为复杂，可靠性不高，P C机也需专人管理，特别是在环境或空间不适宜的监控点，这种方式不理想。第三代全数字化网络视频系纠2】：近年来，随着远程监控系统被越来越多的应用于各个领域，对视频监控系统的要求也越来越高：操作简单、实时可靠、多2上海大学硕士学位论文功能、数字化、经济实用的视频监控系统的开发和设计越来越受到人们的关注，全数字化网络视频系统应运而生。全数字化网络视频系统【3】不需处理模拟视频信号，而是把摄像机输出的模拟视频信号通过视频编码器直接转换成T C P I P 数据流。视频编码器具备视频编码处理、网络通信、自动控制等强大功能，直接支持网络视频传输和网络管理，使得监控范围达到前所未有的广度。除了编码器外，还有解码器、控制器、录像服务器等独立的硬件模块，它们可单独安装，不同厂家设备可实现互连。全数字化网络视频系统的优点是克服了模拟闭路电视监控的局限性：首先，数字化视频可以在计算机网络(局域网或广域网)上传输图像数据，基本上不受距离限制，信号不易受干扰，可大幅度提高图像品质和稳定性；其次，全数字视频可利用计算机网络联网，网络带宽可复用。随着视频信息处理技术的发展、全程数字化、网络化的视频监控系统优势越来越明显，其高度的开放性、集成性和灵活性为视频监控系统和设备的整体性能提升创造了必要的条件，智能视频(I n t e l l i g e n tV i d e o)监控成为第三代全数字化网络视频监控领域中最前沿的应用模式之一。1 3 智能视频监控系统研究现状视频监控系统从最初的模拟闭路电视监控开始，经历了数字化，网络化的发展，正在向智能化的方向迈进。视频压缩技术的发展促进了视频监控系统的数字化，节约了大量的存储空间。计算机网络的普及和带宽的增加使得全数字网络视频监控成为现实。而经过科研人员4 0 多年的不懈努力，计算机视觉已经进入突破式发展阶段。得益于计算机视觉的研究成果，智能视频监控系统开始得到产业化应用。从上世纪9 0 年代中期开始，以卡耐基梅隆大学(C M U)和麻省理工学院(M I T)为代表的，多家美国高校所参与的，由美国国防高级研究项目署设立的视觉监控重大项目V S A M 4 1(V i s u a lS u r v e i l l a n c ea n dM o n i t o r i n g)，以及其它科研机构的研究成果，使得智能视觉分析取得了快速发展。2 0 0 1 年美国“9 1l事件”，以及后来的西班牙马德里列车连环爆炸和英国伦敦地铁大爆炸等恐怖袭击后，全世界范围内对视频监控系统，包括智能视频分析系统的需求空前高涨。上海大学硕士学位论文在英国全国范围内已经安装摄像机4 2 0 多万个，平均每1 4 人一个，一个人一天之中可能出现在多达3 0 0 个摄像机前(英国T h eD a i l yM a i l)。国内，2 0 0 7年底广州市安装完毕2 5 万个治安摄像机，北京在2 6 3 万台摄像机的基础上，又在所有重点单位、人员聚集的公共场所、重要的交通枢纽、城市重要基础设施及法律法规规定的重点区域安装公共图像信息系统并且全部与警方监控网联网。上海2 0 1 0 年前将在马路上安装2 0 多万个监控摄像机，全面建立“社会防控体系”。海量的监控图像需要视频监控系统智能地选择压缩、存储和检索内容。当前，除了C M U 和M I T，奥地利G r a z 理工大学的嵌入式智能摄像机研究组，I B M 的S 3(S m a r tS u r v e i l l a n c eS y s t e m)项目组，I n t e l 的I R I S N E T(I n t e r n e t s c a l e，R e s o u r c e i n t e n s i v eS e n s o rN e t w o r kS e r v i c e s)项目组等，分别在分布式智能监控系统的不同领域处于领先地位。O b j e c tV i d e o，H i s i g n，3 V R 等公司率先实现了智能视频监控的工业应用。在国内，中科院自动化所，清华大学电子工程系和自动化系等处于研究的前列。1 4 智能视频监控系统的技术背景智能视频监控的核心内容之一是对特定目标的自动检测跟踪【5】。目标检测跟踪可分为5 个步骤，包括运动检测、目标分类、目标(类型)跟踪、行为分析和目标(个体)跟踪。例如对人体的跟踪：首先从实时图像序列(即视频)中检测出运动物体，再判定运动物体中的人体，然后跟踪人体的运动轨迹，并分析和选定有异常行为的人，如在车站，机场等遗留包裹的人，最后对行为异常的人进行持续跟踪。运动检测是从图像序列中将变化区域从背景图像中提取出来。运动区域的有效分割将大大减少后继过程的运算量。然而，背景图像的不稳定性，如阴影，光照，慢移动(如蜗牛的爬行)，静移动(树叶的摆动)等等，也使得运动检测非常困难。运动检测算法可按照不同分类标准分为多种。中科院自动化所把运动检测算法归纳为三种：背景消除法，时间差分法，光流法。背景消除法和时间差分法都可以看作是差分图像法。背景消除法是目前运动分割中最常用的一种方法，它利用当前图像与背景图像的差分来检测出运动区域。时间差分方法是在连续4上海大学硕士学位论文的图像序列中两个或三个相邻帧间采用基于像素的时间差分并且阈值化来提取出图像中的运动区域。基于光流方法的运动检测采用了运动目标随时间变化的光流特性，通过计算位移向量光流场来初始化基于轮廓的跟踪算法，从而有效地提取和跟踪运动目标。该方法的优点是在摄像机运动的情况下也能检测出独立的运动目标。目标分类的目的是从检测到的运动区域中将特定类型物体的运动区域提取出来。根据利用的信息的不同，目标分类可以分为基于运动特性的分类和基于形状信息的分类两种方法。基于运动特性的识别利用目标运动的周期性进行识别，受颜色、光照的影响较小。基于形状信息的识别利用检测出的运动区域的形状特征与模板或者统计量进行匹配。目标跟踪是在连续的图像帧间创建基于位置、速度、形状、纹理、色彩等有关特征的对应匹配。依据不同的跟踪方法可分为基于模型的跟踪、基于区域的跟踪、基于活动轮廓的跟踪、基于特征的跟踪等。联合目标跟踪与分类(J T C)技术是信息融合领域新兴的一个研究方向。其基本思想是，通过在目标跟踪器和目标分类器之间进行双向信息交互，来同时有效地提高目标的跟踪精度和分类性能。在特定情况下需要对跟踪目标从类型细化到个体。这需要对目标的行为进行分析和理解。行为理解的关键问题是如何从学习样本中获取参考行为序列，并且学习和匹配的行为序列必须能够处理在相似的运动模式类别中空间和时间尺度上轻微的特征变化。1 5 课题的提出与意义本课题来源于上海市教委项目“基于M P E G-4 的智能视频监控系统研究与开发”(0 5 A Z 5 0)。以前，广泛应用在银行、商场等场合阻1 的摄像机监控通常只是简单的录像，以便用于事后的取证，而这样的应用损失了图像的基本价值(一个动态的、实时的媒质)，就如同把直播变成录像一样，这与人们对视频系统真正需求是有差距的。无数事实证明，事后追查是必须的，但事前的预警更为重要，它可以把一些重大事件隐患抑制于萌芽之中，避免亡羊补牢。因此监控系统智能化成为一个重要研究方向。5上海大学硕士学位论文所谓“智能化，就是要充分挖掘抽取视频资源中的关键信息，并利用这种信息为用户提供有价值的服务。比如，当监控系统发现一个来历不明的物品较长时间地出现在安全区域，或者发现可疑人物游荡在安全管理的区域以及其他的异常行为时，系统能对这样一些具有潜在威胁的事件及时捕获，并对是否介入事件做出智能的判断，从而有效抑制人作为行为主体所引致的系列问题，实现真正意义上的全天候的监控。智能化监控系统除了可以提高报警精确度，减少漏分析或者误分析的现象外，还可以缩短响应时间，提高响应速度，形成更为有效的现场数据，在安全威胁发生之前就能够提示安全人员关注相关监控画面，为潜在威胁做好准备工作。于是，近年来，智能视频监控系统也开始在一些特定的场合，如车站、银行、商场等公共领域普及逐渐兴起。实际上，目前大多数监控系统都还停留在普通的网络视频监控的概念上，智能化程度并不高，还处于比较初始的阶段。一些智能化监控系统还只能分析一些较为简单的异常行为，其光照环境适应性也处在较低的水平，离用户所期望的理想效果还差得比较远。随着市场上对智能视频应用需求的不断提升，很多厂商正投入资金和研发力量从事监控系统智能化的研究，也有不少厂商开始着手引进国外知名厂商的智能视频软硬件技术，推出了自己相关的产品，整个市场处于起步阶段。基于此，本课题在深入分析和研究运动目标检测和跟踪算法并提出改进的检测算法和跟踪算法的基础上设计了一个基于运动目标检测和跟踪算法的智能视频监控系统，达到智能监控的目的。该系统采用本文作者提出的在线阈值三帧梯度差分检测算法对运动目标进行检测，当检测到运动目标时，提取出运动目标中心位置信息，然后利用本文作者提出的K a l m a nM e a nS h i f t：残差跟踪算法对其进行跟踪；功能上实现了智能报警和智能存储，即：当检测到运动目标时，自动通知A R M 9 控制声光报警装置报警，达到预警的目的，同时通过A R M 9 控制M P E G 4 视频压缩芯片提高压缩码率，达到针对运动目标(感兴趣的对象)进行高质量图像采集储存的目的：当运动目标离开时跟踪结束，同时自动通知A R M 9控制M P E G 4 视频压缩芯片降低压缩码率，实现对非感兴趣的场景低码率压缩储存，达到节省存储资源的目的。6上海大学硕士学位论文在硬件设计上提出新的思路，采取可动态扩展的设计方式，即：采用A R M传输母板与视频监控子板的主从设计方式，根据现场需要可灵活增加视频监控子板的数目，解决了之前的固定监控路数的问题，可以适应视频监控系统的监控变化；软件上传输母板采用功能强大的L i n u x 操作系统，使得该系统能够完成M P E G 4 视频压缩数据的在线处理和网络传输。1 6 本论文内容本论文包括以下几部分的内容：第一章：介绍视频监控系统的的发展历史、智能视频监控的研究现状和技术背景，并提出本课题研究的内容和意义。第二章：首先介绍了运动目标帧间差分和背景差分检测理论并给出算法流程；在分析S n a k e 模型和曲线能量函数的基础上贪婪(G r e e d y)算法进行介绍；接着再介绍K a l m a n 滤波理论；然后深入分析M e a nS h i f t 算法跟踪理论，推导出M e a nS h i f t 向量；最后对数学形态学理论进行论述，把数学形态学引入运动目标检测。第三章：首先在贪婪算法基础上提出R G r e e d y 算法，在解决轮廓过度收缩或没有达到真实轮廓的问题上具有鲁棒性；然后针对帧间差分法的缺点，提出一种在线阈值三帧梯度差分检测算法，该算法在提取边缘的同时也提取纹理，去噪性能良好，具备自适应性，并通过实验结果证明其在运动物体检测上具有鲁棒性。第四章：首先在分析K a l m a n 滤波的基础上，导出K a l m a n 滤波器的预测估计功能，并对K a l m a n 滤波器进行创新性3 D 建模；然后分析了M e a nS h i f t 存在的缺陷，即：1 M e a nS h i f t 对快速运动目标的跟踪效果不好；2 当运动目标出现大比例遮挡时，M e a nS h i f t 算法会失效。针对M e a nS h i f t 的这两缺陷，提出一种基于M e a nS h i f t 的快速运动目标跟踪算法，即g a l m a nM e a nS h i f t 残差跟踪算法。第五章：主要介绍了基于A R M 9 的智能视频监控系统的硬件设计。硬件设计分为A R M 9 传输母板硬件系统和视频采集子板硬件系统。本章详细介绍了系统设计、部分电路原理图、各功能模块接口设计。最后阐述本文的一个创新思路：系统的灵活可扩展性通信模式。第六章：本章主要介绍智能视频监控系统的软件开发。首先介绍了U-b o o t7上海大学硕士学位论文和L i n u x 内核在基于A R M 9$3 C 2 4 1 0 处理器上的移植。然后阐述了L i n u x 操作系统下视频采集以及M P E G-4 视频压缩的驱动程序设计。并在此基础上实现了视频数据的采集、存储和网络传输。并实现了基于改进的检测和跟踪算法的智能监控(智能声光报警和智能存储)和实时跟踪播放，最后给出系统的测试结果。第七章：全文的结论部分，对所做的工作和取得的成果分别做了总结，并指出该智能视频监控系统需要完善的地方。并对智能视频监控系统的发展作出展望。1 7 本章小结介绍视频监控系统的的发展历史、智能视频监控的研究现状和技术背景，并阐述本课题的提出与意义，最后对本文研究的内容进行概括。8上海大学硕士学位论文第二章智能视频监控中运动目标检测跟踪理论2 1 帧间差分检测理论在视频图像序列中，最有用的信息是相邻两帧之间图像信号的变化信息，如果每帧之间无任何变化，则序列图像的信息量将大大降低。而帧间图像信号的变化往往又包含了丰富的目标运动信息，这些正是我们利用运动信息对视频运动目标进行分割【刀的基础。帧间差分法是通过比较相邻两帧对应像素点的变化，然后使用阈值检测来提取视频序列图像中运动目标区域的一种方法。视频图像序列中，第k 帧图像f(x，y，k)与第k-1 帧图像f(x，Y，k 1)之间的变化可以用二值差分图像D(x，Y，k)来表示，即：。c x，y，七，=：lI!：二嬲-一1。)，1I二；c2-，式中T 为差分图像二值化的阈值。其中二值图像中的“0”代表对应在前后帧图像间没有发生运动变化的地方，而“l”则代表对应前后帧图像间发生运动变化的地方。在假设外界环境光照未变化的条件下，对于视频序列 f(x,y，k)，k 为帧序列，图像相邻第k 帧和第肛1 帧，可以表示为：f(x，y，k)=a k a-,(而y)+6(工，y)+m k(x，y)+，气(石，Y)(2-2)f(x,y，k 一1)=a k j l(x，y)+6(工+缸，y+缈)+心一l(工，y)+n k l(而y)(2-3)两式中，a k j 1(x，)，)为第k 帧和第k-1 帧之间的共同背景区域，6“y)和b(x+k x，少+缈)分别对应于第k 和k-1 帧中运动目标区域，(缸，缈)表示运动目标从第k 帧到k-1 帧的位移矢量，“J，)和一。“少)分别表示运动目标物体在第k、k-1 帧中遮挡区和恢复区的背景区域，(工，y)和心一。(x，少)分别表示第k、k 1 帧中的噪声。则相邻之差可以表示如下：D(x，Y，七)=6(工+而y+A y)-b(x,y)+u I l(bJ，)一(x，Y)+n k l(x，y)一n k(x，Y)9J 海太学硕 位论立【2-4)若令B(x,y，)=6 0+A x，Y+6 y)-b(x，y)+“川(，)一m k(x,y)表示目标运动变化的区域，N(x,y，t)=月(暑y)一H 女(五y)为相邻帧之间的噪声a 则式(2-4)将表示为：D(x，Y，)=S(x，Y，女)+N(x，Y，k)(2 5)即由式(2 5)可知，差分图像包括运动目标引起的运动变化区域和噪声，其中目标运动变化区域还包括真正的运动目标区域、显露和被覆盖的背景区域。图2 一l 为视频图像序列相邻两帧差分运算的示意图，(a)为第k-1 帧，(b)为当前帧，P 和Q 分别表示由于目标运动的影响导致的遮挡和显露的背景。匠回匾(a)第k-1 帧(b)第k 帧(c)运动变化区域酗2-1 运动帧间差分示意图由图2-1(c)可知，由目标运动引起的变化区域在空间位置上包括运动目标在前后两帧中的共同位置(图中黑色区域)、在当前帧中新显露出的背景区域和新覆盖的背景区域三部分。但是实际成像过程中由于噪声的存在且相邻两帧视频图像在成像过程中的噪声不同，使得相邻两帧之间的差分图像中除了运动变化区域外还存在着噪声区域。故在对视频序列图像相邻两帧进行差分运算后，需对差分图像中的噪声区域和运动变化区域进行划分，最后在运动变化区域中根据视频运动目标的特征，并依据一定的算法检测出视频运动目标。图2-2 为基于两帧差分法的视频运动目标检测流程围。勘：H!H!l圈2-2 丛r 帧问等分注的税频运动日标检洲流样幽利H j 帧削差分法进行日柘检删的主要优点在于：算法实现简啦：程序设计复杂度低；易于实现实时监视：且山于颤削时问间隔般较短，对场景光线的变化般不A 敏感。但在研究和应用中存在二个问题：一足对运动日标彳E 两帧中变化的信息进行检测，会存在较多的伪目标点，检测出的目标往往比实际的H 杯人。二是两帧问口标的苇祷部分不容易被检测出来，即只检测出目标的部分或者出上海大学硕士学位论文现了较大比例的空洞，这是由于直接用两帧相减后，保留下来的部分是两帧中相对变化的部分，所以两帧间目标的重叠部分就很难被检测出来。2 2 背景差分检测理论基于背景差分法的视频运动目标检测适用于背景静止情况下的视频分割【B】其主要基于以下两个假设：假设1：在背景静止的情况下，若外界光照条件不变，且在不考虑噪声的情况下，视频序列图像中的背景保持不变。假设2：在目标可视的情况下，目标与背景的灰度之间存在着一定的对比度。根据假设1，在静态场景的条件下视频序列图像中不包含目标的完整背景，但在每一帧中背景都相同，保持不变。在不考虑噪声的情况下，视频序列图像的内容可分为静止的背景和运动的目标两部分。由于运动目标会遮挡住一部分背景，所以每一帧中的背景并不等于完整背景，而只是完整背景的一部分。随着运动目标的逐帧运动，会使被遮挡的背景逐渐显露出来。而基于背景差分法的视频运动目标检测算法的一个关键技术就是根据一定的准则从连续k 帧图像中估计出该视频序列图像的完整背景。估计出的完整背景同样适用于视频序列图像以后的各帧。设曰“力表示视频序列的完整背景，从第k 帧开始，一直到第k+n 帧估计出完整背景，即：B(x,y)=以，t(五y)，L+l(五y)，“2(五y)J“。(五y)】(2 6)其中五，口表示背景估计算子。估计方法一般有平均值法，加权值法等，这里不详细介绍。对于视频序列图像中估计出完整背景后的各帧图像，在不考虑噪声影响的条件下，可以表示为：1(x，Y，七)=M I(x，Y)+B k(x，y)(2 7)即表示为第k 帧中的背景区域和运动目标区域两部分。显然第k 帧中的背景风“力是完整背景中的一部分，因此可以将完整背景划分成第k 帧中的背景区域和被第k 帧中的运动目标遮挡住的背景两部分。即：上海大学硕士学位论文曰(五y)=B I(石，y)+q(x，J，)(2 8)其中咖)表示被第k 帧中的运动目标遮挡住的完整背景部分，C k(x,y)和第k 帧中的运动对象M k(x,y)在空间位置上完全重合。将第k 帧图像，(五男z)与完整背景曰(五Y)进行差分运算，得到：d I(工，y)=I(x,y，k)一B(x，y)=M I(工，y)一C t(x，y)(2-9)上式表明，第k 帧视频图像和完整背景的差分图像由运动目标和被运动目标遮挡住的背景部分构成。由于尬(五y)和G(五y)在空间位置上完全重合，因此这样得到的差分图像反(五J，)中不包含由运动目标引起的显露(或遮挡)的背景区域。另外根据假设2，运动目标与背景之间的灰度存在着一定的对比度，即M k(五y)和Q(五y)的差值较大。因此在不考虑噪声的情况下，在差分图像中属于背景区域的像素的灰度值为零，从而检测出了运动目标。以上分析是建立在不存在噪声的假设条件下，实际过程中由于不可避免地存在着噪声，所以如何消除噪声的影响是继背景估计建模在视频运动目标检测算法中的另一关键技术。基于背景差分法的视频运动目标检测算法的流程图如图2 3 所示：图2-3 基于背景差分法的视频运动目标检测算法流程图虽然背景差分法可以提取出完整的目标图像，但在实际应用中仍有许多问题需要解决。实际应用中一幅标准的背景图像总是不容易得到的，一种简单的获取背景图像的方法是当场景中无任何目标出现时候捕获背景图像，很显然随着时间的推移，外界的光线会变化，这会引起背景图像的变化，因而这种人工的非自适应的方法获得的背景图像，会随着时间的推移，对场景中光照条件、大面积运动和噪声比较敏感，出现许多伪运动目标点，不利于目标的准确检测。因而，目前1 2J。H 人#E 学位论女大多数监视算法己经放弃这种非自适应的背景图像估计方法，大部分的研究人员日前都致力于r 发不同的背景模型，进行背