智能视频监控中多目标检测跟踪技术研究.pdf

代号1 0 7 0 1分类号T P 2 4 26学号0 3 1 0 1 2 0 9 9 2密级公开意簧它手抖较六警硕士学位论文题c 中、英文，目一蟹能视频监控虫多旦撬捡泌避监燕查砸盔一一_ S t u O _ _ i e s _ _ O _ _ nD _ e _ t _ e c _ t i _ o n _ _ a _ n d _ T r _ a _ c _ _ k i _ n _ 墨9 量M _ u _!t L o!_ e _ o _ b j e _ _ c L s _ 一一一迫!卿趔g 魍!幽嫂点幽笪!j 啦生作者姓名一昱叠垡指导教师姓名、职务一谢维信一敷授一学科门荚王一掌学科、专业信号与信息处理一提交论文日期一-Q-Q-,-,f f _ _-_ B _ 摘要智能视频监控可以智能地监控目标行为，检测非正常事件，有着重要的理论意义和应用价值。本文围绕多目标的检测跟踪技术展开研究，内容包括运动目标阴影的检测、单视角下的多目标跟踪、目标遮挡的克服以及多视角监控中目标的传递和对应等。首先，通过深入分析运动目标阴影的光照模型和颜色特性，改进了已有的基于H S V 颜色空间的阴影检测方法；其次，针对多目标运动状态变化的复杂性，提出了种先利用特征判别目标运动状态，再对不同状态作不同跟踪处理的多目标跟踪方法；再次，在分析目标的颜色特征并建立目标颜色特征模型的基础上，提出了一种利用颜色块特征克服目标相互遮挡的有效方法。最后，通过对多视角监控系统的需求分析，设计了多视角监控系统的结构，并提出了一种综合利用图像平面单应矩阵(h o m o g r a p h y)和F O V 投影线的多视角跟踪方法，该方法可以有效地解决目标在不同视角的传递和对应问题。关键词：智能监控阴影检测多目标跟踪遮挡多视角监控竺!鲤A b s t r a c tI n t e l f i g e n tv i d e os u r v e i l l a n c es y s t e mc a nw a t c hb e h a v i o r so fo b i e c ti n t e l l i g e n t l ya n dd e t e c ta b n o r m a le v e n t s，w h i c hh a ss i g n i f i c a n c ef o rt h e o r i e sa n da p p l i c a t i o n s T h i sp a p e rf o c u s e so nt h et e c h n o l o g i e so fd e t e c t i o na n dt r a c k i n go fm u R i p l eo b j e c t s。F i r s t l y,w er e f i n et h em e t h o do fd e t e c t i n gs h a d o w si nH S Vc o l o rs p a c eb ya n a l y z i n gt h ei l l u m i n a t i o nm o d e la n dc o l o rc h a r a c t e r i s t i c so ft h em o v i n gs h a d o w S e c o n d l y,at r a c k i n gm e t h o do fm u l t i p l eo b j e c t si sp r o p o s e db a s e do nt h ec o m p l i c a t e dm o v i n gs t a t e so fm u l t i p l eo b j e c t s T h i sm e t h o dt r a c k sd i f f e r e n to b j e c t si nd i f f e r e n tw a yd e p e n d i n go nt h eo b j e c tm o v i n gs t a t e sd e t e r m i n e db yi t sc h a r a c t e r i s t i c s T h i r d l y,o nt h eb a s i so fa n a l y z i n gc o l o rc h a r a c t e r i s t i c so ft h eo b j e c ta n de s t a b l i s h i n gc o l o rm o d e l s，w ep u tf o r w a r dam e t h o dt os o l v em u l t i p l eo b j e c t so c c l u s i o np r o b l e mb yc o l o rb l o c k so fo b j e c t s F i n a l l y,b ys t u d y i n gt h ef u n c t i o n o fm u l t i-c a m e r as u r v e i l l a n c es y s t e m，w ed e s i g nak i n do fs t r u c t u r ef o rt h es y s t e ma n dp r o p o s eat r a c k i n gm e t h o di nm u l t i w i e w p o i n tb yc o m b i n i n gh o m o g r a p h yw i t hF O Vl i n e sb e t w e e nt w od i f f e r e n tv i e w s T h i sm e t h o dc a l ls o l v et h ep r o b l e mo fh a n d i n go na n dc o r r e s p o n d i n go b j e c t si nd i f f e r e n tv i e w se f f e c t i v e l y K e y w o r d s：I n t e l l i g e n ts u r v e i l l a n c em o v i n gs h a d o wd e t e c t i o no c c l u s i o nm u l t i p l eo b j e c t st r a c k i n gm u l t i-v i e w p o i n ts u r v e i l l a n c e创新性声明Y 8 5 8 7 0 9本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果：也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本人承担一切相关责任。本人签名：一至盛茎关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在攻读学位期间论文工作的知识产权单位属于西安电子科技大学。本人保证毕业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。(保密的论文在解密后遵守此规定)本人签名：曼显生日期：型：!：坚导师签名：日期：趔6：丝第一章绪论第一章绪论1 1 研究背景和意义常言道“百闻不如一见”，在人类感官接受的各种信息中约有8 0 来自视觉。视频、图像是对客观事物形象、生动的描述，是直观而具体的信息表达形式，是人类最重要的信息载体。在今天的信息社会，随着网络、通信和微电子技术的快速发展和人民物质生活水平的提高，视频监控以其直观、方便和内容丰富等特点，日益受到人们的青睐。从功能上讲，视频监控可用于安全防范、信息获取和指挥调度等方面，提供生产流程控制、大型公共设施安防、医疗监护、远程教育等多种服务。从应用领域上看，视频监控在各行各业都得到了广泛的应用，例如档案、文件室、金库等机要部门的监视、控制和报警；交通领域的高速路收费管理、交通违章和流量控制、车辆牌照管理和公路桥梁铁路等场所的远程图像监控；社区物业管理中住宅小区、办公场所、智能大厦、停车场的无人监控等。视频监控系统不仅符合信息产业的未来发展趋势，而且蕴藏着巨大的商机和经济效益，成为目前信息产业中颇受关注的产品。特别是近年来，随着技术的进步和社会经济的不断发展，客观上对监控系统的准确性、有效性和方便性提出了更高要求。具体地讲，主要体现在以下两个方面：一是需要实施视频监控的范围更加广阔，由传统的安防监控向管理监控和生产经营监控发展，而且对同一套系统的覆盖面和实施距离也提出了更高的要求，通俗地说就是要达到点多面广。二是要求监控系统与管理信息系统、网络系统结合，实现对大量视频数据的压缩存储、传输和自动处理，从而达到资源共享，为各级管理人员和决策者提供方便、快捷、有效的服务。因此，监控产品也正经历着从模拟化向数字化、网络化和智能化的革命。智能视频监控的目的是实时监视真实场景，获取实时的视频数据，提取和跟踪场景中的运动目标，记录目标的活动过程，通过计算机的自动分析，产生对目标活动状态的理解，从而向监控人员提供简洁有效的监控信息。其核心是目标的自动提取、跟踪和事件的检测。智能化的监控系统可以大量减少工作人员，提高工作效率，极大的提高监控系统的性能，有着广泛的应用前景，具有重要的应用价值。这项技术主要涉及到计算机视觉，模式识别，以及人工智能等，因此还具有重要的理论意义。智能视频监控技术广泛的应用前景和潜在的经济价值已经激发了世界上广大2智能视频监控中多目标检测跟踪技术研究科研工作者、研究机构和企业的浓厚兴趣，尤其是欧洲和美国等经济发达地区。这些地区的研究者已经做了大量的工作并取得了很多成果1 1 1 1 6 1，例如，美国国防高级研究项目署设立了视觉重大监控项目V S A M!”，以卡内基梅隆大学为首，麻省理工学院等高校参与，主要研究战场和普通民用场景监控的自动视频理解技术：欧盟投资2 5 0 0 万欧元，由欧洲多个国家的高校和企业共同参与研制了A D V I S O R 系统，用于地铁站的安全监控。自从9 1 1 事件以后，西方各国更加注重国内的安全防范，加速了视频监控技术的研究，促进了视频监控市场的飞速增长。相对于西方如火如荼的研究和发展，中国的视频监控领域还很落后，8 6 3 计划和9 7 3 计划包含了相关内容，但是力度远远不如西方各国。中国目前还没有实现智能化的视频监控系统，所有使用中的系统大都只是基于视频数据的压缩、传输和存储，视频数据到达终端以后还是由人来实时观测，或者是存储起来以备以后查阅。这种系统耗费大量的人力物力，但是只得到了有限的功能，远远无法满足国内曰益增长的智能监控的需求，更无法与国际先进的视频监控系统竞争。随着中国的经济快速发展，迫切需要快速发展智能视频监控系统，为经济和文化发展服务。图1 1 智能监控系统构成图1 1 是一个典型的智能监控系统示意图。它包括视频采集处理、运动检测、多目标跟踪、目标行为分析、事件检测以及视频索引等几个主要模块。本文针对多目标检测跟踪模块进行了深入的研究。多f l 标视频序列分析技术是多维信号特征分析的一类重要情况，它研究运动目标的各种特征，分析运动信息。社会需要是技术发展的源动力，多目标视频序列处理技术的发展也不例外。如第二代视频编码技术需要将图像分割为运动前景、背景等各个对象，分析各对象纹理、运动、第一章绪论3形状、模型和高层语义。因此，对多目标检测跟踪进行研究具有十分重要的应用和理论价值。1 2 智能视频监控中多目标检测跟踪的研究现状及存在问题智能视频监控【2】【4】的关键是对包含运动日标的图像序列进行分析处理，其核心技术就是场景中动目标的检测、跟踪、识别和进一步的行为分析及事件检测。本文工作针对监控系统的低层视觉处理进行了研究和分析，因此下面重点论述动目标检测和跟踪方面的研究现状和面临的挑战。运动检测的目的是从序列图像中将变化区域从背景图像中提取出来。运动区域的有效分割对于目标分类、跟踪和行为理解等后期处理是非常重要的。然而，由于背景图像的动态变化，如天气、光照、影子及混乱干扰等的影响，使得运动检测成为一项相当困难的工作。现有的运动目标检测方法可以归纳为四种 2 3 1 1 5 l：基于背景估计的方法、时间差分法、光流法和运动能量法。1)背景减除(B a c k g r o u n dS u b t r a c t i o n)背景减除方法是目前运动分割中最常用的一种方法，它是利用当前图像与背景图像的差分来检测出运动区域的一种技术。它一般能够提供最完全的特征数据，但对于动态场景的变化，如光照和外来无关事件的干扰等特别敏感。最简单的背景模型是时间平均图像，目前许多研究工作都致力于开发不同的背景模型，以期减少动态场景变化对于运动分割的影响。例如H 盯j t a o g l u【6 l 等利用最小、最大强度值和最大时间差分值为场景中每个像素进行统计建模，周期性地进行背景更新：M c K e n n a s l 等利用像素色彩和梯度信息相结合的自适应背景模型来解决影子和不可靠色彩线索对于分割的影响；K a l m a n 与B r a n d t 叭、K i l g e r 1 0】采用基于卡尔曼滤波(K a l l F l a l lF i l t e r i n g)的自适应背景模型以适应天气和光照的时问变化：S t a u f f e r 与G r i m s o n 7 1 1 1 荆用自适应的混合高斯背景模型(即对每个像素利用混合高斯分布建模)，并且利用在线估计来更新模型，从而较好地处理了光照变化、背景混乱运动的干扰等影响。2)时间差分(T e m p o r a l D i f f e r e n f；e)时间差分方法是在连续图像序列中的两个或三个相邻帧间采用基于像素的时间差分然后阈值化来提取出图像中的运动区域。例如L i p t o n 1 2】等利用两峻差分方法从实际视频图像中检测出运动目标，进而用于目标的分类与跟踪；另一个改进的方法是利用三帧差分代替两帧差分，如V S A M 1】开发了一种自适应背景减除与三帧差分相结合的混合算法，它能够快速有效地从背景中检测出运动目标。时间差分运动检测方法对于动态环境具有较强的自适应性，但一般不能完全提取出所有4智能视频监控中多目标检测跟踪技术研究相关的特征像素点，在运动实体内部容易产生空洞现象。3)光流(O p t i c a lH o w)基于光流方法1 1 3 H 1 6 l 的运动检测采用了运动目标随时间变化的光流特性，如M e y e r 1 6】等通过计算位移向量光流场来初始化基于轮廓的跟踪算法，从而有效地提取和跟踪运动目标。该方法的优点是在摄像机运动存在的前提下也能检测出独立的运动目标。然而，大多数的光流计算方法相当复杂，且抗噪性能差，如果没有特别的硬件装置则不能被应用于全帧视频流的实时处理。4)动能量法运动能量法【1 7 1 把连续图像看作由二维空域加上时间维构成的三维空间，计算空时梯度，运动对象经过位置的象素空时梯度一致性高，梯度能量大，这种特性可以用于运动对象检测。运动能量法适合于复杂变化的环境，能消除背景中振动的象素，使按某一方向运动的对象更加突出的显示出来，但运动能量法分割出对象不够精确，而且方法过于复杂，不利于实现。目标跟踪等价于在连续的图像帧闻创建基于位置、速度、形状、纹理、色彩等有关特征的对应匹配问题。常用的数学工具有卡尔曼滤波【1 8 J(K a l m a nF i l t e r i n g)、c o n d e n S a t i o n【1 9】算法及动态贝叶斯网络 2 0 l(D y n a m i c B a y e s i a n N e t w o r k)等。目前，就跟踪人对象而言，有跟踪如手、脸、头、腿等身体部分与跟踪整个人体的；就跟踪视角而言，有对应于单摄像机的单一视角、对应于多摄像机的多视角和全方位视角：当然还可以通过跟踪空间(-维或三维)、跟踪目标类别(人、汽车等)、摄像机状态(运动或固定)等方面进行分类。下面仅依据不同的跟踪方法来加以分类介绍。1)基于模型的跟踪(M o d e l-b a s e dT r a c k i n g)基于模型的方法通常将运动目标用一特定的模型表达。例如，传统的人体表达方法有如下三种【2 1】：a 线图法(S t i c kF i g u r e)：该表达方法将身体的各个部分以直线来近似，例如K a r a u l o v a|2 2 1 建立了人体运动学的分层模型。b 二维轮廓(2 DC o n t o u r)：该人体表达方法的使用直接与人体在图像中的投影有关，如J u I n 等提出的纸板人模型，它将人的肢体用一组连接的平面区域块表达；N i y o g i 与A d e l s o n z 3 1 利用时空切片方法进行人的跟踪。c 立体模型【训(V o l u m e t r i cM o d e l)：它是利用广义锥台、椭圆柱、球等三维模型来描述人体椭圆柱体模型来表达人体结构，坐标系统的原点被定位在躯干的中心，目的是想利用该模型产生人的行走的三维描述。2)基于区域的跟踪(R e g i o n-b a s e dT r a c k i n g)基于区域的跟踪方法目前已有较多的应用，例如w r e n i 明等利用小区域特征进行室内单人的跟踪，将人体看作由头、躯干、四肢等身体部分所对应的小区域块所组成，利用高斯分布建立人体和场景的模型，属于人体的像素被规划于不同的第一章绪论身体部分，通过跟踪各个小区域块来完成整个人的跟踪。基于区域跟踪的难点是处理运动目标的影子和遮挡，这或许可利用彩色信息以及阴影区域缺乏纹理的性质来加以解决，如M c K e n n a 等首先利用色彩和梯度信息建立自适应的背景模型，有效地消除了影子的影响：然后，跟踪过程在区域、人、人群三个抽象级别上执行，在遮挡情况下也能够较好地完成多人的跟踪。3)基于活动轮廓的跟踪(A c t i v eC o n t o u rB a s e dT r a c k i n g)基于活动轮廓的跟踪思想是利用封闭的曲线轮廓来表达运动目标，并且该轮廓能够自动连续地更新。例如P a r a g i o s 与D e r i c h e l 2 6 1 利用短程线的活动轮廓、结合L e v e lS e t 理论在图像序列中检测和跟踪多个运动目标；P e t e r f r e u n d l 2 7 1 采用基于卡尔曼滤波的活动轮廓来跟踪非刚性的运动物体。相对于基于区域的跟踪方法，轮廓表达有减少计算复杂度的优点，然而轮廓初始化通常是很困难的。4)基于特征的跟踪(F e a t u r e-b a s e d T r a c k i n g)基于特征的跟踪包括特征的提取和特征的匹配两个过程。P o l a n a 与N e l s o n I 捌的方法就是一个很好的点特征跟踪的例子，文中将每个行人用一个矩形框封闭起来，封闭框的质心被选择作为跟踪的特征；在跟踪过程中若两人出现相互遮挡时，只要质心的速度能被区分开来，跟踪仍能被成功地执行；该方法的优点是实现简单，并能利用人体运动来解决遮挡问题，但是它仅仅考虑了平移运动，如果结合纹理、彩色及形状等特征可能会进一步提高跟踪的鲁棒性。另外，S e g e n 与P i n g a l i l 凹l的跟踪系统使用了运动轮廓的角点作为对应特征，这些特征点采用基于位置和点的曲率值的距离度量在连续帧问进行匹配。以卡尔曼滤波形式的点、线特征的跟踪技术在计算机视觉领域中己被很好地开发，如J a n g 与C h o i t 3 0 l；F l J 用区域的形状、纹理、色彩和边缘特征信息建立了活动模板，结合卡尔曼滤波的预测方法，使特征匹配能量函数最小化来完成运动目标的跟踪过程，该活动模型对于非刚性物体的跟踪具有很好的自适应性。需要指出，基于多摄像机的运动目标跟踪也得到了一定的研究，如U t s u m i l 3 l】利用多摄像机对人进行跟踪，通过选择最好的视点来解决人与入之间的互遮挡和自身遮挡问题；C a i l 3 2 1 等提出了在不同摄像机之间进行目标匹配的概率方法，并且对相邻摄像机之间的自动切换问题作了探讨。不过，目前有关多摄像机研究的文章并不是很多。1 3 论文的主要工作和内容安排本文选题源于深圳市科技计划基金赞助项目(项目编号N o 2 0 0 4 2 4)，内容主要围绕多目标的检测跟踪展开。从研究特点来看，多运动目标监控有其自身的特智能视频监控中多目标检测跟踪技术研究点。例如，多目标情况下，目标区域之间相互干扰，影响了目标特征检测的精度；运动状态分析时，不同的目标可能呈现多种运动状态；多目标跟踪时，目标的相互遮挡会给跟踪带来很大的挑战。本文针对这些情况，分单视角和多个视角两种情况分射讨论，在提高多目标检测精度、单视角跟踪、遮挡克服以及多视角下的目标传递对应等方面进行了较深入地分析和研究，取得了如下研究成果：1)运动阴影是影响多目标检测精度的主要因素之一，单纯的依靠运动信息无法将其与目标区分。本文深入分析了运动阴影的运动和颜色特性，并对比了运动阴影和运动目标在H S V 颜色空闻的特征差异，改进了基于H S V 空间的阴影消除方法，有效地解决了阴影对提高目标检测精度的影响。2)多目标运动场景中，多目标运动状态的差异和变化给跟踪带来了很大挑战。针对单视角下的多目标运动的特点，本文提出了一种利用目标的位置、面积等特征建立特征辨识矩阵来分析目标状态，并针对不同的目标状态采取不同跟踪处理的方法，该方法可以较好地保持多目标的稳定跟踪。3)多目标相互遮挡是影响多目标跟踪性能的主要因素之。本文通过分析目标的颜色特性和建立目标的颜色特征模型，提出了一种动态聚类方法来提取颜色块特征以及利用颜色特征克服多目标相互遮挡的方法。该方法通过对目标颜色特征的推断尽可能地保持了目标在遮挡期间的信息，可以有效克服遮挡的影响。4)多视角跟踪多目标是克服遮挡最有效的途径之一。本文通过研究多摄像机监控系统的需求，设计并给出了一种基于层次体系的摄像机网络结构和各个摄像机交互跟踪的方式，同时提出了一种单应矩阵(h o m o g r a p h y)和F O V 线投影相结合的解决多目标在不同视角传递和对应的方法。本文各章的内容安排如下：第一章论述课题开展的背景和研究意义，对视频监控技术研究的现状做扼要的介绍，同时对论文的结构进行安排：第二章简单介绍单视角目标检测方法，给分析运动阴影检测的原理和方法；第三章系统分析多目标跟踪系统的特点，讨论了利用目标位置、面积、外接矩形等特征的匹配结果判别多目标运动状态的方法，并针对不同状态作相对应跟踪处理；第四章在深入分析目标颜色特性的基础上，采用简化的I S O D A T A 算法提取目标的颜色块特征，并利用目标颜色特征克服多目标相互遮挡；第五章通过分析多摄像机系统的特点，详细介绍了多摄像机系统的系统设计和算法设计，并重点讨论了h o m o g r a p h y 和F O V 投影线相互结合解决目标在不同视角传递和对应中的方法；第六章总结本文所作的工作和研究成果，探讨下一步研究工作的方向和视频监控技术的发展方向。第二章运动目标阴影的检测方法与分析第二章运动目标阴影的检测方法与分析本章在简单介绍静止背景下多目标检测方法的基础上，重点讨论了提高多目标检测精度的阴影消除算法。2 1 引言智能视频监控就是实时地观测被监视场景的运动目标，如人或车辆等，并且描述他们的行为。这项技术的研究内容主要涉及到运动目标检测、跟踪，目标识别咀及运动分析和理解等。其中运动目标的检测是智能监控系统的重要组成部分，也是动目标识别、事件检测的前提。运动目标检测即观测视频序列图像，检查图像序列是否有变化，如果有变化则说明有目标出现，否则认为没有目标出现。运动物体检测是视频处理中很有挑战的工作。常见的方法有背景差法、相邻帧差法、光流法和运动能量法，其中背景差法可以提供最完整的特征数据，在光照变化均匀的环境中具有较为理想的检测效果。在实际监控场景中，由于运动对象之间的遮挡以及光照不均匀等原因，经常会产生阴影现象。运动对象及其阴影具有两个共同的可视特征：一方面，两者都明显区别于背景，是可感知的；另一方面，两者具有相同的运动特性。在运动目标检测中，阴影很容易被误分为前景点，对运动对象的分割和提取造成严重影响。尤其是场景中存在多个目标时，阴影还会严重降低多目标跟踪系统的可靠性。因此，提高多目标跟踪性能不仅需要好的跟踪算法，还需要迸一步提高目标提取的准确性，去除运动目标阴影的影响。阴影检测针对不同的应用场合，有许多不同的方法1 3 3 q 3 7 l。依据场景目标的形状，可分为基于模型的方法1 3 5】和无模型的方法刚。基于模型的方法通过对场景中的目标建立表达模型来区分阴影和目标，这种方法检测效果最好，但通常情况下，建立准确的模型是非常复杂和耗时的。无模型的方法通常是利用目标或阴影的空域、时域以及光谱等特征，例如目标的灰度特性、颜色特性以及几何位置等对目标和阴影进行区分。区分时也可以依据检测参数的不同，分为基于确定性参数的方法 3 4 1p 6】和基于统计特性的方法吲。基于确定性参数的方法快速、简单，而基于统计特性的方法则需要依据多帧象素在时间、空间上的统计特性，划分当前象素的类别，实现起来比较复杂。8智能视频监控中多目标检测跟踪技术研究下面我们首先给出本文中使用的基于背景估计的运动目标检测算法，然后针对R C u c c h i a r a 等1 3 4】提出的基于H S V 颜色空间的阴影检测算法，着重分析阴影在H S V 颜色空间的特性，并在此基础上改进了该方法的一些不足。2 2 基于背景估计的运动目标检测算法基于背景估计的运动检测方法很多，其中以S t a u f f e r 与G r i m s o n I“J 的自适应的混合高斯背景模型最为著名，该方法利用混合高斯分布对每个像素建模，并且采用线性估计来更新模型，从而可靠地处理光照变化、背景混乱运动等于扰的影响。本文的单视角监控系统采用了多模的自适应高斯模型估计背景【1”。本文基于背景估计的运动区域检测算法流程如图2 1 所示。设第i 个背景模型服从高斯分布(,ur 。在背景估计开始的时候，统计前几帧图像的均值和方差，把它们作为高斯模型的参数，也可以直接将当前背景设嚣为初始背景模型的均值，方差和各个模型的权重w，(1)设置为经验值。背景估计过程中，选择权重较大的模型作为当前背景，凡是与该模型的差值满足l f(x,y，t)-l q(x，y，叫 B 的情况。在G 丫f是I _-和知“如nnnnlOOO一-加加加知O123垫塑些塑塑堕丝!童!堡垫型里堕垫查堡塞目标分裂题状态：前面我们已经分析过，目标分裂有两种可能，一种是目标真实的分裂，一种则是目标被背景部分遮挡所致。两种分裂都会导致有多个运动区域与同一目标相对应，此时M j r。P 满足：3 i o，使得咖一1)n h，一2，3)n(m 口，-2，3)(3 8)其中，f-t l,t 2，如，h 为与目标匹配的区域数目，i-1,2,一，i-毛；J 一1,2，尸，一，f。目标融合状态：目标的融合一般是由于多目标相互遮挡或原本目标共同运动所致，它表现为多个目标同时与一个大的运动区域相对应，此时I f N。P 满足：j，矗使得(m j。一1)N 伽=2,3)N(州。一2，3)(3 9)其中，J-5 1，5 2，k 为与区域匹配的目标数目，i-1,2,，f _；，一1，2，P，_ o。目标消失墨状态：目标消失与目标产生类似，即场景中没有任何运动区域与该目标的特征匹配，其检测条件为；M。P 满足：使得咖ioj-2渤(3-10)其中J I L 2，一，P，_ J o。在不考虑场景中目标突然失踪(如场景中有地道等，不包括正常遮挡)的情况下，辨识矩阵M 与上述关于目标状态的条件一一对应。这里，我们需要强调的一点是，由于形心匹配可以为目标或区域寻求最佳的匹配结果，所以目标与区域的对应只能为一对应，多对一，一对多，一对零以及零对一这五种情况，I l l 对n的情况要通过计算形心匹配程度，转化为以上五种对应，从而避免歧义，更好地判断目标的运动状态。3 3 基于运动状态分析的多目标跟踪运动目标的跟踪、调整与其所处的运动状态密切相关，不同运动状态对应不同的跟踪处理和预测策略，才能更可靠的保持场景中多目标的跟踪。图3 5 是本文对多目标的跟踪处理框图。处于新目标产生状态时，我们需要首先判断运动区域R c 是否处于者场景中可以进出目标的位置(一般为图像边缘)。如果在这些位置，则区域R c 对应新目标。此时，生成一个新的目标-c，A，R，讲，其中c，A，最D 分别为的形心、面积、外接矩形以及其与边界的位置特征，将R e 的特征赋绘，初始化目标D 6 的预测信息，并目标O b 放入目标信息列表。当目标O b 被稳定跟踪超过T 帧则确认目标，赋给D 6新的标记。若目标0 6 出现位置不符合新日标特性，则判断0 6 是否为场景中先前出现但被静止背景遮挡的目标或周围其它丑标的部分分裂块，若不是，则为阴影或第三章基于特征辨识矩阵的多目标跟踪方法噪声。判定目标的状态S理想跟踪新目标目标分裂目标融A目标消失更黼II 谢l 陋嚣吲卜理l 瓣纂图3 5多目标状态判定跟踪处理流程图2 1理想跟踪是最普遍的跟踪情况，可以有许多不同的跟踪处理方法。这里我们利用目标当前的区域特征更新目标特征。对于m i=0 的情况，目标的形心、外接矩形等特征更新为区域特征。面积更新如式n(j 3 n 一1 1)所示：4 0 k 南 a A O k,+O 一口)饵，h(3-1 1)其中，A O k 、j q 、A R k，分别为目标乇的面积、前一帧预测的面积和对应区域，。的面积，a 为更新因子，控制更新的快慢。目标的预测则是通过K a l m F l n 滤波的方法预测目标的形心位置，从而得到外接矩形和与边界距离等其它特征的预测值。因为目标运动过程中，随着其离镜头远近的变化，会导致其面积的增减，为了更准确地判定面积是否匹配，需要预测目标在下帧面积的变化。一般采用面积的平均变化来预测，即j o。-A O。+v=i j o，v 孔表示总的平均面积变化。对于m k=1 的情况，面积可能会由于遮挡或目标未完全或噪声影响而发生突变，此时应减慢更新，即减小a 的值。目标分裂通常有两种原因造成，一种为目标原本就是包含多个子目标的共同运动体，子目标分开造成目标分离；另一种由于静止背景的部分遮挡造成的暂时分裂。真正分离的子目标，他们的分开趋势会逐渐加大，而且面积和外接矩形会发生明显的变化，且这种分裂是持续稳定的。而对于由于目标被遮挡而引起的分裂，分裂趋势不会持续增加，多个区域外接矩形的和不会明显变大，还可能急剧变小，而且面积不会增大，分裂也会不稳定。当多个区域R e。(其中f 1，2，“为分裂的区域数目)对应同一目标。趣的时候，要对分裂进行判断。首先，合并多智能视频监控中多目标检测跟踪技术研究个区域R e i，计算合并后区域U R 的面积A U 和外接矩形R U，当面积A U 小于目标预测面积j 仇；，同时外接矩形R U 无明显扩张时，目标被遮挡。此时，利用合并区域U R 的特征更新目标信息，更新和预测方法与理想跟踪一致。当合并后的外接矩形R U 明显扩大，且区域形心之间的距离D r 随帧变大时，目标可能分裂。此时，一方面利用珊保持跟踪，一方面纪录目标的分裂情况，将分裂子目标0 6。放入备用目标信息列表，并在持续分裂中更新和预测。当目标o 持续分裂一定时间或分开距离超过某一阈值时，确认分裂，删除0 6 I，将D 6。放入目标信息列表，且赋给新的标记，图3 6 为分裂情况示意图和跟踪处理算法。田钢盱谰(a)目标真实分离(b)目标被暂时遮挡否(c)分裂跟踪算法图3 6 目标分裂示意图以及分裂跟踪算法目标融合是由于稳定存在目标的相互遮挡所引起的。这时，两个或两个以上的目标D 岛(i 一1,2，s，其中s 为合并目标数目)对应同一个运动区域R e；，该运动区域R e，为多目标真实运动区域合并的结果，我们无法获得目标准确的特征。一种有效的方法就是为合并前的目标建立模板霉，即保存目标在合并前的图像信息。在目标合并时，纪录各个子目标o k 的信息，将合并后的区域看作一个新的目标U O，保持U O 在合并期间的跟踪。合并结束后，利用合并前的模板信息与分开的各个目标信息进行比较，从而将合并前后的目标对应。当目标合并的时间超过某一时间T，则确认目标合并，将其作为共同的运动体生成新目标。并删除模板和合并前的子第三章基于特征辨识矩阵的多目标跟踪方法目标。这是因为合并过久的目标由于在角度和位置发生了较大的变化，使得模板匹配的效果大大降低。除了使用目标模板外，一种更为有效的方式是利用目标的颜色信息，获取目标在合并时的位置等信息，从而有效地解决遮挡时的目标跟踪问题。我们将在下一章详细讨论该问题。图3 7 给出了目标融合的算法设计。目标消失也有两种情况，当?I t。=2 时，目标o 处于图像边缘或其它D K 可以进出的位置，此时O b l 为正常的消失，即已经离开场景；当m。=3 时，目标为非正常消失，此时应为被场景中的静止背景完全遮挡。目标D h 正常消失时，O 保b j 留其信息和其最后出现的位置，消失超过某一时间T 时，确认目标O b l 消失，从目标信息列表中删除。目标被完全遮挡时，因为遮挡是相对而言短时Obi的，所以保持目标的信息，并减缓运动预测速度，在目标重新出现时，恢复目标标记，更新目标信息。若目标长时间非正常消失，则纪录其信息，中断对其的跟踪。否图3 7 目标融合算法设计3 4 多目标跟踪的实验结果多目标跟踪是本章研究的重点，本节将给出本文方法在多目标跟踪中的实验效果。实验中，所有的目标均用其外接矩形框标出，目标在场景中的标记在矩形的中心。2 4智能视频监控中多目标检测跟踪技术研究图3 8 多目标跟踪结果图3 8 是一个一般场景的视频序列跟踪结果。实验序列中，每帧图像分两列显示，上面为目标的跟踪结果显示，下面运动区域检测的结果。新目标进入、目标消失以及目标的分裂、合并状态都在图中的场景中发生。目标1 和2 是相继进入场景的目标，其维持稳定的理想跟踪一段时间后，目标3 和4 也进入了场景。由于摄像机视角的原因，目标1 和3 在第三列所示的图像中发生合并，此时我们分别纪录遮挡前两个目标的图像模板，并将它们作为一个整体跟踪。由于两个目标具有不同的运动趋势，它们很快就发生了分裂，如第四列图像所示。此时依据模板的匹配情况，我们可以很容易地将合并前后的目标重新对应。第五列所示的是目标合并的另一种情况。目标l 和目标2 由于具有共同的运动趋势而合并。第六列则是经过时间T 后。仍保持合并状态的两个目标被最终合并，变为一个新的目标，保持整体跟踪。同时，目标4 则由于走出场景而消失。以上多目标场景中，各个目标的运动状态是多样的，且同一目标的运动状态在跟踪过程中不断地变换，本文的跟踪方法可以正确的判断和分析目标的运动状态，并作出相应的跟踪处理，取得了较为理想的实验结果。第三章基于特征辨识矩阵的多目标跟踪方法图3 9 目标遮挡分裂的跟踪结果图3 9 是目标由于遮挡而暂时分裂的情况。图中目标分裂时，其外接矩形没有明显的扩张，目标面积的增长减慢，且分裂块合并后的形心与原目标匹配，因此系统判断其处于遮挡状态，并给出了正确的跟踪结果。3 5 小结本文通过对多目标运动场景的研究，深入分析了多目标在时域、空域的变化特性不同所引起的运