行人多目标检测与跟踪技术研究_邹薇.docx

《行人多目标检测与跟踪技术研究_邹薇.docx》由会员分享，可在线阅读，更多相关《行人多目标检测与跟踪技术研究_邹薇.docx（66页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 苏州大学学位论文独创性声明 本人郑重声明：提交的学位论文是本人在导师的指导下，独立 进行研宄工作所取得的成果。除文中己经注明引，用的内容外，本论 文不含其他个人或集体己经发表或撰写过的研究成果，也不含为获 得苏州大学或其他教育机构的学位证书而使用过的材料。对本文的 研宄作出重要贡献的个体和集体，均已在文中以明确方式标明。本 人承担本声明的法律责任。 论文作者签名 : 期： 学位论文使用授权声明 本人完全了解苏州大学关于收集、保存和使用学位论文的规定， 即：学位论文著作权归属苏州大学。本学位论文电子文档的内容和纸 质论文的内容一致。苏州大学有权向国家图书馆、中国社科院文献信 息情报中心、中国科

2、学技术信息研宄所（含万方数据电子出版社）、中 国学术期刊（光盘版）电子杂忐社送交本学位论文的复印件和电子文 档，允许论文被查阅和借阅，可以采用影印、缩印或其他复制手段保 存和汇编学位论文，可以将学位论文的全部或部分内容编入有关数据 库进行检索。 涉密论文 本学位论文属 在 _ 年 _月解密后适用本规定。 非涉密论文 论文作者签名 : 导 师 签 名 ： 日期： 丨 .， “ 日期： 牛 , / 彡 行人多目标检测与跟踪技术研究 中文摘要 行人多目标检测与跟踪技术研究 中文摘要 智能视频监控技术是近年来计算机视觉领域一个热门的研宄方向，它将计算机视 觉与网络化的视频监控结合起来，实现视频中运动目

3、标的检测、识别、跟踪和行为分 析等功能。其中，多行人跟踪是智能视频监控技术的难点，因为行人是非刚体，在移 动时比车辆更具灵活性，其轮廓特征在不断变化，不易提取，给跟踪的准确性以及算 法的计算复杂度带来了诸多问题。本文针对固定摄像头下的行人多目标检测与跟踪问 题进行了研宄。 在运动目标检测方面，对当前主要的目标检测算法特别是背景减除法中的背景建 模方法进行了研宄分析和实验，并在背景减除法的基础上提出了一种结合边缘检测和 区域合并的运动目标检测算法，与传统背景差分法相比，该算法能够提取更准确、完 整的目标区域，对弱光下的阴影有一定的鲁棒性。 在目标跟踪方面，将目标行为分为目标匹配、新目标出现、旧目

4、标消失、目标遮 挡四种情况，针对行人的非刚性特点，引入中心距、加权的颜色直方图、面积重合度 等特征，建立动态的关联矩阵实现帧与帧之间的目标关联。当发生遮挡时，用卡尔曼 滤 波器预测值来表示发生遮挡的目标在当前帧中的位置，该方法在行人运动匀速稳定 的情况下获得了准确的跟踪结果。但是如果目标遮挡时间较长，使用卡尔曼滤波预测 目标位置，可能会引起积累误差，出现跟踪错误。对此，本文提出一种解决方法，引 入遮挡因子，将目标间遮挡分为严重遮挡和部分遮挡两种情况，严重遮挡时仍然用卡 尔曼滤波器预测目标位置，部分遮挡时对发生遮挡的两个目标分别采用 Mean Shift 算法进行跟踪，实验证明该算法在两个目标相

5、互遮挡时可以获得更准确的跟踪结果。 本文算法基于 VC+开发平台和 OpenCV视觉库，并添加计数功能，获得了准确的结 果和更快的运行速度。 关键词：多目标跟踪；边缘检测；遮挡跟踪；卡尔曼滤波 ； Mean Shift 作 者：邹薇 指导教师：赵励杰 I Abstract Research on the Technology of Multi-pedestrian Detection and Tracking Research on the Technology of Multi-pedestrian Detection and Tracking Abstract Intelligent vi

6、deo surveillance is a hot issue in computer vision domain in recent years, which combines computer vision and networked video surveillance to accomplish the task of target detection, classification, tracking, behavior recognition and so on. Multipedestrian detection and tracking is a difficult probl

7、em in Intelligent video surveillance. As non-rigid bodies, pedestrians movements are more flexible than the vehicle and their variable contour features are difficult to extract, which has brought many challenges to the tracking accuracy and computational complexity of the algorithm. This paper focus

8、es on the multi-pedestrian detection and tracking in the field of view of a fixed camera. In terms of moving target detection, the existing moving target detection algorithms, especially the background model methods are analyzed and implemented. Then, based on background substraction method, this pa

9、per proposed an detection algorithm which is a combination of edge detection and region merging. Experimental results show that this algorithm extracts more complete and accurate target regions than traditional background substraction and has certain robustness to shadow under low light circumstance

10、. In target tracking, we group the target state into four categories, involving appearance of a new target, disappearance of an old target, target under occlusion and target match. According to the nonrigid characteristics of pedestrians, center distance, weighted color histogram and the overlap rat

11、io of targets are adopted to build dynamic association matrix to acquire target association between frames. When occlusion occurs, we make use of kalman filter to predict and estimate the location of occluded targets in current frame. This method can attain good performance while pedestrians movemen

12、ts are uniform and steady. However, if the whole occlusion process lasts for a long time, predicting and estimating the II Research on the Technology of Multi-pedestrian Detection and Tracking Abstract location of occluded targets during the whole process by using kalman filter will lead to an unign

13、orable cumulative error and tracking failure. In this paper, we proposed an improved algorithm to handle occlusion. According to occlusion factor, the occlusion is separated into severe occlusion and partial occlusion. If targets are determined as under severe occlusion, we still predict and estimat

14、e their locations with kalman filter. Otherwise, Mean Shift algorithm is used to track the occluded targets separately when they are under partial occlusion. Experiments demonstrate that the improved algorithm can achieve more accurate tracking result when two targets are under occlusion. Adding the

15、 count function to the algorithm and implementing it based on OpenCV open source platform can achieve accurate result and faster speed. Key words: Multi-pedestrian tracking; Edge detection; Occlusion target tracking; Kalman filter; Mean Shift Written by: Wei Zou Supervised by: Xunjie Zhao HI 目录 中文摘要

16、 . I ABSTRACT . II B #会者 i 仑 . 1 1.1研宄背景及意义 . 1 1.2多目标检测与跟踪概述 . 2 1.2.1国内外研宄现状 . 2 1.2.2多目标跟踪的一般流程 . 3 1.2.3多目标检测与跟踪的技术难点 . 6 1.3主要研宄工作及方法 . 7 1.4论文的章节安排 . 8 第二章运动目标检测 . 9 2.1引言 . 9 2.2主要的目标检测方法 . 9 2.2.1帧差法 . 9 2.2.2光流法 . 10 2.2.3背景减除法 . 11 2.3本文运动目标检测算法 . 17 2.3.1算法思路 . 17 2.3.2背景模型建立及更新 . 18 2.3.

17、3边缘检测 . 19 2.3.4区域合并 . 19 2.3.5实验结果与分析 . 19 2.4本章小结 . 20 第三章基于卡尔曼滤波的多目标跟踪算法实现 . 21 3.1 引 S . 21 3.2多目标跟踪中的遮挡问题 . 21 3.3卡尔曼滤波 . 22 3.3.1基本理论 . 23 3.3.2卡尔曼滤波算法介绍 . 24 3.3.3滤波器参数选择 . 25 3.4跟踪算法 . 25 3.4.1目标描述 . 26 3.4.2颜 色相似度计算 . 27 3.4.3目标状态参数更新 . 28 3.4.4算法实现 . 29 3.4.5实验结果与分析 . 30 3.5本章小结 . 31 第四章利用

18、 Mean Shift改进遮挡处理的跟踪算法 . 33 4.1 引 g . 33 4.2 Mean Shift 算法 . 33 4.2.1无参密度估计理论 . 33 4.2.2 Mean Shift 算法原理 . 35 4.2.3基于 Mean Shift的目标跟踪算法 . 38 4.2.4实验结果与分析 . 41 4.3本文的多目标跟踪算法 . 42 4.3.1算法流程 . 43 4.3.2实验结果与分析 . 44 4.4基于 OpenCV的多目标跟踪算法的实现 . 45 4.4.1 OpenCV 简介 . 46 4.4.2基于 OpenCV的多目标跟踪系统 . 47 4.5本章小结 . 4

19、9 第五章总结与展望 . 50 5.1总、会吉 . 50 5.2展望 . 50 参考文献 . 52 攻读硕士学位期间公开发表的论文及科研成果 . 56 至夂 i射 . 57 行人多目标检测与跟踪技术研究 第一章绪论 第一章绪论 1.1研究背景及意义 计算机视觉是在数字图像处理技术的基础上兴起的学科，它研宄的主要内容包括 如何利用各种成像设备代替人类的视觉器官来获取信息，使用计算机模拟大脑实现对 信息的处理和解释，让计算机拥有人一样的视觉功能。其在信号处理、计算机学、应 用数学和统计学，物理学、神经生理学等研宄方面，在制造业、文档分析、检测、军 事、医疗辅助诊断和交通管理等领域都有广阔的发展前景

20、 1。 智能视频监控技术是近年来计算机视觉领域的一个研宄热点，尤其在美国 9.11 事件及西班牙马德里列车连环爆炸案等恐怖暴力事件发生后，世界各国更加重视如何 在 人流密集的公共场合、主要道口以及相关的重点安全部门实现全天候自动化的实时 监测，智能视频监控技术成为最受全世界关注的前沿研宄领域之一。智能视频监控技 术融合了自动控制、图像处理、人工智能以及模式识别等不同领域的先进技术，将计 算机视觉与网络化的视频监控相结合，实现视频中运动目标如行人、车辆等物体的检 测、识别、跟踪和行为分析等功能，为实时监控和预警提供有效的保证，在民用领域 和军事领域全都得到了广泛应用。智能视频监控技术可以极大地减

21、少主观干扰，增强 系统的智能化处理能力，有效地增强监控效果。当前，智能视频监 控技术已经广泛地 用于商场、医院、交通路口、银行、车站等场所，具体应用包括行人和车辆的交通流 量监测，入侵报警系统，船只越界等目标异常行为预警，安全度要求高的敏感场所的 异常物体滞留等。 在视频监控中，行人是最重要的活动主体之一，因此对行人的行为分析成为智能 视频监控的重要功能部分 2。而行人行为分析的实现建立在行人检测与跟踪的基础 上，所以对行人的检测与跟踪是一个非常重要的问题。现实场景中，对行人目标准确 而快速的检测和跟踪是一项十分具有挑战性的工作，因为行人在移动时比车辆更具灵 活性并且行人是非刚体， 轮廓特征在

22、不断变化，不易提取 3，这给跟踪的准确性以及 算法的计算复杂度带来了诸多问题。除了视频监控方面，行人检测与跟踪在计算机动 1 第一章绪论 行人多目标检测与跟踪技术研宄 画、虚拟现实、人机交互、智能交通等方面也获得了广泛的应用。 综上可知，视频序列中的行人目标检测与跟踪技术的研宄具有非常广阔的应用前 景和很高的经济价值。 1.2多目标检测与跟踪概述 1.2.1国内外研究现状 随着信息技术的发展，智能视频监控技术在商业、国防等领域的广阔应用前景引 起了许多国家的重视，纷纷投入大量的科技人员、财力以促进其发展，已经取得了很 大的进步。此外，计算机技术、微电子技术以及互联网和宽带网络技术等的发展也给

23、视频监控的发展提供了强有力的平台。 1997年美国国防高级研究项目署 （ DARPA)设立了 VSAM (Visual Surveillance AndMomtormg)项目，该系统融合了多种不同类型的传感器，研宄普通民用和战场 场景中的视频理解技术，安防领域著名的 ObjectVKleo公司就是受益于 VSAM的研宄 而成立。法国的 INRIA等研宄机构和英国的雷丁 大学在 2004年一起进行了 AVITRAC 智能监控项目，它研宄的是停机坪环境下目标的智能跟踪以及对目标异常行为的监控 与报警的系统。 Maryland大学的 Haritaoglu Ismail等人研宄的实时视觉监控系统 W4

24、 将目标的外形信息和跟踪技术相结合，能够定位和分割出人的身体部分，可在室外环 境下检测和跟踪多个运动人体并对他们的行为进行监控 4。 Prmceton大学研制出的嵌 入式智能摄像头系统 Smart Camera5，能够获取场景的高层描述信息并实时做出内容 分析。该系统一个典型的应用就是通过 对场景中的行人目标进行检测与跟踪，对他们 的行为进行分析，从而达成辨识人的姿势和行为的目的。 在实际应用领域，安防类的应用是目前市场上的主流。美国的 VKUent公司推出 名为 Smart Catch的产品，该产品能进行包括物体移动、物体遗留、周边入侵等多种 异常行为的检测，旧金山国际机场就是采用了该产品。

25、 ObjectVKleo公司研发的产品 功能包括边界入侵探测、物品遗留检测、异常物体探测、防盗探测、人 /物流监控、 交通工具监控和测速等等，许多厂商提供的智能视频分析产品均是基于该平台。法国 的 CWLog公司采用自主研发的车辆跟踪技术和自适应动态图像背景技术，减弱了光 2 行人多目标检测与跟踪技术研宄 第一章绪论 线、灰尘、雨雪等外界因素的影响，能够迅速检测出监控区域内发生的交通事故，收 集相关的数据，实现辅助交通控制。 中国的智能监控技术起步较晚，因此，中国的监控行业经历了引进、模仿、创新 三个发展过程，经过了模拟监控时代、数字监控时代、 IP网络监控时代三个阶段， 并逐渐向高清化、智能

26、化方向发展。目前，随着国内市场上对智能化视频监控产品的 需求与日倶增，国内的一 些科研机构和部分公司如海康威视、 TCL等企业己经开展 了相关的研宄和商业产品开发并且取得了较好的成果。中科院的模式识别国家重点实 验室视觉监控研宄组搭建了一个用于监控交通场景的实验系统 6。网络人是国内远程 控制软件行业的领导者，其推出的远程网络摄像机，具有操作便捷、性能高超、经济 实惠等特点，充分满足了普通用户的监控需求。海康威视推出的实时视频透雾技术能 够根据雾况的变化自动调整从而适应各种场景应用，为城市瞭望沿海水域、治安监控 等领域带来了画质的大幅提升；其新近推出的 “4K” 超高清技术给人们带来全新的 技

27、术与极致的视觉体验，能捕捉更多细节，可以应用于图像增强、热度图、图像复原、 人脸大库检索、车辆检索、浓缩播放、大数据、三维立体识别、人脸人体属性分析、 视频摘要、云存储以及云服务等，引领了视频监控时代的新风暴。 1.2.2多目标跟踪的一般流程 基于视频序列的多目标跟踪技术汇集了计算机视觉、自动控制、人工智能、模式 识别以及图像处理等很多领域中的先进思想和技术。而各种多目标跟踪方法的主要流 程是一致的，尽管它们的实现步骤有一定的差异，如图 1.1所示。主要包括图像的预 处理、运动目标检测、数据关联、目标跟踪四个步骤 7。其中，目标检测和目标跟踪 是重点研宄内容。 图 1.1多目标跟踪的主要流程

28、3 第一章绪论 行人多目标检测与跟踪技术研宄 (1) 目标检测 目标检测是视频研宄中一个极其重要的难题，它可以从视频流中分割出目标和背 景，同时也是跟踪、识别和分析的基础。目前己广泛应用于视频监控、精确制导、运 动图像编码等研宄领域。 目标检测是计算机视觉的基础，根据待处理对象的不同可以分为运动目标检测和 静态目标检测。运动目标检测是指在一系列连续的视频序列中判断是否存在运动目 标，如果存在则确定运动目标位置；静态目标检测则多指在静态图像上进行的目标检 测，比如人体、车牌、字符等的检测。两类目标检测最主要的区别是前者主要依赖于 目标在时间上的运动特性。 在行人、车辆等目标检测的领域内，经过国内

29、外学者的多年研宄，形成了几种流 行的算法，主要分为两类 9:第一类是基于视频中感兴趣目标的运动信息的检测算 法，比如背景减除法，光流法，帧差法等。第二类是针对感兴趣目标的特征，设计并 训练相应的分类器然后进行目标检测的算法，包括利用纹理特征 Haar、 局部二值化 模式 （ Local Binary Pattern, LBP)特征、边缘特征、梯度方向直方图 （ Histogram of OnentedGracUentHOG)特征等来设计训练分类器进行目 标检测。其中，第一类算法 主要利用图像帧与帧之间的相互关系，构建背景图像，实现目标检测。该类算法计算 简单，具有良好的实时性，不过对于目标间相

30、互遮挡、场景经常变化、目标相距很近 或者目标暂停等情况，该算法的检测精度会显著下降。第二类算法主要根据目标的轮 廓、外观等选择合适的特征来进行相应的分类器的训练，然后将训练好的分类器采用 滑窗技术作用于图像帧从而检测出感兴趣的目标。该类算法可以应用于单幅图像和视 频序列，能够较好地检测距离很近或长时间无显著运动的目标。缺点是该类算法采用 的是滑窗技术和分类器训练，时耗 长，不能达到实时。 考虑到实际应用，目前在运动目标检测与跟踪中，广泛采用第一类目标检测算法。 虽然对该类算法进行了很长时间的研宄，但当前仍然面临很多问题，如：光线变化等 背景噪声的影响、背景的建立和更新、阴影对目标准确性的干扰等

31、。目前还未有一种 对各类视频都通用的目标检测算法。 4 行人多目标检测与跟踪技术研宄 第一章绪论 (2) 目标跟踪 目标跟踪是指在连续的视频序列中，通过 BII后帧的关联关系，针对每幅图像中的 运动目标的位置坐标等信息，建立每个目标在视频序列各帧中的 对应关系。达到准确 的目标跟踪的核心是要分割得到完整的目标、提取合适的特征以及准确的目标识别， 当然也要考虑算法的运行速度。按照不同的分类标准，运动目标跟踪大致可以分为以 下几类 1 : (a)按照目标属性可以分为非刚性和刚性目标跟踪； （ b)按照待跟踪的目 标个数可以分为单目标跟踪和多目标跟踪； （ c)按照目标的表达方式可以分为基于区 域的

32、跟踪、基于轮廓的跟踪、基于特征的跟踪和基于模型的跟踪 1112。 基于区域的跟踪方法首先使用图像分割或人为设定得到包含目标的区域，之后把 该目标区域作为匹配的目标模版，并设定匹配的度量，在后续图像序列中搜索目标， 与目标模板匹配程度最高的区域即为跟踪结果。该算法通常利用了运动目标的颜色、 灰度等全局信息，可信度比较高。如果运动目标没有被遮挡，那么其跟踪准确度比较 高。同时，该算法更适合较小目标的跟踪，因为在目标跟踪时它需要对每帧图像进行 大面积的区域搜索计算，比较浪费时间。在跟踪过程中，运动目标姿态的变化会引起 匹配模板的变化，因此如何正确处理目标模板变化的情况成为近年来基于区域的跟踪 方法关

33、注的重点。 基于轮廓的跟踪方法利用封闭的参数化曲线轮廓 13(又叫 Snake模型）来表达运 动目标，以轮廓曲线为参数构造能量函数，通过迭代过程使能量函数极小化，使轮廓 曲线从初始位置逐渐向目标区域靠拢，从而实现对目标的跟踪。该方法同时考虑了图 像的灰度信息和轮廓的几何信息，可靠性强，可以处理部分遮挡的情况，不足之处是 对初始位置的选择要求较高，经过初始化后的轮廓应该尽可能的与真实轮廓一致，不 然得到的结果会不符合真实的要求。此外， Snake模型收敛缓慢，可能在局部获得极 值点，甚至是发散的状态。 基于特征的跟踪方法通 常需要先提取运动目标的一种或多种特征，然后在图像序 列中利用某种匹配算法

34、如归一匹配法、平方差匹配法、相关匹配法等寻找目标，从而 实现目标跟踪。目前常用于目标跟踪的特征有颜色、纹理、边缘梯度、角点等。该算 法的优势在于计算速度快，实时性好。由于特征遍布于整个运动目标，所以如果目标 有部分特征被遮挡，但只要还有不被遮挡部分，就仍能够进行准确跟踪。问题是，如 5 第一章绪论 行人多目标检测与跟踪技术研宄 果运动目标出现旋转等形状变化，会促使新特征出现，原有的部分特征消失 ，因此需 要适当地更新目标的模板。因为特征的合适与否直接影响目标跟踪的效果，所以如何 选择稳定有效的特征是该类方法的研究重点和难点。 基于模型的跟踪方法是先通过一些先验信息对感兴趣的目标进行建模，之后利

35、用 匹配方法进行目标跟踪并适时更新目标模型。目前主要有三类目标模型：线图模型、 二维轮廓模型和三维立体模型，其中三维立体模型应用最多，尤其在刚体目标如汽车 的跟踪方面。该方法不会被运动目标观测视角干扰，鲁棒性较好，但是其计算繁琐， 不易实时，同时对运动目标的 3D模型构建比较困难。 总的来说，目标跟踪的相关算法不断涌现，但一般缺乏通用性，只能达到特定应 用场景的跟踪需求。在不同的情况下，比如待跟踪目标形状发生变化；运动目标受光 照影响；目标在运动期间发生部分或全部遮挡；背景有动态和静态；目标的运动模式 突变等等都将给运动目标的准确跟踪带来了很大的挑战。 1.2.3多目标检测与跟踪的技术难点 运

36、动目标检测和跟踪中需要克服的难题主要来自实际场景的复杂性、感兴趣目标 的多样性和视频数据本身的特殊性等，现有的多目标跟踪技术在应用中会遭遇各种实 际监控环境的限制。主要包含以下几个方面的难题 14: (1) 现实背景的复杂性。运动目标所在环境的稳定程度和复杂程度都会对目标 跟踪的效果产生影响。主要表现有光线亮度的变化引起背景颜色的变化；背景中运动 目标暂停，或移去、增加、移动某些景物时，背景发生了变化，此时应及时对背景模 型更新；背景中有类似运动目标特征的物体时，会给目标跟踪增加难度，可能使跟踪 出现错误，收敛到类似物所处的位置；阴影可能导致背景中局部区域亮度发生变化， 甚至多个独立区域连通成

37、一个，给运动目标检测带来困难。 (2) 目标跟踪过程中的外观变化以及不同目标间外观的区分。目标外观特征包 括目标的纹理、形 状和颜色等信息。对于非刚性目标来说，形状的变化、由于距离改 变引起的目标量测大小改变以及目标运动的不确定性，可能导致目标信息的丢失，进 而发生跟踪失败。在实际监控视频中，有些目标的外观可能很相像，需要选取合适的 特征来明确区分不同的目标以实现准确的数据关联。 6 行人多目标检测与跟踪技术研宄 第一章绪论 (3) 遮挡问题。遮挡产生在目标与景物之间、目标相互之间以及目标的自遮挡， 并且遮挡的程度也会不同，是多目标跟踪中的难点问题。遮挡表现为目标信息的逐渐 丢失，而跟踪算法的

38、关键就是搜索到足够多的目标信息，判定目标所在，所以遮挡给 目标跟踪的可靠性带来很大困难，可能导致跟踪的不稳定甚至丢失目标。当前大部分 的跟踪系统都不可以较好地处理严重的遮挡，也没有提供何时停止的判断标准、何时 重新开始跟踪，并且在目标丢失后没有相应的重获目标的方法。 (4) 目标数目的随机性问题。多目标跟踪经常会出现目标数目的变化。新目标 出现、旧目标消失以及由于遮挡引起的目标的分裂或合并等情况都会引起目标数目的 变化。怎样在当前帧中得到目标的个数，也成为多目标跟踪中的难题。 (5) 实时性问题。数据量大 是视频图像的一大特点，要想目标跟踪系统具有实 时性，应该选择计算复杂度低的算法，但准确性也是目标跟踪的一大重要性能要求， 其常常以复杂的运算和处理为基础，这就造成了两者间的矛盾。一个两者兼顾、综合 这两个性能指标的运动目标跟踪系统才算是一个好的系统。 1.3主要研究工作及方法 本文主要研宄了固定摄像头下行人多目标的检