基于图像金字塔光流的角点跟踪法的车辆监测系统.pdf

《基于图像金字塔光流的角点跟踪法的车辆监测系统.pdf》由会员分享，可在线阅读，更多相关《基于图像金字塔光流的角点跟踪法的车辆监测系统.pdf（4页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、角点跟踪法的车辆监测系统 兰昆艳。张洪刚，田江伟，雷晓(1 北京邮电大学信息与通信学院，北京市(1 O 0 8 7 6)；2 北京弗雷赛普科技发展有限公司，北京市(1 0 0 0 3 7)【摘要】：本文提出并实现了一个基于特征提取和运动估计的实时、智能车辆监测系统。在照明度较好的白 天，图像的结构信 息突出、充分，以角点作 为特征 实现高效的 目标检测。而针 对跟踪子任务，采 用基 于图像金 字 塔光流的特征跟踪方法能获得 目前针对目标的大尺度运动的最好预测结果。实验表明，系统在卡口监测环境下具 有较高的处理速度和监测精度，对光线变化、阴影及噪声干扰具有很好的鲁棒性。【关键词】：角点检测；图

2、像金字塔光流法；车辆检测；车辆跟踪 V e h ic l e Mo n i t o r i n g S 1 B a s e d o n C o me r-b a s e dMu l S-r e s o lu t i o n Op t i c a l Ro w Al g o r i t h m I_ AN K u n y a n l，Z HANG Ho n g g a n gl，L EI Xia o 2，TI AN J ia n g we i2 f 1 I n f o r ma t io n a n d C o mmu n i c a t i o n D e p a r t me n t，B e

3、 ij i n g U n i v e r s i t y o f P o s t s a n d T 2 S B e i j i n g F r i e n d s h i p T e c h n o lo g y D e v e lo p me n t C o L t d，)Abs t r a c t：A r e a l-t i me i n t e l l i g e n t v e h i c l e mo n i t o r i n g s y s t e m b a s e d o n f e a tur e e x t r a c t i o n a n d mo t i o n

4、 e s t i ma t i o n l S pr o p os e d a n d i mp l e me n t e d i n t hi s pa p e r I n g oo d fi g hti ng c on d i ti on d ur i n g d a y t i me，the s h a p e i n f o r ma t i o n i s ou t s t a nd i ng a nd s u ff i c i e n t S O t h a t e c i e n t o b j e c t d e t e c ti o n c a n b e r e a l i

5、 z e d e mp l o y i n g c o me a S e a mr e F o r t r a c k i n g t a r g e t,the b e s t e s t i ma t i o n t O l a r g e ma g n i t u d e mo ti o n o f o b j e c ts a t p r e s e n t c a n b e a c h i e v e d b y f e a tur e p o i n t s b a s e d m u l t i r e s o l u ti o n o p ti c a l fl o w a

6、l g o r i t h m I t i s p r ov e d by e x pe rim e nt s t h a t hi g h s p e e d a nd p r e c i s i on a r e a va i l a b l e a t t o llg a t e M or e o v e r，i t i s r o bu s t t o il l umi n a tio n c h a ng i ng、s h a d o w a nd no i s e Ke y wo r d s：Co me r De t e c ti o n；Mu l ti r e s o l u t

7、i o n Op ti c a l F l o w；Ve h i c l e De t e c ti o n；Ve h i c l e T r a c k i n g 1 引言 卡口监测作为智能交通系统的重要视频监控应用实例 得到日益广泛的关注。而特征检测与跟踪恰是基于图像序 列的运动研究的重要基础和关键技术 1】。迄今，不懈的研 究工作对运动 目标检测这一课题做出了诸多解决方案，其 中最为经典的检测算法是基于背景差、帧间差、光流和模 板匹配实现 的。但卡 口监测应用 的实时 lC x,算法 的复 杂度 和运算速度做出了限制，系统功能的实现应简捷、高效。但这几种算法自身的缺陷，如背景差要求有理

8、想的背景模 型和自适应的前景二值化阈值以及有效的阴影去除算法，帧间差法中前景块不可避免的重叠和破碎不利于目标的准 确定位和识别，光流法【2 1 和模版匹配 3】法耗时严重，都限 制了其在实时监测中的应用。而混合算法无疑提高了算法 复杂度。近年来基于图像特征的检测方法 日益流行，如基于 Ha a r 征的A d a B o o s t 方法 4 。但是该方法的前期训练工作 较为繁重，并且训练器要求实时更新。将车辆底部强烈的 阴影作为特征【5】进行目标的检测、跟踪不失为一种有效的 方法，但卡口特写画面中不同的光照方向使得该特征不断 变化、甚至是不可见的。而基于轮廓和边缘信息【5】的检 测、跟踪适用

9、于场景简单的卡口，但是耗时的轮廓分析和 边缘提取不利于实时检测。支持向量机 6】的特有优势使其 在模式识别应用中备受瞩目，但该方法是基于统计实现的 并要求前期以大量的样本对其进行训练，故时效性不适于 卡 口监测。本文推荐并验证了一套基于特征提取、运动估计的智 能卡口监测系统的设计方案。面向应用，在光照条件较好 的白天，卡口视频所提供的都是含有丰富特征信息的特写 图像，基于角点检测的光流跟踪方法能够得到相当精确的 效果，并使计算速度得到质的提升。方案的实现步骤为：首先，在前一帧图像上提取充足的特征点，并于下一相邻 帧利用基于图像金字塔的光流法对其进行眼踪并据跟踪结 果筛选运动点集标识目标；抓拍依

10、照统计标准执行。文章结构安排如下：第1 部分是背景介绍，第2 部分阐 述角点检测方法的原理，第3 部分分析图像金字塔光流法 对目标的大尺度运动估计的实现，实验结果在第4 部分，最后是总结。蕾筮墨 辅醋：嘴删础 m乩 6 3 交通管理 T R A F F I C MA N A G E ME N T 2 角点检测 角点 7、8】是图像重要的局部特征，它以有限的数据 量集中了图中物体丰富、关键的形状信息，极大地降低了 数据冗余度，使得实时检测成为可能；其检测几乎不受光 照条件和摄像机姿态的影响，具有旋转不变性，在运动估 计、图像配准与匹配等计算机视觉领域起着非常重要的作 用。本文采用能够提供最有效、

11、最精确的跟踪结果 9】的算 法之一 L K I O 方法，故角点成为在卡口场景下进行决 捷、准确的运动 目标检测和跟踪的理想特征选择(1 1】。本 文采用K L T 7、1 2、1 3 1 角点检测算法，适用于角点数目不 多且光源简单的情况并对图像序列的检测效果更好。算法 对每个像素都建立一个窗口来考察其内灰度变化强度从而 在图像中寻找具有大特征值的像素点f 1、1 4 ，效率很高。检测过程主要分为4 个步骤：(1)对 图像 中的每一个像素点，计算得到其窗 口 模板下的 相关梯度矩阵的最小特征值。自相关梯度矩阵 定义如下：LLy L x*)2L 卜 一 3，9 J)，L x，L y分别为灰度值

12、 L(x，y)对x，Y的一阶偏导数。计算 的特征值 入1 入2，并取z u P )m i I l(，)o(2)进行“抑制局部非最大(NMS)”、“：在 a a 邻域中仅保留局部最大的梯度相关矩阵的最小特征值 对应的像素点。(3)候选特征点筛选：将步骤(2)保留下来的各候 选特征点对应的最、牟 寺 征值与给定阈值 入 作比较，将小于 入的候选特征点排滤除。(4)最后，用尸 ，尸 y 2)欧氏距离来确保所 有角点之间具有足够的距离，两点的欧氏距离定义为：广_=-d=x (x l-x 2)+(l y 2)(2)角点检测的结果主要集中在图像局部的高纹理区域，能及时、准确地反映目标的重要形状结构，从而发

13、现准车 辆 目标。为了有效地排除噪声、非机动车辆等干扰因素，需要对准目标的特征点进行运动估计来提取能够表征真实 运动目标的特征点。本文的监测流程如下，其中特征点的 检测及其运动估计是核心步骤。图1基于图像金字塔光流的角点跟踪方法的卡口监测 系统流程图 6 4 智能交通 3 图像金字塔光流法 角点只包含图像中大约0 0 5的像素点 1 0】，在保持图 像数据信息完整的前提下最小化数据处理量。因而基于角 点检测的光流跟踪极大地减小了计算量，可以满足卡口监 测实时性的要求。本文实验图像大小为7 2 0*2 8 8，对角点 实施跟踪使得光流计算对象从十万数量级骤降到几百个特 征点。但是L K算法的一个

14、固有缺陷是不能准确跟踪在相 邻帧间运动尺度过大的目标，只适用于小图像灰度模式的 运动估计【1、9、1 1】，其缘 由在于光流估计方法的两个应 用条件：灰度守叵约束Bs 和速度平滑生约束 1 6 。本文检 测环境下的目标运动速度较快，难以满足光流估计的约束 条件，故采用基于图像金字塔的光流 1、9、1 1】跟踪方法 实现精确的大尺度运动估测。该方法思想如下：原图像作 为金字塔基层F=O，将原图减采样至原尺寸的 1 2 (一 般 N=I，过大则会导致图像信息严重丢失)获得 F=2 层图 像，则该层相邻帧间的目标像素运动距离变为D 2 (D为 原图中相邻帧间的目标像素运动距离)。遵照此规则，当 F达

15、到一定值时(一般有3 F 5 1】)，最高层相邻帧间 的目标运动尺度变为亚像素级，则可满足光流约束条件并 用L K算法直接进行精确的光流估计。金字塔建立过程示意 图见 图2。图2 图像 金字 塔 的构 造 正墨墨 粹柏酝酏。糟溯 锄www_ n e wc 慨 瑚 具体计算流程如图3、图4 示。+巧 +图3基于图像金字塔的光流跟踪 方法流程示 图4基 于图像金字塔的光流跟踪法的简化流程图 ”】图4 中的v嚷 示 瞑 的光流估计值，vf 表示 的光 流计算结果，其得出是经典的光流迭代L u c a s Ka n a d e 方法 计算过程。4 实验结果 4,1 角点检测结果 图5 的(a)、)、(

16、c)是分别由白色、黑色和蓝绿色车辆 的彩色图像灰度化而得到，车型包括了小型车和大型车，红色点标记的为当前图像的角点。可见，标记点均在特征 明显之处且数目足够多，灰度平滑、均匀之处鲜有角点；另有，角点检测对阴影干扰也具有较好的鲁棒性，三个目 标的头部与路面之间的阴影区域均无误检。此方法较为准 确地反映目标结构信息的能力可以信赖，为后续处理提供 保障。4 2 光流跟踪结果 图6基于金字塔光流法的角点特征跟踪效果图 图例中红色点为前一帧图像的角点，而绿色点指通过 图像金字塔光流法对其进行跟踪得到的可用以标识目标的 运动特征点，L e v e l x 表示图像金字塔层l e v e l=x时的跟踪 结

17、果。可见，未采用金字塔结构时，相邻图像的对应像素 运动距离难以满足光流方程的约束条件，跟踪结果发生严 重的漂移，无准确度而言；随着金字塔层数逐渐增加，相 邻图像的对应像素运动距离逐渐变小，有效运动点数量和 跟踪效果得到非常大的提升。4 3系统性能指标 对4 4 2 1 幅卡口白天特写图片进行实验，其中含2 3 4 个 目标，车型包括大、中、小型；场景天气包含晴、雾。从 系统对目标的抓拍正确率、虚警率及数据处理速度三方面 与帧间差法、背景差法来对比考察其性能。相关参数见表 1 分析。表1 系绕L生能对比分析 髓测方法 确卑 虚替率 甲均处理时问(m s 帧)晴天 0 本诞“1 0 0 1 9l

18、7 雾灭 O 晴灭 7 5 1 帧间差法 1 0 0 1 5 7 0 雾天 4 5 9 蹄灭 l 4 4 6 背景差法 1 0 0 3 5 0 9 雾 天 1 9 2 7 s T算法 3 O 5 2 3 5 从表中数据可知，参数设置合理情况下前三种方法都 能将车辆 目标无遗漏地监测到，但综合抓拍正确率、虚警 率和处理时间考虑，本文方法要明显优于其它两种方法。正如在第1 部分所言，背景差法的背景建模及更新是极为 复杂、耗时的过程，故背景差法的运算速度最低；同时该 蠢墨 黼事l 艚：瓣删绷一 嗍嘟 喊 吕_ 皇 交通管理 l T R A F F I C MA N A G E ME N T 方法的二

19、值化阈值难以裁夺，检测结果对光线变化、阴影干扰的适应性差，天气恶劣时情形更为糟糕，因此其 虚警率最高。而帧间差法虽简单易行且对光线的缓慢变化 敏感性低，但由于算法固有缺陷一只能判断出相邻帧间 有运动发生，却无法准确分析当前图像中是否仍有目标存 在，故即使 目标已经驶离监测区域，当前图像仍可能被抓 拍而产生虚警。经典的特征跟踪算法S I F T 1 7、1 8 是基于 尺度空间变换实现的，匹配点多且鲁棒性高，但使用了高 维向量来表示特征点，故时间复杂度极大其平均处理 时间是本文方法的1 5 9 倍，不适于实时性要求比较高的监 测系统。本文方法无需建模、更新等复杂步骤，检测、跟 踪简洁迅速；在实施

20、监测时对光线变化、阴影的鲁棒性 强，基于前一帧检测结果于当前帧进行特征点的跟踪、匹 配，若当前帧内运动目标已驶出监测区域则程序无法完 成跟踪任务，不会导致虚警发生。综上分析，本系统具 有较好的性能，完全能够实现准确、实时的监测。表1 中 的图像平均处理时间都I n t e l P e n t i u m 4，C P U 3 0 0 GH z，Me mo W 5 1 2 MB 的计算机上统计获得的。对比三种方法的 监测精确 口 图7 所示。5 总结 本文采用基于图像金字塔光流的角点特征跟踪方法实 现了一个智能卡口监测系统。实验表明，该方案具有下列 优点：充分利用优秀的图像特征信息对目标进行高效的

21、 检测；基于角点对车辆实施光流跟踪，结果精确且极大地 减少了计算量；算法对阴影、噪声等干扰具有很好的鲁 棒性。故而，该监测系统在卡口等场合具有较高的实用价 值。参考文献 1江志军，易华蓉一种基于图像金字塔光流的特征跟 踪方法武汉大学学报，信息科学版2 0 0 7，3 2(8)：6 8 0 6 8 3 【2】G a n g L i，Ru i l i Z e n g，L i n g L i n Mo v in g T a r g e t De t e c ti o n m V i d e o Mo n i t o r i n g S y s t e m P r o c e e d i n g s

22、o f t h e 6 t h I 3 崔玉文，黄飞泉，姜瞍运动目标的快速检测与跟踪算法研究 齐齐哈 尔大学学报 2 0 0 6，2 2 f 4)：2 4 2 7 I 4 J Da v i d A c u n z o，Ym g Z h u，B i n g l o n g X i e，e t c C o n t e x t Ada pt i ve Ap pr o a c h f or Ve hi c l e De t e c t i o n Unde r Va r y i ng Li g ht i n g Con d i ti on s Pr oc e e din gs of t h e 2 0

23、0 7 I EEE I nt e l l i g e nt Tr a n s po r t a tio n S y s t e ms Con f e r e nc e S e a t t l e，2 0 0 7：6 5 46 6 0 5】E h s a n Ad e l i Mo s a b b e b，Ma rya m S a d e g h i，Ma h mo o d 66 智能交通 Fa t h y，M a l i he h Ba he k ma t A Lowc o s t S t r o ng S ha do wba s e d Se g me nt a t i on Ap pr o

24、a c h f or Ve h i c l e Tr a c ki ng i n Cong e s t e d Tr a ffic S c e ne s I EE E，2 00 7：1 47 1 5 2 6】J i e Z h o u，Da s h a n G a o，a n d Da v i d Z h a n g Mo v i n g Ve hi c l e De t e c t i on for Aut oma t i c Tr a ffi c M on i t o r i ng I EEE TRANSACTI oN S oN VEHI CU L AR TECHNo Lo GY 2 0

25、07，VOL 56，NO1：51 5 9 7】赵文彬，张艳宁 角点检测技术综述 计算机应用研 究 2 0 0 6，1 0：1 6-1 9 【8】郭海霞，解凯 角点检测技术的研究 哈尔滨师范大 学自然科学学报 2 0 0 7，V o 1 2 3 _ No 2：7 3 7 5 9】K a n t i p K i r a t i r a t a n a p mk，S u p a k o r n S i d d h i c h a i V e h i c l e De t e c tio n a nd Tr a c k i n g f o r Tr a f fic 【1 0】沈美丽，宋华军 基于角点检

26、测的光流目标跟踪算 法 电子器件，2 0 0 7，3 0(4)：1 3 9 7 1 3 9 9 1 1】Me n g L i u，C h e n g d o n g Wu，Yu n z h o u Z h a n g M ot i o n ve h i c l e Tr a c ki ng ba s e d on M u l t i r e s ol ut i o n Opt i c a l F l o w a nd M u l t i s c a l e Ha r r i s Co m e r De t e c t i onPr oc e e di ng s of t he 2 0 07 I

27、 EEE I n t e r n a t i o na l Co nf e r e nc e on Ro bot i c s a n d Bi o mi me t i c s 2 00 7：2 0 3 2-2 0 36 M on i t o rin g S ys t e m I EEE 2 0 0 6：1 42 4 4 0 5 4 91 1 2】h t t p：vi s u a 1 i p a n s z t a ki h u p i v we b n o d e 5 h t m l 1 3】h t t p：w w w c e s c l e ms o n e d u t b k l t 1

28、4 h t t p：w w w o p e n c v o r g c n i n d e x p h F I C v E 5 9 B B EE5 8 3 8 FE5 A4 8 4 E7 9 08 6#Co m e r Ei g e n Va l s And Ve c s 【1 5 J朱克忠 一种运动目标检测与跟踪快速算法的研 究 科技资讯 2 0 0 7，NO2 0：2 5 4 2 5 5 1 6】张凯 视 频 运动 检 测 算法 的研 究和 分析 2 0 0 7，Vo 1 2 7，No 1：26 28 W or l d Co nfe s s on I nt e l l i g e n t

29、Cont r o l a nd Aut oma tion 2 0 0 6：9 9 78-9 9 81 2 0 0 6，第1 1 卷，第7 期：9 1 9 9 2 7 【1 7 1 刘立，彭复晁 赵坤，万亚平。采用简4 ,S I F T算法 实现快速图像匹配。红外与激光工程。2 0 0 8 年2 月，第3 7 卷 第1 期：1 8 1 1 8 4。1 8】王国美，陈孝威。S I F T 特征匹配算法研究。盐城 工学院学报(自然科学版)。2 0 0 7 年o 6 月，第2 0 卷第2 期：1 6 作者简介：兰昆艳，女，1 9 8 4 年生，在读硕士研究生，主要研究方 向为图像处理。丘墨墨 脯 蛐酝 舌 0 7 5 嘲 0 0 www-n e n e t