成像目标检测与跟踪课件.ppt

《成像目标检测与跟踪课件.ppt》由会员分享，可在线阅读，更多相关《成像目标检测与跟踪课件.ppt（67页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、主要内容uu光电跟踪系统概述光电跟踪系统概述uu运动目标检测方法运动目标检测方法uu成像目标跟踪方法成像目标跟踪方法uu光电跟踪技术应用及发展光电跟踪技术应用及发展n光电跟踪系统一、光电跟踪系统概述一、光电跟踪系统概述n红外监控系统n什么是成像（视频）目标跟踪？成像目标跟踪是指对光电传感器摄取到的视频（序列）图像进行处理与分析，充分利用传感器采集得到的信息来对目标进行跟踪、定位的过程。一旦目标被确定，就可获得目标的位置、速度、加速度、姿态等运动参数。一、光电跟踪系统概述技术现状(国际)时间事件机构1974智能实时电视跟踪系统，以提高光电跟踪测量仪器的智能实时电视跟踪系统，以提高光电跟踪测量仪器

2、的性能，并适应多目标跟踪测量的需要。性能，并适应多目标跟踪测量的需要。美国白沙导弹靶场、新墨西哥州立大学和亚利桑那大学科学中心1980s为空军研制的机载火控系统的多功能红外相干光学传为空军研制的机载火控系统的多功能红外相干光学传感器具有多目标捕获、跟踪、分类、武器投掷和地形感器具有多目标捕获、跟踪、分类、武器投掷和地形回避等功能。回避等功能。美国福特公司和沃特公司1985掩护船防御系统能跟踪处理掩护船防御系统能跟踪处理200200多个目标。多个目标。美国海军1989-90公公布布了了宽宽视视场场望望远远镜镜实实时时跟跟踪踪系系统统(WFOV)(WFOV)和和多多目目标标跟跟踪宽视场摄像机系统。

3、踪宽视场摄像机系统。美国Larrence Livermore国家实验室1991红外图像识别跟踪系统，采用灰度、形状等多个特征，红外图像识别跟踪系统，采用灰度、形状等多个特征，其其Exoatmospheric Re-Entry Interceptor Subsystem(ERIS)拦截器可快速识别真假来袭的导弹。拦截器可快速识别真假来袭的导弹。美国陆军美国陆军一、光电跟踪系统概述时间时间事件事件机构机构1992提出的提出的“有识别能力的拦截弹有识别能力的拦截弹”也是一种具有智能的也是一种具有智能的对多特征进行信息融合处理的识别跟踪系统，它要求对多特征进行信息融合处理的识别跟踪系统，它要求实现边识

4、别边跟踪的功能。实现边识别边跟踪的功能。美国国防部美国国防部1997视觉监控视觉监控(Visual Surveillance and Monitoring,VSAM)重大项目，主要研究用于战场及普通民用场重大项目，主要研究用于战场及普通民用场景监控的自动视频理解技术。景监控的自动视频理解技术。美国国防部，联合卡美国国防部，联合卡内基梅隆大学、麻省内基梅隆大学、麻省理工学院等理工学院等1999设计了一套航拍视频检测与持续跟踪系统，该系统能设计了一套航拍视频检测与持续跟踪系统，该系统能够对多运动目标实现长时间的准确跟踪，即使发生短够对多运动目标实现长时间的准确跟踪，即使发生短时间内目标被遮挡或目标

5、时静时动的情况时间内目标被遮挡或目标时静时动的情况。美国康奈尔大学计美国康奈尔大学计算机系算机系2005开发出了基于开发出了基于MATLAB的的COCOA系统，用于无人机系统，用于无人机低空航拍视频图像的目标检测与跟踪处理。低空航拍视频图像的目标检测与跟踪处理。美国中佛罗里达大学美国中佛罗里达大学计算机视觉实验室计算机视觉实验室一、光电跟踪系统概述技术现状(国际)一、光电跟踪系统概述研究所：中科院长春光机所、成都光电所、上海光机所，安徽光机所、上海技物所、中国工程物理研究院、兵器209所、中科院自动化所，沈阳自动化所等。高 校：国防科大、西工大、哈工大、北理工、北航、华中科大、空军工程大、上交

6、、西交、浙大、川大等。自上世纪70年代，我国的靶场光学测量设备不仅在数量和质量上均有所增加和提高，而且出现了智能实时电视跟踪系统和各种型号的激光跟踪雷达。一、光电跟踪系统概述技术现状(国内)n光电跟踪系统结构一、光电跟踪系统概述视频监控技术发展的三个阶段当今社会信息的高度密集化、复杂化。人们所面临的突发、异常事件越来越多，传统的人力视频监控已经达不到实时处理突发事件的目的。智能视频监视系统目标检测和跟踪也是智能视频监控系统中的关键技术，分别处于整个系统的前期和中期处理阶段，为后期的高层视觉处理提供分析依据。低层视觉处理中层视觉处理高层视觉处理智能视频监视系统NextSect.主要内容uu光电跟

7、踪系统概述光电跟踪系统概述uu运动目标检测方法运动目标检测方法uu成像目标跟踪方法成像目标跟踪方法uu光电跟踪技术应用及发展光电跟踪技术应用及发展静止背景下的运动目标检测l帧间差分法；l背景减除法（如背景建模）；l运动能量累积法（如动态规划）。动态背景下的运动目标检测l光流法；l参数估计法：块匹配、贝叶斯估计、像素递归等；l带全局运动补偿的算法。二、运动目标检测方法 1.静止背景下的目标检测二、运动目标检测方法n 帧差分法n帧差分检测二、运动目标检测方法原图检测结果 2.运动背景下的运动检测n 光流法（Optic flow）n 块匹配算法（Block matching）二、运动目标检测方法Ag

8、endan光流简介光流(OpticalFlow,OF)的概念是Gibson于1950年首先提出的。光流是空间运动物体在观测成像面上的像素运动的瞬时速度；光流场是指图像灰度模式的表面运动。（a）未运动的圆(b)运动后的圆（c）圆的运动场Optical Optical FlowFlowTranslationRotationScalingOptical Optical FlowFlow 反映了在时间间隔反映了在时间间隔dtdt内由于运动引起的图像变化，时内由于运动引起的图像变化，时间间隔足够小，使得这种变化很小。间间隔足够小，使得这种变化很小。光流的直接目的就是确定一个速度场。光流的直接目的就是确定

9、一个速度场。3D3D运动的运动的2D2D表表示称为示称为运动场运动场(或或速度场速度场),),即图像上的运动点将分配一即图像上的运动点将分配一个速度矢量个速度矢量(运动方向、速度大小运动方向、速度大小)。n光流简介Optical Optical FlowFlow 亮度恒定亮度恒定(Brightness ConstancyBrightness Constancy),),即同一物体点在不即同一物体点在不同时刻具有相同的亮度值。同时刻具有相同的亮度值。n基本假设Optical Optical FlowFlow 运动光滑约束运动光滑约束(velocity smoothness constraintve

10、locity smoothness constraint)，即图像平面上的邻近像素点都以相同的方式运动。即图像平面上的邻近像素点都以相同的方式运动。运动场运动场(MotionFieldMotionField)是图像平面上是图像平面上3D3D物体实物体实际运动的投影际运动的投影(ProjectionProjection)。光流场是运动场的一个近似光流场是运动场的一个近似(ApproximationApproximation)。它描述了图像亮度随时间的变化。是相对观。它描述了图像亮度随时间的变化。是相对观察者而言的，因此是一种相对变化，描述的也察者而言的，因此是一种相对变化，描述的也是一种相对运动

11、。是一种相对运动。Optical Optical FlowFlown光流场与运动场Optical Optical FlowFlowTheopticalflowfieldiszero,butthemotionfieldisnot.Themotionfieldiszero,buttheopticalflowfieldisnot.由于亮度不随时间变化n亮度恒定假设IxvItOptical Flow:Optical Flow:1D1Dn1Dn2DOptical Flow:From 1D to Optical Flow:From 1D to 2D2Dn光流的求解l 卢卡斯-卡拉德算法（Lukas-Kan

12、ade,Regularization）l 霍恩-申克算法（Horn-Schunck,Least squares）1LucasandKanade,“Aniterativeimageregistrationtechniquewithanapplicationtostereovision,”Proc.DARPA Image Understanding Workshop,pp.121-130,1981.2HornandSchunck,“DeterminingOpticalFlow,”Artificial Intelligence,vol.17,pp.185-204,1981.Optical Optic

13、al FlowFlowExampleExample：Optical Optical FlowFlow Horn-Schunck方法 Lucas-Kanade方法ExampleExample：Optical Optical FlowFlow（a）人体运动（b）交通流ExampleExample：Optical Optical FlowFlowMotion and FlowMotion and FlowMotionestimationPatch-basedmotion(opticflow)RegularizationandlineprocessesParametric(global)motionL

14、ayeredmotionmodelsn块匹配算法块运动估计与光流计算不同，它无需计算每一个像素的运动，而只是计算由若干像素组成的像素块的运动。如数字视频压缩国际标准MPEG1-2采用了基于块的运动分析和补偿算法。二、运动目标检测方法目标帧锁定帧二、运动目标检测方法n块匹配算法l 匹配准则(Matching Criteria)l 搜索策略(Searching Strategyl 匹配特征n关键技术块匹配算法Agenda(1)均方差(MeanSquareError,MSE)(2)平均绝对差(Meanabsolutediscrepancy,MAD)n匹配准则块匹配算法(3)归 一 化 互 相 关(N

15、ormalized Cross-correlation,NCC)(4)最大像素匹配统计(MaximumPixelscounting，MPC)n匹配准则块匹配算法l 全视场搜索(FS)l 对数搜索法l 三步法搜索l 菱形搜索法(Diamond Search，DS)l 其他改进的搜索策略n搜索策略Agenda块匹配算法2D对数法搜索lJainandJainlExaminecentralpoint&itsfoursurroundingslDistancefromcenter:r/2lFindbestmatchlIfbestmatchisincenteroronboundaries,halfdista

16、ncefromcenterlExaminefivenewpointscenteringpreviousbestlWhendistanceis1,useall9matches,findbest.Stop111112223344444444搜索策略Three-StepSearch(3SS)lKogaetall9Points:Centralpoint&its8surroundingslDistance:r/2lFindthebestmatchlUsepreviousbestascenterlHalfdistance,select8newlRepeatalgorithm3timeslExamines2

17、5pointslAssumesauniformdistributionofMVs111111111232222222333 3 333搜索策略l 图像灰度/颜色等信息l 图像特征，如角点、边缘、轮廓、区域等;几何、纹理等;方差、均值、信息熵等；变换（谱）域特征等。NextSect.n匹配特征块匹配算法主要内容uu光电跟踪系统概述光电跟踪系统概述uu运动目标检测方法运动目标检测方法uu成像目标跟踪方法成像目标跟踪方法uu光电跟踪技术应用及发展光电跟踪技术应用及发展三、成像目标跟踪方法(a)质心表示，(b)特征点集表示，(c)矩形框表示，(d)椭圆框表示，(e)关节模型表示，(f)轮廓表示，(g)

18、侧影表示，(h)骨架模型表示n目标跟踪的表示n颜色直方图忽略了目标的空间结构信息。nSnake轮廓模型仅考虑目标的边界，在目标与背景容易混淆的情况下，目标模型通常容易退化。n局部特征模型一组局部特征来表示，缺乏目标的全局结构信息，稳定性较弱，易受噪声、目标姿态以及光照条件的影响。n2D/3D空间模型模型参数估计的运算量很大，并且难以保证模型的精度。常见目标表示波门跟踪；边缘跟踪、峰值（对比度）跟踪等；质心跟踪；相关跟踪（模板匹配）；多目标跟踪及编号维持；轨迹预测和记忆跟踪算法（Kalman、粒子滤波等）；基于模式识别及特征分类的目标跟踪在线、离线学习的跟踪方法。n常见的目标跟踪方法三、成像目标

19、跟踪方法xyabcdxcyc形心1.质心跟踪常见的目标跟踪方法二值图像TemplateSearch image由于目标运动、姿态发生改变、光照条件改变以及杂波背景的干扰，使得目标图像的分割提取十分困难，计算目标的矩心或形心不准确。在某种情况下，可以采用以图像匹配为基础的跟踪方法，习惯上称之为相关跟踪。2.相关跟踪常见的目标跟踪方法状态空间模型：系统方程：观测方程：状态向量 状态转移函数过程噪声观测向量观测函数观测函数滤波平滑预测常见的目标跟踪方法n问题提出线性/高斯系统卡尔曼滤波(KF)非线性/高斯系统扩展卡尔曼滤波(EKF)无极卡尔曼滤波(UKF)非线性/非高斯系统粒子滤波(PF)?Gord

20、onNJ,SalmondDJ,SmithAFM.Novelapproachtononlinear/non-GaussianBayesianstateestimationC/RadarandSignalProcessing,IEEProceedingsF.IET,1993,140(2):107-113.粒子滤波跟踪粒子滤波：一种基于递推贝叶斯估计的蒙特卡罗统计仿真方法。n基本概念n基本思想利用一组加权随机粒子来近似状表示状态的后验概率密度。样本空间后验概率密度粒子滤波跟踪xResamplingTracking Casen多目标跟踪多假设跟踪（Multi-hypothesistracking，MH

21、T）常见的目标跟踪方法D.Ramanan,D.A.Forsyth,A.Zisserman:Tracking People by Learning their Appearance.IEEE-TPAMI,29(1):65-81,2007(http:/www.ics.uci.edu/dramanan/papers/pose/index.html)基于目标外观模型的跟踪nTLD:Tracking-Learning-Detection英国萨里大学的一个捷克籍博士生ZdenekKalal开发。NextSect.常见的目标跟踪方法主要内容uu光电跟踪系统概述光电跟踪系统概述uu运动目标检测方法运动目标检测

22、方法uu成像目标跟踪方法成像目标跟踪方法uu光电跟踪技术应用及发展光电跟踪技术应用及发展n技术应用民用领域 主要应用在空间探测、智能视频监控、智能交通管制、无人驾驶、视频压缩、医学影像诊断等方面。四、光电跟踪技术应用及发展军事领域l 精确制导l战场机器人自主导航l无人机着降，l靶场光电跟踪等领域。1.精确制导、目标跟踪“道尔”野战地空导弹武器系统，是世界上最先采用垂直发射方式的近程防空系统，同时也是一种全天候、全自动、三位一体(目标搜索、跟踪和导弹发射装置同时装在一辆车上)的新一代高性能防空导弹发射车。它具有警戒、指挥与控制、导弹制导与发射等众多功能，既可以独立作战，也可以和发射连的其它发射车

23、协同作战。它可在低空、超低空和近程区域内拦截多种非隐身与隐身空袭目。四、光电跟踪技术应用及发展“海盗”系统可以为空中拦截和空地作战提供战术优势。安装在机舱左侧、风挡玻璃的前方。n红外搜索跟踪（IRST）系统四、光电跟踪技术应用及发展在空对空模式下运行的时候，具备搜索和跟踪系统功能，提供无源目标探测和跟踪能力；在空对地模式下，可以执行多目标获取和识别任务，同时还能提供辅助导航和着陆功能。n舰载直升机在反潜、救生、登陆、布雷与扫雷、火力校正、预警、侦察中广泛应用。2.直升机、无人机着降光电引导技术四、光电跟踪技术应用及发展n由于中型舰船甲板较小，因风浪使甲板处于不规则的运动，直升机着舰的事故高。A

24、SIST(aircraftshipintegratedsecureandtraverse)1XYZ2硬件系统为CCD输出的视频信号经过硬件滤波，由DSP进行信标识别，建立跟踪窗，根据识别出来的信标在CCD位置坐标进行摄影测量算法，算出飞机与着陆区的相对位姿关系。四、光电跟踪技术应用及发展无人直升机光电助降四、光电跟踪技术应用及发展具备视觉系统的工业机器人五、光电跟踪技术应用3.工业机器人4.智能视频监控系统四、光电跟踪技术应用及发展智能交通监控安防GISPALab研制的跟踪系统四、光电跟踪技术应用及发展F基于核的跟踪(Meanshift)F基于MCMC的跟踪(Kalman,Particlefi

25、lters)F基于外观模型的跟踪(Appearancemodels)F基于学习机制的跟踪(on-lineboosting)目前主流的跟踪方法四、光电跟踪技术应用及发展F特征融合：时-空-谱联合F目标表示：压缩感知F跟踪框架：学习机制F跟踪模式：多模智能跟踪F光照变化、遮挡处理等四、光电跟踪技术应用及发展光电跟踪技术发展趋势willbeover主要内容uu光电跟踪系统概述光电跟踪系统概述uu运动目标检测方法运动目标检测方法uu成像目标跟踪方法成像目标跟踪方法uu光电跟踪技术应用及发展光电跟踪技术应用及发展TheEndOptoelectronicImageProcessingCurriculumGroup2017.05.25