基于DSP的运动目标图像跟踪算法研究与实现.docx

摘要 运动目标图像跟踪一直是计算机视觉、图像处理和模式识别领域里非常活跃的研究课题。运动目标图像跟踪，就是通过对传感器拍摄到的图像序列进行分析，在图像中检测出各个独立运动的目标，或是用户感兴趣的区域，在随后各帧中估计出目标区域在图像中的位置。 本文主要以图像信息综合教学实验系统为平台，以提高跟踪精度为目标，分别针对静止背景和运动背景中目标的检测与跟踪进行了深入的分析。最后，针对静止背景中目标的检测与跟踪算法做出了一些改进。 关键词: 运动目标图像跟踪; DSP; 数字图像处理 ABSTRACT Motive object tracking has been an active field in computer vision,image processing and pattern recognition，which is carried out by analyzing the image sequence from the sensor,identifying the independent moving object or regions that are interested in,and locating them in the image. In this thesis, we take the Image Information Integrated Teaching Experimental System as the platform and our aim is improving the moving objects tracking accuracy.The thesis carries on the thorough analysis which focus on the moving object detection and tracking in static background and moving background.At last,we do some improvements on the algorithm of the moving object detection and tracking in static background. Kdyword: moving object tracking; DSP; digital image processing目录第1章 绪论11.1 本课题研究的背景和意义11.2 本课题研究面临的困难和问题51.3 DSP技术简介71.4 本论文的工作安排8第2章 图像跟踪的基本知识92.1 数字视频图像9 2.1.1 全电视信号159 2.1.2 模拟图像的数字化92.2 图像分割11 2.2.1 阈值化分割算法1111 2.2.2 直方图分割法12 2.2.3 基于灰度期望的阈值分割12 2.2.4 最大类间方差阈值分割13 2.2.5区域提取142.3 图像匹配142.4 本章小结16第3章 运动目标检测与跟踪算法173.1 运动目标检测方法简介17 3.1.1 差分法17 3.1.2 光流法18 3.1.3 基于统计模型的方法19 3.1.4 基于人工神经网络的方法19 3.1.5 其它方法193.2 运动估计方法简介20 3.2.1基于像素点灰度的运动估计方法20 3.2.2 基于块匹配的运动估计方法21 3.2.3 基于可变模型的方法(DBMA)223.3 互相关方法在目标识别和跟踪中的应用7822 3.3.1 互相关方法的基本原理22 3.3.2 特征点的选择23 3.3.3 特征点匹配算法253.4 实时相减运动目标检测识别方法25 3.4.1 相邻帧图像相减的基本原理26 3.4.2 运动背景补偿的基本原理26 3.4.3 运动目标识别算法263.5 本实验所采用的目标检测跟踪算法273.6 改进的目标检测与跟踪算法283.7 本章小结29第4章 运动目标图像跟踪系统的硬件知识304.1 运动目标图像跟踪系统原理304.2 FPGA图像预处理子系统314.3 双口RAM实现数据的传输324.4 DSP子系统33 4.4.1 TMS320C6201 DSP33 4.4.1.1 综述33 4.4.1.2外部存储器接口EMIF的设计34 4.4.1.3 DMA直接存储器访问机制36 4.4.1.4 中断建立38 4.4.2 同步突发静态存储器SBSRAM414.5 本章小结42第5章 目标跟踪系统的软件实现435.1 DSP集成开发环境CCS435.2 DSP软件代码的优化43 5.2.1 使用内联函数（Intrinsics）43 5.2.2 用字访问short型数据43 5.2.3 软件流水445.3 实现软件46 5.3.1 中断函数46 5.3.2 预处理函数48 5.3.3图像检测与提取函数49 5.3.4 目标跟踪函数50 5.3.5 主函数515.4 算法改进52 5.4.1 预处理函数改进53 5.4.2 目标检测和提取函数改进53 5.4.3 帧差法545.5 本章小结58第6章 总结59致谢60参考文献6129 第1章 绪论1.1 本课题研究的背景和意义信号与图像处理实验室在多年从事图像知道军工科研成果的基础上，结合本科实验教学的特点，自主开发研制的。实验系统主要由五部分组成，具体包括运动目标平台、摄像机、云台及云台控制器、视频图像传输子系统、图像识别与跟踪子系统。其中视频图像传输子系统有五种传输手段：即微波、光纤、射频电缆、双绞线、计算机网络等。每套实验系统可供4-6名学生写作开展图像识别与跟踪系统方面的综合性、设计新、研究性实验。 实验系统涉及的知识点包括图像信息的采集、传输、处理、控制、存储与显示等。学生可切入的实验环节有：视频图像目标的分割、检测、识别与跟踪，云台的控制，视频图像传输特性的分析与测试等。通过实验，一方面学生可以对当代典型的图像信息系统及其构成，有一个完整的系统的了解，建立起电子信息系统的整体概念。上述实验系统目前存在的问题是如果运动小火车没有亮灯就不能被很好地跟踪。在背景光比较暗的地方常常存在跟踪失败，并且针对复杂背景中运动目标的跟踪，即闭环跟踪无法达到理想的效果。 图1-1至图1-4分别给出了上述实验系统的各主要部分。 图1-1 图像传输与跟踪处理系统 图1-2 多路信号发生器与视频分配系统 图1-3 沙盘 图1-4 图像采集装置 基于图像序列的运动目标的检测与跟踪技术是计算机视觉领域的核心技术之一。所谓图像序列跟踪是利用可见光的图像传感器或红外热成像传感器摄取运动目标的视频图像信号，经过相应的数字图像处理，对图像序列中的运动目标进行检测、提取、识别，然后根据目标的图像特征对目标进行跟踪的技术。跟踪的目的是获得运动目标的运动参数，如位置、速度、加速度等，以及运动轨迹，从而为后续的图像分析、运动目标的行为理解、及完成更高一级的任务奠定了基础。运动目标检测与跟踪技术作为计算机视觉领域的核心技术之一，在一些关键技术如三维重构、虚拟现实、机器人视觉技术中发挥着越来越重要的作用。例如，对飞机目标的三维重构技术就首先利用了动态图像序列对飞行中的飞机目标进行检测、识别和跟踪，估计出飞机的运动参数并确定飞机目标的三维结构，通过人机交互迅速将一架飞机在飞行中的各种运动特征在计算机屏幕上显示出来，使观察者所看到的飞机序列图像与真实飞行的飞机相似，最后可以通过运动目标的序列图像来研究运动目标的运动特征。这里，视频图像跟踪技术提供了飞机目标的相关运动参数，三维重构技术将三维目标重构为三维形式，由于已知飞机目标的三维信息，总能将运动目标识别出来，从而实施有效跟踪。毫无疑问，这两项技术对于航空管制和航空防务系统有着十分重要的意义。随着计算机和数字图像处理技术的飞速发展，利用计算机进行运动目标的检测与跟踪的技术水平也有了很大提高，其研究成果也逐渐从科研领域走向民用、军用和工程领域的各个部门，如今不仅渗透到了诸如银行、博物馆、宾馆、超级市场、机场、车站、道路交通等民用视频监视系统中，还被应用到机器人视觉技术、军事侦察、遥感航天、自动导航、生物医学、的质勘探、工业生产等各个领域中。它在军事上的应用主要包括自动驾驶飞行器、自动目标跟踪、军事机器人视觉、无人驾驶车辆、智能武器等;在现代战争中，大量的对抗、伪装、欺骗、反辐射技术应用于战场，使得作战环境日趋复杂，从飞行器上对空中或的面目标进行跟踪和识别具有重要意义，它既是实施精确制导的重要前提，又是实施精确打击的必要手段。如今在各主要发达国家制定的高技术发展规划中，目标跟踪的的位十分引人注目。综上所述，开展基于视频图像的运动目标的检测与跟踪研究非常有意义，就小范围而言，对于该系统平台的研究和改进可以提高该系统在实验教学上的应用价值，帮助老师为以后的教学工作提供教学素材。就大方面来说，关于运动目标图像跟踪的研究成果不仅具有广阔的应用前景，而且对于推动和和满足许多民用领域的应用需求，尽快发展我国的智能化武器等具有重要的战略意义。1.2 本课题研究面临的困难和问题对于此节的撰写仍然分为两小部分，一部分是针对本实验系统，一部分是就现如今该领域的主要问题来论述。对于图像信息综合教学试验系统而言，它所面临的问题就算法而言是比较简单的，因为系统内部集成的算法最初是基于运动目标（一个小货车）的较高的灰度值，该算法的流程比较简单，所应用的算法是国内小型跟踪系统所普遍采用的质心跟踪。如果只是改善算法然后在PC上模拟验证工作是比较好做的，现在很多书籍对于运动目标跟踪给出了很多很好的算法。但问题是该实验教学系统是一个完整的整体，如果要对算法进行深入的修改（比如说帧差法）不可避免牵扯到硬件的问题。这样就要求对硬件也有很深入的了解和掌握。不仅如此，由于受该实验系统的相关硬件的限制，很多优秀的算法不能嫁接到该系统平台上。因为该教学实验系统所涉及的相关知识有局限性，所以在毕设期间对该课题所涉及领域亦进行了整体的了解和学习。视频图像的运动目标检测与跟踪技术包括了运动目标的检测、提取、目标分类、识别和跟踪等方面，涉及到计算机视觉、模式识别、自动控制和人工智能等领域的许多核心技术，是一个富有挑战性的课题。虽然对于运动目标跟踪理论的研究已经进行了20多年，但对运动目标的检测和跟踪的研究还有许多难题需要解决，迄今为止这个课题仍然存在许多问题没有解决，特别是在目标和目标、目标和景物间遮挡及造成的目标暂时消失问题;多目标跟踪的分离、合并、消失、出现及正确对应问题:背景比较复杂的动态场景图像序列中的跟踪问题等，还面临很多困难。当一个运动目标通过摄像机视场时，运动目标的图像可能会发生明显的变化，这种变化主要来自于三个方面:目标运动姿态和形状的变化、环境光照的变化以及运动目标被其他物体部分遮挡或全部遮挡。正是由于这些情况的存在，使得对运动目标的检测、分割、对应及跟踪变得非常困难。从跟踪过程来看，目前图像跟踪方面的研究主要面临以下几个难点问题16： (l)运动物体的准确检测与分割。运动目标检测的准确性是指尽可能降低运动目标检测的虚警率和漏警率，从而提高对真实运动目标的检测概率。对运动目标的准确分割是目标正确识别的关键前提，其定位精度直接影响到正确识别率。但目前尚没有一种适合于所有图像的通用分割算法，长久以来目标的精确分割始终是一个难点。以民用视频监视系统为例，绝大多数监视系统在户外刮风引起树木摇动或下雨、下雪的时候，监视画面上会产生各种噪声，导致对运动目标的自动检测和分割变得非常困难，另外这类监视系统对猫犬等也会产生反应从而导致误报警很多，最终还是需要警卫人员来进行确认。 (2)物体之间的遮挡与运动目标暂时消失。在对运动目标跟踪过程中，往往发生运动目标姿态改变、被遮挡或暂时消失等情况，虽然使用多个摄像机能在很大程度上解决这一难题。但多摄像机跟踪又面临着如何将不同摄像机所获取的不同角度的运动目标信息正确对应起来的难题。另外，对运动目标进行三维重构也能够解决目标姿态改变引起的目标丢失问题，但基于3D模型的跟踪算法的局限性在于运动分析的精度依赖于所获取的运动目标的几何模型，而且由于需要大量的运算时间，很难实现实际系统的实时性跟踪。所以说运动目标跟踪过程中的遮挡和暂时消失问题仍然是一大难题。 (3)被跟踪目标在图像序列中的正确对应。 对运动目标的正确对应是指无论目标是否变形、被遮挡等都能将被跟踪目标在图像序列中准确的对应起来。正确对应问题在多目标跟踪中尤其重要，在运动目标的出现、消失、结合、分离时都要处理各个目标的对应问题。此外，对应问题还涉及到运动目标的定义问题，例如基于特征的对应方法中需要对目标的形状进行具体量化，这是与模式识别紧密相连的人工智能问题。1.3 DSP技术简介 数字信号处理器(Digital Signal Proeessor)简称DSP，专用于数字信号处理的高速器件。1718 DSP是一种具有特殊结构的微处理器。处理器有着明显不同。DSP芯片采用修正的哈佛(Havrard)结构，具有专门的硬件乘法器，采用流水线操作，提供特殊的DSP指令。 DSP最突出的两大特色是强大的数据处理能力和高速运行速度，加上具有可编程性，实时运行速度可以达到每秒数以千万条复杂指令程序，远远超过通用微处理器。有业内人士预言，DSP将是未来集成电路中发展最快的电子产品，并成为电子产品更新换代的决定因素。 数字信号处理是把许多经典的理论体系作为自己的理论基础，同时又使自己成为一系列新兴学科的理论基础。在数学领域，微积分、概率统计、随机过程、数值分析等都是数字信号处理的基本工具，与网络理论、信号与系统、控制论、通信理论、故障诊断等也密切相关。近来新兴的一些学科，如人工智能、模式识别、神经网络等，都与数字信号处理密不可分。 当前，DSP在各个领域得到广泛的应用。如通用数字信号处理中的数字滤波及卷积运算;通信领域中的语音识别、高速调制解调、回波抵消、自适应均衡处理、雷达及声纳信号处理;图像信号处理中的三维图像变换、机器人视觉、模式识别;计算机中的图形加速器，阵列处理器;以及导航，制导等。 现代工业技术的不断发展，对图像信息的采集、越来越高的要求。DSP处理和传输提出了综合、高的要求。DSP技术以数值计算的方法对信号进行采集、变换、估值与识别等处理，具有高速、精确、灵活等优点。DSP强大的信号处理能力为图像信息的实时处理提供了应用基础。目前，从应用的角度出发，DSP器件主要分为三类，以TI公司的DSP芯片为例:TMS320CZXXX系列主要应用于控制领域;TMS320CSxxx系列主要应用于通信领域;TMS320C6xxx系列主要应用于图像处理领域。随着数字时代的到来，视频领域的数字化也必将到来。DSP在数字视频的应用发展也将起到越来越重要的作用，DSP技术的进步也必将为人类带来更多的贡献。1.4 本论文的工作安排 本论文从三个方面来叙述对运动目标图像跟踪的学习和研究工作成果。其一是目标跟踪的相关硬件知识，其二是目标跟踪的相关软件知识，最后是针对图像信息综合教学实验系统所做的改进。基于这种思路，本论文分为以下五个小部分。 (1) 简述国内关于图像处理领域的研究现状和发展前景; (2) 对数字图像处理技术的基本理论进行学习研究; (3) 对成像跟踪算法进行学习研究; (4) 深入了解以高速数字信号处理器TMS320C6202为核心，DSP+FPGA为主框架的实时处理系统的工作原理，掌握相关的硬件知识为改进算法做铺垫;(5) 对DSP系统的软件开发环境及系统控制流程进行学习研究。第2章 图像跟踪的基本知识图像目标识别与跟踪是数字图像处理技术的一个重要应用，涉及图像处理的许多基本理论，包括图像对比度的增强、直方图的改善、图像的平滑滤波、图像的锐化、图像的复原、图像特征的提取、图像分割、图像关系描述、图像的相关匹配等。2.1 数字视频图像 视频图像是指具有电视扫描特性的图像，既可以是电视图像，又可以是具有电视扫描特性的超声图像和X光图像。2.1.1 全电视信号15 黑白CCD摄像头经过光电转换将图像(光信号)转变为电信号，其最终输出信号是黑白全电视信号，它主要由图像信号(视频信号)，复合消隐脉冲和同步脉冲组成。就目前而言，CCD摄像机输出信号模式有三种形式:模拟视频信号输出、数字视频信号输出和既输出模拟视频信号同时又输出数字视频信号。对于只输出模拟视频的CDC摄像机来说，要对其输出的模拟视频信号进行数字化处理，这一过程通常包括采样时钟的确定、视频同步信号的分离、A/D转换等。数字视频图像则是指数字化的具有电视扫描特性的图像，数字视频输出的信号可以直接接到数字信号处理系统中，这类摄像机输出的信号通常有图像灰度值、象素时钟信号、行有效信号、场有效信号。2.1.2 模拟图像的数字化一幅模拟图像转化为数字图像的过程如图2.1所示6。图2-1 图像数字化 如上图中，在每个像素位置，图像的亮度被采样和量化，得到图像对应点上表示其亮暗程度的整数值。对所有的像素都完成转化后，图像就被表示成一个整数矩阵。每个像素都具有位置和灰度两个属性.这个数字矩阵就可以作为数字信号处理器处理的对象了。经计算机处理的数字图像信号Fxr是两次离散化的结果:一是对连续变化的空间图像进行等间距采样，使空间上连续变化的图像离散化，也就是采样过程;二是对采样以后每个像元的灰度进行量化处理，使图像的灰度级值离散化。采样和量化越精细对连续函数的近似就越好。对于视场大小为MXN的数字图像凡，数学模型为：（2-1）在数学模型(2-1)中，（i,j），力表示视频图像数字化后坐标为(i,j)，力象素的灰度级数据。经数字化后的，既可以是视频图像的一帧，也可以是它的一场。中行数据的开始与结束由行同步信号确定，帧(场)数据的开始与结束是以帧(场)同步信号确定。2.2 图像分割图像分割是指按照某些特征(如灰度级、频谱、纹理等)将空间划分为一些区域，最终把所需要的目标从背景中分离出来的处理技术。即把图象划分为互不相交的小区域的过程。2.2.1 阈值化分割算法11 阈值化分割算法是先确定一个处于图像灰度取值范围之中的灰度阈值，然后将图像中各个象素的灰度值都与这个阈值相比较，并根据比较结果将对应的象素划分为两类:象素的灰度值大于或等于某阈值的像素为一类，象素的灰度值小于阈值的为另一类，例如在二进制图像信息中象素的灰度值大于阈值的认定为“1”，灰度值小于阈值的认定为“0”。阂值化分割算法主要有两个步骤:首先是确定需要的分割阐值;其次是将分割阈值与象素值比较来划分象素区域。利用灰度特征的直方图对图像进行分割是一种简单而且比较有效的分割方法。直方图是一幅图像全部或部分的相同亮度值象素的统计分布图，由直方图可以看出图像总的亮度和对比度情况以及图像象素值的动态范围等一系列该图像的特征信息。这种分割方法的基本思想是:在直方图取值范围内，任一灰度级可将直方图分为左右两部分，如果这两部分的灰度均值与总体的灰度均值最大，则该灰度级就取为分割门限。这种分割方法有一定的局限性，特别是小目标的情况下，集中表现在: 灰度直方图完全丢弃了目标的位置信息; 在小目标的情况下，目标象素对直方图的贡献往往被噪声淹没; 由于是小目标，在直方图上，很难表现出双峰，所以很难确定门限。分割阈值的选择采用统计背景的方法来实现。另外，在此统计阈值的基础上，可以通过人工干预来实现分割阂值的微小调整。假设经统计图像的背景后选择阈值为T，然后用阈值T对目标图像进行分割处理，将原来的灰度图像变成二值化图像。 2.2.2 直方图分割法图像的灰度级范围为0,1,k-1,设灰度级的总像素为，图像的总像素为N，则灰度级出现的概率定义为=/N。灰度直方图为灰度级的像素数与灰度的二维关系，反映了一幅图上灰度分布的统计特性。图2-2 双峰直方图一幅含有一个与背景明显对比的物体的图像具有包含双峰的灰度直方图，如图2.2所示。两个峰尖对应于物体内部和外部较多数目的点，两峰之间的谷对应于物体边缘附近相对较少数目的点，因此可以在灰度直方图的两个峰值之间选择一个分割门限作为阈值。2.2.3 基于灰度期望的阈值分割 设图像的尺寸为MN,灰度值为,离散随机变量X来表示图像中任意像素，且x1,2,M; y1,2,N。,即为X的I个可能取值。图像的灰度分布情况可以用概率分布来描述。各个灰度级的出现概率为：，, (2-2)有 (2-3) 用密度矩阵来描述如下 (2-4)对于不同的图像，密度矩阵是不同的。在对随机变量的统计过程中，期望值反映了随机变量的平均取值。由于灰度值在图像中是一个随机变量，所以灰度“中心”可以看作分割的一个最佳平衡点，它使取黑像素的灰度值和白像素的灰度值均等。设产来表示阈值，则有: (2-5)若用表示图像中灰度出现的次数，可以推出： (2-6)上式适用范围比较广泛，对于具有不同灰度的图像都可以应用。2.2.4 最大类间方差阈值分割最大类间方差法是在最小二乘法原理的基础上推导得出的，算法比较简单，适用范围较广，是一种受到关注的闽值选取方法。设原始灰度图像的灰度级为L，灰度级为i的像素点数为，图像的全部像素为N，归一化直方图，则: ， (2-7)用阈值t将灰度级划分为两类：和。和类的出现概率及均值分别为： (2-8) (2-9) (2-10) (2-11)其中，和类的方差： (2-13) (2-14) 2.2.5区域提取图像经过分割处理后，具有不同特征的区域将被分离开。就要对己分害的图像进行描述。(1) 膨胀与收缩膨胀与收缩可以这样定义:如果把和区域S相邻的区域S/中的邻点都归入S，则称把S膨胀了一次。反之，如果把和S/相邻的S中的邻点都归入到S/，则称把S收缩了一次。膨胀可以消除目标中的空缺，收缩可以消除寄生的噪声点。(2) 区域标记当图像分割为几个区域后，为了区分这几个区域以便识别出目标，就要给不同的区域加不同的标号。由于各个区域是互不连通的，而每个区域内部又是连通的，所以对图像进行扫描，将连通的区域标相同的颜色，各区域间颜色不同，就完成了对区域的标号。2.3 图像匹配图像匹配是指通过一定的匹配算法在两幅或多幅图像之间识别同名点，如二维图像匹配中通过比较目标区和搜索区中相同大小的窗口的相关系数，取搜索区中相关系数最大所对应的窗口中心点作为同名点。其实质是在基元相似性的条件下，运用匹配准则的最佳搜索问题。图像匹配主要可分为以灰度为基础的匹配和以特征为基础的匹配。2.3.1 灰度匹配      灰度匹配的基本思想:以统计的观点将图像看成是二维信号，采用统计相关的方法寻找信号间的相关匹配。利用两个信号的相关函数，评价它们的相似性以确定同名点。      灰度匹配通过利用某种相似性度量，如相关函数、协方差函数、差平方和、差绝对值和等测度极值，判定两幅图像中的对应关系。      最经典的灰度匹配法是归一化的灰度匹配 法，其基本原理是逐像素的把一个以一定大小的实时图像窗口的灰度矩阵，与参考图像的所有可能的窗口灰度阵列，按某种相似性度量方法进行搜索比较的匹配方法，从理论上说就是采用图像相关技术。       利用灰度信息匹配方法的主要缺陷是计算量太大，因为使用场合一般都有一定的速度要求，所以这些方法很少被使用。现在已经提出了一些相关的快速算法，如幅度排序相关算法，FFT相关算法和分层搜索的序列判断算法等。2.3.2 特征匹配      特征匹配是指通过分别提取两个或多个图像的特征（点、线、面等特征），对特征进行参数描述，然后运用所描述的参数来进行匹配的一种算法。      基于特征的匹配所处理的图像一般包含的特征有颜色特征、纹理特征、形状特征、空间位置特征等。      特征匹配首先对图像进行预处理来提取其高层次的特征，然后建立两幅图像之间特征的匹配对应关系，通常使用的特征基元有点特征、边缘特征和区域特征。 特征匹配需要用到许多诸如矩阵的运算、梯度的求解、还有傅立叶变换和泰勒展开等数学运算。      常用的特征提取与匹配方法有：统计方法、几何法、模型法、信号处理法、边界特征法、傅氏形状描述法、几何参数法、形状不变矩法等。     基于图象特征的匹配方法可以克服利用图象灰度信息进行匹配的缺点，由于图象的特征点比较象素点要少很多，大大减少了匹配过程的计算量;同时，特征点的匹配度量值对位置的变化比较敏感，可以大大提高匹配的精确程度;而且，特征点的提取过程可以减少噪声的影响，对灰度变化，图象形变以及遮挡等都有较好的适应能力。所以基于图象特征的匹配在实际中的应用越来越广泛。所使用的特征基元有点特征(明显点，角点，边缘点等)，边缘线段等。2.3.3 比较      特征匹配与灰度匹配的区别：灰度匹配是基于像素的，特征匹配则是基于区域的，特征匹配在考虑像素灰度的同时还应考虑诸如空间整体特征、空间关系等因素。      特征是图象内容最抽象的描述，与基于灰度的匹配方法相比，特征相对于几何图象和辐射度影响来说更不易变化，但特征提取方法的计算代价通常较大，并且需要一些自由参数和事先按照经验选取的阀值，因而不便于实时应用。同时，在纹理较少的图象区域提取的特征的密度通常比较稀少，使局部特征的提取比较困难。另外，基于特征的匹配方法的相似性度量也比较复杂，往往要以特征属性、启发式方法及阀方法的结合来确定度量方法。图像匹配这一节主要是一些概念上的总结，后面的章节会针对具体情况再详细分析。2.4 本章小结 本章主要初步了解了模拟图像转化成数字图像的原理，以及图像分割和图像匹配的相关知识。因为这两个环节与目标跟踪有着紧密的联系，为以后专门针对目标跟踪的学习奠定了必要的理论基础。第3章 运动目标检测与跟踪算法3.1 运动目标检测方法简介不论采用何种方法进行图像跟踪，都离不开数字图像序列的处理和分析，在处理过程中通常要完成的主要任务有: (1)搜索图像中目标存在的区域; (2)分割与识别运动目标; (3)确定目标点及运动轨迹。实际上前两步可以看成跟踪前的运动目标检测处理阶段，如何将目标从背景中分离出来，这是跟踪处理的前提和关键所在。因此，本节将重点研究运动目标检测方面的内容。所谓运动目标检测就是从视频图像中去除背景内容，检测出运动的目标及其携带的运动信息。其目的是检测场景中是否存在运动目标，如果存在，则需要首先提取出目标，然后判断目标的真伪，以决定是否进行跟踪。对图像序列中运动目标检测的方法有许多，主要有差分法、基于光流法、基于统计模型的方法、基于小波变换的方法和基于神经网络的方法等。另外还有其他一些方法，如基于动态轮廓的方法，运动能量法等。但比较常见的方法是差分法和光流法。3.1.1 差分法差分法实际上就是图像间的相减运算，它是通过将同一物体在不同时间拍摄的图像对应像素点的灰度进行相减运算，从而检测出图像间的差异信息。但该方法要求背景图像基本保持不变，因此一般用于摄像机静止的运动目标跟踪情形。在场景中的背景静止、只有目标在动的情况下，如果图像间的灰度差异很大，可以认为是由于场景中物体的运动引起的，因此通过图像间的差分可以检测出运动目标在图像中的位置。根据差分策略不同，差分法又分为背景差分法和帧间差分法。 (1)背景差分法背景差分方法又称背景减除法，此方法是事先将背景图像存贮起来，然后将背景图像与实时采集的观测图像差分，从而将运动物体本身检测出来的方法。该算法一般能够提取出完整的目标，但对于场景的动态变化，如光照、天气和外来的干扰等特别敏感。为了减少场景动态变化给运动目标提取造成的不利因素，采取背景图像更新是非常重要的。基于背景图像更新的背景差分法的有效性取决于采用的背景更新策略能否有效地表示背景的变化。 (2)帧间差分法 帧间差分法是利用图像序列中两个或三个相邻帧间的差异来进行检测运动目标的方法。该方法算法简单、检测目标的速度快，对于动态环境具有较强的自适应性，不需要采用背景更新策略。但帧间差分法不能将目标完整的提取出来，检测出来的结果是运动物体周围部分的变化信息，在运动实体内部常出现空洞现象。另外，此方法检测出的目标位置没有背景差分法准确，因此常采用帧间差分法提取感兴趣区域的大致位置。3.1.2 光流法 所谓光流就是在连续的两帧图像中，如果用向量来表示移动前后的对应像素点，就称之为光流。基于光流法的运动检测采用了运动目标随时间变化的光流特性，其检测运动目标的原理是:给图像中的每一个像素点赋予一个光流矢量(即运动矢量)，从而形成了一个图像的光流场。根据各个像素点的运动矢量特征，可以对图像进行动态分析。如果图像中没有运动目标，则光流矢量在整个图像区域是连续变化的，当物体和图像背景存在相对运动时，运动物体所形成的运动矢量必然和邻域背景运动矢量不同，从而检测出运动物体的位置。基于光流场的运动目标检测方法是:在某种时间空间的约束条件下，利用连续数帧图像，首先计算出各个像素在相邻帧间运动的光流矢量，然后根据光流场估计出摄像机的主运动，最后通过分析光流场中与主运动不一致的光流，可以检测出运动速度不同的多个目标。该方法的优点就是在摄像机运动情况下也能检测出独立的运动目标。每个光流矢量包含每个像素的动态信息，可以把具有相同矢量值的像素全体作为一个移动物体提取出来。但是，由于受噪声的影响，在背景部分也会得到光流矢量。此外，求解光流是在局部光流连续的前提下得到的，所以物体边界的不连续部分的光流估计误差比较大。另外，当跟踪对象是行人时，考虑到人在行走时，其手和脚的动作是有差别的，因此就不能得到单一的光流，自然在合并同一物体的光流时需要下一番功夫。总之，这种方法易受噪声影响、计算量非常大，除非有特殊的硬件支持，否则很难实现运动目标的实时检测。而且当目标静止或运动速度很慢时会失效。通常为了提高算法的可靠性，光流法还要结合目标的颜色、形状等信息来检测运动目标。3.1.3 基于统计模型的方法文献19首先利用较简单的算法对运动场进行了粗略的估计，然后根据马尔可夫(Markov)随机场理论构造出运动场的间断点分布模型，利用此模型来检测运动场间的断点，以此来实现运动目标的检测。实验表明，这一方法十分有效，且运算负担较小，并可通过硬件实现实时检测。另外有一种基于统计模型的方法，该方法在摄像机做剧烈拉伸、旋转运动时仍可以实时检测并跟踪运动目标。3.1.4 基于人工神经网络的方法近十年来，基于人工神经网络的目标检测方法得到了极大的发展，这种方法首先将每帧图像分成一系列图像块，经过预处理后将这些图像块投影到一个线性滤波器组，得到不同的图像模式;然后把这些不同的图像模式根据预先计算得到的聚类原形进行分类;最后用训练得到的神经网络分类器来判断图像模式是否包含目标。该方法对对尺度、旋转变形的目标有很好的适应性。但是由于神经网络本身的计算复杂性，这种方法目前也不太适合实时应用。3.1.5 其它方法(1) 基于动态轮廓的方法 提取图像中运动物体的方法之一是利用动态轮廓模型的方法。例如:Snake模型(主动轮廓模型)就是其中的典型代表。它是由外力和维持边界特征的力以及光滑曲线的内力的总和所形成能量函数的值。取能量函数为最小的区域作为所要提取的对象物体，这种方法的优点是对物体形状的变化有很强的适应性，但是需要反复的迭代运算，所以趋于收敛的计算量非常大。(2)运动能量法运动能量法把连续图像帧看作由二维空域加上时间维构成的三维空间，使用时空梯度算子计算每一像素点的各个时空梯度方向上的分量，经过高斯平滑后的时空梯度分量称为运动能量。运动对象经过的那些位置的像素，因所有像素点基本都沿某个一致的方向运动，这一方向的运动能量值较大，而杂乱运动像素各个方向的运动能量基本均衡，这样真正的运动对象就被检测出来。该方法适合于复杂变化的环境，但算法复杂，而且不能精确地分割出对象。从总体上来说，由于场景和目标本身的复杂性以及各种干扰因素的存在，到现在为止还没有通用的目标检测方法，即使是对于同一类型的目标，由于噪声、成像条件等不良因素也会极大地影响目标检测的结果。3.2 运动估计方法简介归纳起来，运动估计方法主要有基于像素点灰度的运动估计方法、基于块匹配的运动估计方法、基于可变模型的运动估计方法等几种。3.2.1基于像素点灰度的运动估计方法 这种方法估计每一个像素的运动速度。但是对于前一帧的每一个像素，在当前帧中常常会有许多具有相同亮度的像素。这时会造成像素对应时的不确定性。为处理这个问题，学术界提出了四种方法: (1)使用正则化技术在运动场上施加平滑约束，使得新像素的运动速度受已经确定的周围像素的运动速度的约束: (2)假定每一个像素周围邻域中的运动速度是相同的，并且把恒定亮度假设和光流方程应用到整个邻域; (3)利用另外一些不