基于深度学习的目标跟踪方法研究现状与展望-罗海波.pdf

《基于深度学习的目标跟踪方法研究现状与展望-罗海波.pdf》由会员分享，可在线阅读，更多相关《基于深度学习的目标跟踪方法研究现状与展望-罗海波.pdf（7页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、基于深度学习的目标跟踪方法研究现状与展望罗 海 波1 , 2 , 3 , 4， 许 凌 云1 , 2 , 3 , 4， 惠 斌1 , 3 , 4， 常 铮1 , 3 , 4( 1 . 中 国 科 学 院 沈 阳 自 动 化 研 究 所 ， 辽 宁 沈 阳 1 1 0 0 1 6 ； 2 . 中 国 科 学 院 大 学 ， 北 京 1 0 0 0 4 9 ；3 . 中 国 科 学 院 光 电 信 息 处 理 重 点 实 验 室 ， 辽 宁 沈 阳 1 1 0 0 1 6 ；4 . 辽 宁 省 图 像 理 解 与 视 觉 计 算 重 点 实 验 室 ， 辽 宁 沈 阳 1 1 0 0 1 6 )摘

2、要： 目 标 跟 踪 是 计 算 机 视 觉 领 域 的 重 要 研 究 方 向 之 一 ， 在 精 确 制 导 、 智 能 视 频 监 控 、 人 机 交 互 、机 器 人 导 航 、 公 共 安 全 等 领 域 有 着 重 要 的 作 用 。 目 标 跟 踪 的 基 本 G80 G81 是 在 一 G82 视 频 G83 图 像 G84 G85 中 G86G87 G88 G89 G8A 的 目 标 ， 在 G8B G8C G8D 的 G8E G8F G90 中 ， G91 G92 G93 目 G94 的 G95 确 G96 G97 G98 G99 G9A G9B G9C 动 G9D G9E

3、 G9F 目 G94 跟 踪 是 一G82 GA0 GA1 GA2 GA3 GA4 的 G80 G81 ， 目 G94 的 GA5 GA6 GA4 GA7 化 GA8 GA8 GA9 GA7 GAA 目 标 的 GAB GAC GAD GAE ， GAF GB0 GB1 GB2 的 光 GB3 GA7 化 、 目 G94与 GB4 GB5 GB6 的 GB7 GB8 、 GB9 GB5 中 GBA GBB GBC GBD 的 GBE GBF GC0 GC1 像 机 的 GC2 动 等 GC3 目 G94 跟 踪 GC4 GC5 GA7 GC6 GC7 GC8 GC9 GCA G9F GCB G

4、CCG8D ， GCD 着 GCE GCF 学 GD0 在 目 G94 GD1 GD2 GC0 GD3 GD4 等 领 域 中 GD5 GC6 GD6 大 的 GD7 GD8 ， 许 GD9 学 GDA GDB GDC GDD GCE GCF 学 GD0 GAD GAE GDE GDFG92 目 G94 跟 踪 中 ， G98 在 一 GE0 G85 GE1 GE2 GE3 GD2 GE4 GE5 GD5 GC6 GAA GE6 GE7 GE8 GE9 方 GEA 的 GA4 能 ， GEB GEC GDB GED GAA 目 G94 跟 踪 领 域 的GEE GEF GF0 G9F GF1

5、中 GDD GF2 GF3 GF4 GF5 目 标 跟 踪 G80 G81 的 GCA 点 GC0 基 本 解 GF6 GF7 GF8 ； GF9 GFA GFB GE2 GFC 用 GCE GCF 学 GD0 算 GEA 解 GF6 目标 跟 踪 G80 G81 的 GFD GAF GF7 GF8 ， GFE GFF 前 出 现 的 此 类 主 流 算 GEA 进 行 分 析 ， 介 绍 这 些 算 GEA 各 自 的 GE6 缺 点 及 未 G8D的 工 作 方 向 G9F关键词： 目 标 跟 踪 ； GCE GCF 学 GD0 ； 计 算 机 视 觉 ； 精 确 制 导中图分类号： T

6、P 3 9 1文献标志码： A D O I ： 1 0 . 3 7 8 8 / I R L A 2 0 1 7 4 6 . 0 5 0 2 0 0 2S t a t u s a n d p r o s p e c t o f t a r g e t t r a c k i n g b a s e d o n d e e p l e a r n i n gL u o H a i b o1 , 2 , 3 , 4， X u L i n g y u n1 , 2 , 3 , 4， H u i B i n1 , 3 , 4， C h a n g Z h e n g1 , 3 , 41 . S h e

7、n y a n g I n s t i t u t e o f A u t o m a t i o n , C h i n e s e A c a d e m y o f S c i e n c e s , S h e n y a n g 1 1 0 0 1 6 , C h i n a ;2 . U n i v e r s i t y o f C h i n e s e A c a d e m y o f S c i e n c e s , B e i j i n g 1 0 0 0 4 9 , C h i n a ;3 . K e y L a b o r a t o r y o f O p

8、t o - E l e c t r o n i c I n f o r m a t i o n P r o c e s s i n g , C h i n e s e A c a d e m y o f S c i e n c e s , S h e n y a n g 1 1 0 0 1 6 , C h i n a ;4 . T h e K e y L a b o f I m a g e U n d e r s t a n d i n g a n d C o m p u t e r V i s i o n , L i a o n i n g P r o v i n c e , S h e n

9、 y a n g 1 1 0 0 1 6 , C h i n a )A b s t r a c t : T h e i n v e r s e s y n t h e t i c a p e r t u r e l i d a r ( I S A L ) h a v e a t t r a c t e d i n c r e a s i n g a t t e n t i o n f o r i t s m e r i t si n c l u d i n g s m a l l v i s u a l t r a c k i n g w h i c h i s c o n s i d e r

10、 e d a s o n e o f t h e i m p o r t a n t r e s e a r c h t o p i c s i n t h e f i e l d o fc o m p u t e r v i s i o n d u e t o i t s k e y r o l e i n v e r s a t i l e a p p l i c a t i o n s , s u c h a s p r e c i s i o n g u i d a n c e , i n t e l l i g e n t v i d e os u r v e i l l a n c

11、 e , h u m a n - c o m p u t e r i n t e r a c t i o n , r o b o t n a v i g a t i o n a n d p u b l i c s a f e t y . T h e b a s i c i d e a f o ri m p l e m e n t i n g v i s u a l t r a c k i n g i s c o m p o s e d o f f i n d i n g t h e t a r g e t o b j e c t i n a v i d e o o r s e q u e n

12、c e o f i m a g e s ,t h e n d e t e r m i n i n g i t s e x a c t p o s i t i o n i n t h e n e x t s u c c e s s i v e f r a m e s a n d f i n a l l y g e n e r a t i n g t h e c o r r e s p o n d i n gt r a j e c t o r y o f t h i s o b j e c t . V i s u a l t r a c k i n g , h o w e v e r , i s

13、s t i l l a c h a l l e n g i n g p r o b l e m i n p r a c t i c e w h i l e t a k i n gi n t o a c c o u n t t h e a b r u p t a p p e a r a n c e c h a n g e s o f t h e t a r g e t o b j e c t s i n d u c e d b y t h e i r n o n - r i g i d0 5 0 2 0 0 2 - 1第4 6卷第5期红外与激光工程2 0 1 7年5月V o l . 4 6 N

14、o . 5 I n f r a r e d a n d L a s e r E n g i n e e r i n g M a y 2 0 1 7收稿日期： 2 0 1 6 - 0 9 - 1 0 ；修订日期： 2 0 1 6 - 1 0 - 2 0基金项目：总装预研项目（ 5 1 3 0 1 0 3 0 1 0 8 ）作者简介：罗海波( 1 9 6 7 - ) ，男，研究员，博士生导师，博士，主要从事图像处理、目标跟踪、目标识别等方面的研究。 E m a i l : l u o h b s i a . c n万方数据红外与激光工程第5期w w w . i r l a . c n第4 6卷0

15、5 0 2 0 0 2 - 20引言目标跟踪是计算机视觉领域的重要研究方向之一，也是该领域的一个研究热点 1 。它的基本问题形式是在一个图像序列或视频流中选择一个感兴趣的区域或者物体作为目标，在接下来的连续若干帧中自动找到该目标的位置，得到目标的运动轨迹、具体形态和位置。目标跟踪在军事侦察、精确制导、智能视频监控、人机交互、机器人导航等领域具有广泛的应用，有着重要的实用价值。在这些不同的应用中，人们往往需要通过对图像序列或者视频流中感兴趣的区域或物体进行分析，得到目标的位置、运动轨迹和表观变化，以达到对其进行跟踪、机器人导航避障、进一步进行行为分析和视频高层语意解析等目的。然而，在实际应用中，

16、目标跟踪面临着诸多挑战。比如，对目标先验知识的不足、复杂的场景变化、摄像机和目标之间的相对不规则运动等，使得设计能适用于所有场景的目标跟踪算法变得非常困难。一般来说，设计一种目标跟踪算法或者算法框架需重点考虑以下4个方面的问题：( 1 )目标或场景的外观模型外观模型指的是目标在二维图像平面上的外观信息，包括物体及其各部件的几何位置、颜色和上下文信息。不同的跟踪算法往往采用不同的统计模型对目标进行外观模型建模，或者通过提取诸如颜色、纹理、梯度、空间几何等特征以及上述多种不同特征的组合来对目标的外观模型进行表征。例如， L 1算法 2 应用稀疏表达来表示目标的外观模型； s t a p l e算法

17、 3 应用了多种特征的组合模型来计算目标在外观模型上的得分，然后根据得分确定目标。( 2 )目标的运动模型在跟踪问题中，目标的运动往往是不规则的，人们能获知的只是物体运动的连续性和在某一帧中目标出现在搜索区内各个位置的概率。研究目标运动模型的好处是可以提高对模板的采样效率。获知目标的具体运动模型后可以大大减少无效采样空间的相关计算量，从而大幅提升算法的效率并减少漏检率。传统的N C C算法 4 将目标模板与全图像进行匹配，增加了许多不必要的计算。粒子滤波算法 5 和光流法 6 可以用于估算目标出现在新一帧中的概率分布，得到目标的运动模型从而避免低概率位置的无效计算。通过计算颜色直方图的偏移概率

18、， M e a n s h i f t算法 7 也同样提升了目标位置搜索的效率。( 3 )目标的内部运动模型对于目标跟踪的基本问题形式来说，内部运动模型是指物体各个部分的相对运动，即非刚体变换。对于非刚体变换，目前通常的解决方法是建立特殊的模型，例如用于检测算法的可变形模板模型 8 。它通过将一个目标分解为多个相关的子块，通过对各子块的跟踪实现对该目标的跟踪和形态估计。该模型在一定程度上可以解决目标发生形变时的跟踪丢失问题。( 4 )模板的更新策略不同于一般的目标识别问题，在目标跟踪，尤其是长时间的目标跟踪问题中，恰当的模板更新策t r a n s f o r m a t i o n , t

19、h e s o p h i s t i c a t e d l i g h t i n g v a r i a t i o n , t h e o b s t r u c t i o n b y t h e b l o c k o r s i m i l a r o b j e c t s i n t h eb a c k g r o u n d a n d t h e c a m e r a j i t t e r . M o t i v a t e d b y t h e s u c c e s s f u l a p p l i c a t i o n s i n t a r g e t

20、 d e t e c t i o n a n dr e c o g n i t i o n i n r e c e n t y e a r s , p l e n t y o f d e e p l e a r n i n g m o d e l s h a v e b e e n i n t e g r a t e d i n t h e v i s u a l t r a c k i n g a n db e t t e r p e r f o r m a n c e o v e r t r a d i t i o n a l m e t h o d s w a s a c h i e v

21、 e d i n a s e r i e s o f d a t a e v a l u a t i o n s , w h i c h o p e n s an e w d o o r i n t h e f i e l d o f v i s u a l t r a c k i n g . I n t h i s p a p e r , t h e o v e r v i e w a n d p r o g r e s s o n v i s u a l t r a c k i n g w e r es u m m a r i z e d . T h e c u r r e n t c h

22、 a l l e n g e s a n d c o r r e s p o n d i n g s o l v i n g a p p r o a c h e s i n t h i s f i e l d a r e i n t r o d u c e df i r s t l y a n d i n p a r t i c u l a r , s e v e r a l n o v e l a n d m a i n s t r e a m v i s u a l t r a c k i n g a l g o r i t h m s b a s e d o n t h e d e e

23、pl e a r n i n g a r e s p e c i a l l y d e s c r i b e d a n d a n a l y z e d i n d e t a i l s , i n c l u d i n g t h e i r b a s i c i d e a s , a d v a n t a g e s a n dd i s a d v a n t a g e s a n d f u t u r e p r o s p e c t .K e y w o r d s : t a r g e t t r a c k i n g ; d e e p l e a r

24、 n i n g ; c o m p u t e r v i s i o n ; p r e c i s i o n g u i d a n c e万方数据红外与激光工程第5期w w w . i r l a . c n第4 6卷略是必要的。这是因为随着目标的运动和场景的变化，受到场景中干扰物体的遮挡和光照的影响，同时还有快速运动带来的外观模糊等其他变化，目标往往会发生形变。模板更新策略一般需要考虑到计算效率和模板更新速度的平衡、模板可靠性和模板是否新近的平衡。不同的跟踪算法往往根据需要采用给予新近模板和置信度高于一定阈值的模板较大的权重，随机化其他模板权重等方法来提高其跟踪性能。1目标跟踪的难

25、点及基本解决思路1 . 1目标跟踪的难点在对图像序列和视频流的分析中，由于3 D真实世界投影到2 D图像平面的信息缺失、图像中噪音的污染、场景的复杂多样性和目标自身的复杂变化，目标跟踪问题面临着诸多挑战。如表1所示，根据不同的场景变换和目标变化，一般可以将目标跟踪面临的挑战分为1 0类。表1目标跟踪面临的主要挑战T a b . 1 M a i n c h a l l e n g e i n o b j e c t t r a c k i n g1 . 2解决目标跟踪问题的基本解决思路从数学模型的角度出发，目标跟踪模型一般可以分为判别式模型和生成式模型。生成式跟踪模型通过学习代表目标的外观模型，

26、然后以此为模板在搜索区内进行最小化重构误差的模式匹配，从而完成对目标的跟踪。 L 1 A P G 2 是生成式跟踪模型的代表算法，它假设每一个候选目标均可由字典(即目标模板和碎片模板的组合)稀疏表示，在所有的候选目标中，选择系数最稀疏同时重构误差最小的目标作为跟踪结果。 Z h a n g 9 等人利用循环稀疏结构的目标模板和傅里叶变换增大了样本空间，提高了L 1跟踪器的计算速度。 T a o 1 0 等人通过引入孪生网络，直接计算目标外观模型的表示误差，以选择出与目标模型最接近的区域作为跟踪结果。判别式跟踪模型则把跟踪问题看作二元分类问题，着重通过图像序列训练得到区分目标和背景的决策边界。自

27、T L D算法 1 1 提出以来，掀起了一股将判别式模型用于目标跟踪的热潮。其中经典的优秀代表有S t r u c k 1 2 和K C F 1 3 跟踪算法。 S t r u c k跟踪算法通过为目标区域构建结构化的S V M分类器将目标与背景区分开来， K C F跟踪算法则选用了岭回归模型，并通过巧妙地引入具有循环结构的模板对其进行傅里叶变换，避免了岭回归中的矩阵求逆问题，大幅提升了跟踪的速度和效率。此外，近年来出现了融合多种特征的跟踪算法，例如s t a p l e跟踪算法高效地将颜色直方图和梯度直方图特征的跟踪结果进行融合，在评测集上取得了较好的结果。此外，目前大部分基于深度学习的目标

28、跟踪方法也可归属于判别式方法。2深度学习在目标跟踪中的应用自2 0 0 6年H i n t o n等 1 4 - 1 5 在深度置信网络方面的重大研究工作发表以来，深度学习作为机器学习的新方向，在人工智能领域的许多重要问题上大显身手。至今已有数种深度学习框架，如深度神经网络、卷积神经网络、深度置信网络和递归神经网络已被成功应用于计算机视觉、语音识别、自然语言处理、音频识别以及生物信息学等领域并获得了极好的效果。在目标跟踪领域中，自2 0 1 3年以来，基于深度学习的一系列跟踪算法逐渐取得了跟踪精度方面的绝对优势； 2 0 1 6年， D a v i d 1 6 提出了一种新的深度学习网络框架，

29、第一次将基于深度学习的目标跟踪算法做到了1 0 0 f p s以上，满足了目标跟踪的实时性要求。基于深度学习的目标跟踪算法已经成为目标跟踪领域中不可或缺的重要组成部分。文中将从3个方面对当前基于深度学习的目标跟踪算法进行介绍：0 5 0 2 0 0 2 - 3N o .1234567891 0C h a l l e n g eI l l u m i n a t i o n c h a n g eS c e n e c o m p l e x i t yC l u t t e rS i z e c h a n g eC o l o r c h a n g eD e f o r m a t i o

30、 nA s p e c t - r a t i o c h a n g eB l u rS c e n e m o t i o nC a m e r a m o t i o n万方数据红外与激光工程第5期w w w . i r l a . c n第4 6卷0 5 0 2 0 0 2 - 4( 1 )在传统目标跟踪算法框架下，利用深度学习网络提取目标区域的相关特征来提升跟踪算法的准确性；( 2 )在传统目标跟踪算法框架下，通过设计针对目标跟踪问题的深度学习网络，实现目标跟踪；( 3 )将其他一些新型的深度学习网络结构应用于目标跟踪中。2 . 1基于深度学习特征的目标跟踪算法2 . 1 . 1 栈

31、 式 自 编 码 器 特 征栈式自编码网络是非监督的深度学习网络之一，由多层稀疏自编码网络组成，分为编码器和解码器两部分。假设观测样本为 y1, y2, , yk稀疏自编码网络致力于优化如下模型：m i nW , W , b , b ki = 1yi- yi2+ ( WF( W F) ( 1 )其中，自编码网络通过对神经元的激活或抑制来获取稀疏性结构。让j=1mki = 1 aj( y( i ) ) ( 2 )表示隐藏神经元j的平均活跃度。为了实现对网络的稀疏性限制，设定参数并以和之间的K L距离来表示稀疏性惩罚项：j l o gj+ ( 1 - ) l o g1 - 1 - j( 3 )同时

32、，在输入样本中加入随机噪声可以得到更为鲁棒的特征表达，从而使网络具有一定的降噪能力。 N . W a n g等人 1 7 率先将栈式降噪自编码器特征用在了目标跟踪中，删去了自编码器中的解码部分，将其用s o f t m a x分类器替代，从而实现了对目标和背景的分类。首先，离线训练一个大规模的小样本数据集得到栈式降噪自编码器的基本网络参数；在每一帧图像中挑选出相应的正负样本并根据这些样本的标签对该网络进行在线参数微调。该算法在V O T比赛 1 8 2 0 1 3年上取得了第5名的好成绩，其优势是利用离线数据库，在很大程度上解决了训练样本不足的问题。然而，作为第一个将深度学习网络运用于目标跟踪

33、的算法，仍然有很大的改进空间，这是因为：( 1 )离线预训练时采用的是3 2 3 2的小样本，这与跟踪时锁定的目标(通常具有不同的尺度)有很大不同，降低了特征的有效性； ( 2 )提取特征的计算复杂度高，不能很好地满足目标跟踪算法的实时性要求；( 3 )将跟踪看作是二元分类问题，容易产生模型错误累积，最终导致跟踪点漂移。2 . 1 . 2 深 度 卷 积 特 征卷积神经网络是一种前馈神经网络，由多个卷积层和若干个全联通层组成，与其他深度学习网络相比，采用了共享参数机制，减小了需要估计的参数数量。常见的深度卷积神经网络有A l e x n e t 、 V G G -n e t 、 L e N e

34、 t等，它们在历届i m a g e n e t比赛中都取得了冠亚军的好成绩，成为目标检测和识别领域的标杆性算法。对于目标跟踪中的图像序列而言，不同层的卷积特征往往代表了不同层次的语义信息，将它们有效地组织在一起可大大提升分类器的分类能力。 M a r t i n等人 1 9 提出将多个不同分辨率下的特征图插值到连续空间域，然后由不同层的卷积特征所对应的置信度图的加权总和求得目标的位置置信度图，实现对目标的跟踪。 Y . Q i等 2 0 将不同层的卷积特征融合进K C F跟踪器中，形成若干个弱分类器，然后通过引进H e d g e算法把多个弱分类器整合为最后的跟踪器，算法流程如图1所示。图1

35、 H e d g e算法流程图F i g . 1 P r o c e d u r e f o r H e d g e D e e p T r a c k e rL . W a n g 2 1 等将每个不同通道的卷积特征作为一个基学习器，并赋予每个基学习器不同的损失函数进行训练；然后根据各个基分类器之间的相关性来选择尽量不相关的基分类器作为组合，输出最终的跟踪结果。该方法融合了不同通道的特征的优势，这一思想十分值得借鉴。基于深度卷积特征的相关跟踪算法在近年来的V O T ( V i s u a l O b j e c t T r a c k i n g )比赛中一直表现优异，这源于深度卷积神经网

36、络强大的表征学习能力和特征泛化能力。与其他基于深度学习的跟踪算法万方数据红外与激光工程第5期w w w . i r l a . c n第4 6卷0 5 0 2 0 0 2 - 5一样，此类算法需要较大的计算量，难以满足较高的实时性需求；另外，目前的C N N特征预训练往往来自i m a g e n e t等大规模的图像识别数据库，如何建立一个针对目标跟踪问题且适合作深度学习训练的大规模数据库以获得理想的预训练效果也是一个值得关注的问题。2 . 2面向目标跟踪的深度学习网络虽然基于深度网络特征的目标跟踪算法取得了十分优异的成果，近年来研究者们仍然希望设计出专门针对目标跟踪问题的深度学习网络，得到

37、计算量小、精准度更佳的目标跟踪算法。2 . 2 . 1 多 域 卷 积 神 经 网 络多域卷积神经网络 2 2 是V O T比赛2 0 1 5年的冠军，该方法设计了一个专门针对跟踪图像序列特性的卷积神经网络，并为不同的视频或图像序列构建了不同的全卷积层，通过多次迭代训练得到跟踪视频图库中的共性深度卷积特征。训练框图如图2所示。图2多域卷积神经网络的流程图F i g . 2 P r o c e d u r e f o r M D C N N和大部分判别式模型一样，多域卷积神经网络将跟踪看作二分类问题，缺乏应对误差累积效应的机制。2 . 2 . 2 树 形 结 构 的 卷 积 神 经 网 络为了缓

38、解判别式模型带来的误差累积效应，参考文献 2 3 提出了一种针对目标跟踪问题的新型树形深度卷积神经网络算法。如图3所示，树形卷积神经网络考虑了多个卷积神经网络，用它们的线性加权组合来确定目标的位置。该模型每1 0帧增加一个卷积神经网络作为新节点，从之前的卷积神经网络集合中选择可靠性最高的作为自己的父节点，并逐层更新父节点的全链接层权重，同时删去最旧的卷积网络节点。树形卷积神经网络是V O T 2 0 1 6的冠军，但由于庞大的计算量，其平均跟踪速度仅为1 . 5 f p s ，远远不能满足实时性要求。图3树形结构的卷积神经网络的状态估计与模板更新过程F i g . 3 S t a t e e

39、s t i m a t i o n a n d M o d e l u p d a t e i n T C N N2 . 3深度学习应用于目标跟踪的新思路近年来，研究者不断探索，不仅仅满足于将目标跟踪问题看作同目标识别问题一样的类别间分类问题，还尝试了细化到个例级别的学习。此外，作为已经在自然语言处理等方向取得巨大突破的深度网络的重要形式，如何将递归神经网络应用于目标跟踪问题也成为目标跟踪算法研究的新思路。2 . 3 . 1 个 例 学 习 用 于 目 标 跟 踪孪生神经网络是一类由两个或多个具有相同参数和权重的子网络组成的神经网络架构。孪生神经网络在涉及个例之间的相似性度量或两个可比较的事物

40、之间的关系的任务中流行。 T a o R . 1 0 等人将跟踪问题看作模式匹配再认证问题，应用孪生网络从大量的跟踪视频数据集中学习匹配函数，最后选择候选区域中匹配得分最高处作为目标跟踪结果。将跟踪看作单一的模式匹配问题大幅减少了计算量，这类算法很好地满足了实时跟踪的要求，但由于没有充分利用目标的运动轨迹信息，尚有很大的提升空间。2 . 3 . 2 递 归 神 经 网 络 用 于 目 标 跟 踪为了缓解跟踪问题中的目标形变和遮挡问题，R T T 2 4 跟踪器在二维平面上建立了基于多部件的递归神经网络，将候选区域划分为多个大小相等的网格，然后对每一个网格建立4个方向的递归神经网络，最后通过融合

41、各个递归神经网络对应的s o f t m a x分类器的结果得到关于目标位置以及尺度大小的输出。该方法旨在解决跟踪过程中可能产生的误差累积和跟踪点漂移问题，但在目标表征能力和计算速度方面还有很大的提升空间。另一方面，作为在时序分析方面有巨大潜力的深度网络，递归神经网络也被用于寻找帧与帧之间的时序关联。万方数据红外与激光工程第5期w w w . i r l a . c n第4 6卷0 5 0 2 0 0 2 - 6G u a n g H .等人 2 5 通过对单帧视频图像的检测结果建立时序方向的递归神经网络获得跟踪结果，但其采用的是离线检测、在线建立时序方向的思路，尚不能满足目标跟踪的要求。3结

42、论由于场景和目标变化的复杂性，目标跟踪问题一直是计算机视觉领域最具挑战性的研究方向之一。自2 0 1 3年以来，虽然基于深度学习的目标跟踪算法已经取得了一系列的重大进展，但由于实际场景往往比评测数据复杂，当前的跟踪算法还不能同时满足鲁棒性、实时性和精准度的需要。从跟踪问题的本质出发，目前基于深度学习的跟踪算法在以下3个方面仍有较大的提升空间：( 1 )基于深度学习的算法的性能很大程度上依赖于训练数据的数量和好坏，但跟踪问题的难点之一在于样本的缺乏。当前大多数跟踪算法采用用于目标识别的大规模数据库对深度网络进行离线预训练，如何建立面向目标跟踪的有效数据库并将其应用于深度网络的训练，将是未来目标跟

43、踪算法研究的一项重要内容；( 2 )目前大多数基于深度网络的目标跟踪算法只是将问题简单地看作二元分类问题，如能充分利用视频或图像序列中的有效运动信息，将在一定程度上避免跟踪点漂移问题；( 3 )恰当地平衡了深度网络强大的表征能力所需要的计算量和跟踪问题的实时性需求。参考文献： 1 Y i l m a z A , J a v e d O , S h a h M . O b j e c t t r a c k i n g J . A C MC o m p u t S u r v , 2 0 0 6 , 3 8 ( 4 ) : 1 3 . 2 B a o C , W u Y , L i n g H

44、, e t a l . R e a l t i m e r o b u s t L 1 t r a c k e ru s i n g a c c e l e r a t e d p r o x i m a l g r a d i e n t a p p r o a c h J . P r o c I E E EC o m p u t S o c C o n f C o m p u t V i s P a t t e r n R e c o g n i t , 2 0 1 2 , 1 5 7( 1 0 ) : 1 8 3 0 - 1 8 3 7 . 3 B e r t i n e t t o L

45、 , V a l m a d r e J , G o l o d e t z S , e t a l . S t a p l e :C o m p l e m e n t a r y L e a r n e r s f o r R e a l - T i m e T r a c k i n g M .O x f o r d : U n i v e r s i t y o f O x f o r d , 2 0 1 5 : 1 4 0 1 - 1 4 0 9 . 4 L u o J , K o n o f a g o u E . A f a s t n o r m a l i z e d c r

46、 o s s - c o r r e l a t i o nc a l c u l a t i o n m e t h o d f o r m o t i o n e s t i m a t i o n J . I E E E T r a n sU l t r a s o n F e r r o e l e c t r F r e q C o n t r o l , 2 0 1 0 , 5 7 ( 6 ) : 1 3 4 7 - 1 3 5 7 . 5 C h a n g C , A n s a r i R . K e r n e l p a r t i c l e f i l t e r f

47、 o r v i s u a l t r a c k i n g J . I E E E S i g n a l P r o c e s s L e t t , 2 0 0 5 , 1 2 ( 3 ) : 2 4 2 - 2 4 5 . 6 A m i a z T , L u b e t z k y E , K i r y a t i N . C o a r s e t o o v e r - f i n eo p t i c a l f l o w e s t i m a t i o n J . P a t t e r n R e c o g n i t , 2 0 0 7 , 4 0 (

48、9 ) :2 4 9 6 - 2 5 0 3 . 7 C o m a n i c i u D , M e e r P , M e m b e r S . M e a n S h i f t : a r o b u s ta p p r o a c h t o w a r d f e a t u r e s p a c e a n a l y s i s J . I E E E T r a n s a c t i o no n P a t t e r n A n a l a s y s a n d M a c h i n e I n t e l l i g e n c e , 2 0 0 2 ,

49、 2 4 ( 5 ) :6 0 3 - 6 1 9 . 8 S h i Z e l i n , W a n g J u n q i n g , H u a n g S h a b a i . T r a c k i n g o fd e f o r m a b l e o b j e c t s i n c o m p l e x s c e n e J . O p t o - E l e c t r o n i cE n g i n e e r i n g , 2 0 0 5 , 3 2 ( 1 ) : 2 - 6 . 9 Z h a n g T , B i b i A , G h a n e m B . I n d e f e n s e o f s p a r s e t r a c k i n g :c i r c u l a n t s p a r s e t r a c k e r C / / C V P R , 2 0 1 6