基于局部信息融合的行为识别研究.docx

《基于局部信息融合的行为识别研究.docx》由会员分享，可在线阅读，更多相关《基于局部信息融合的行为识别研究.docx（43页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、基于局部信息融合的行为识别研究Research on Behavior Recognition Based on Local Information FusionI摘 要人体视觉和行为识别技术目前是计算机科学和视觉技术领域以及人工智能视频技术领域中的一个重要的学术研究课题。在信息时代，人们的日常生活和工作中，具有较强的人体视觉和行为识别能力的人体智能识别设备在高级人机交互、无人驾驶、智能视频与监控、移动机器人定位与卫星导航、虚拟与现实等人工智能领域中都具有重要的应用，同时人们对于此类人工智能产品的需求也与日俱增。因此，对于人工智能视频技术中人体行为识别技术的研究和发展具有重要的学术研究价值和意

2、义。目前的人体行为识别方法对短视频的人体行为识别处理效果较好，例如双流神经网络、3d卷积神经网络、时空卷积神经网络等识别方法。这些行为识别网络的视频输入或是随机选择的一个原始的RGB图像，或是选择堆叠一组密集的RGB图像，或是一组光流图。但是对于长视频而言，密集的选择一组图像帧无法比较客观的表示全局信息。因此本文从短视频的理论与技术实际的角度出发，针对长视频的人体行为识别提出了一种基于关键帧的局部信息融合的分段视频识别网络(Key Frame Segment Network，KFSN)，该方法将长视频分为等长的多段视频分别进行人体行为的识别，再把分段的短视频的识别结果进行融合。这种网络是基于长

3、时间建模的思想，它很好的结合了稀疏时间视频采样的策略，使整个动作视频能高效学习。本文提出的识别方法在公开的数据集UCF101和 HMDB51上分别进行了实验，对比实验结果表明本文提出的KFSN网络能够取得较好的行为识别效果，在UCF101上达到了95.0%的识别率，在HMDB51上达到了70.1%的识别率，优于一些现有的行为识别网络性能。关键词：行为识别；关键帧提取；局部信息；信息融合 AbstractHuman vision and behavior recognition technology is currently an important academic research topi

4、c in the field of computer science and visual technology and artificial intelligence video technology. In the information age, people s daily life and work, human body intelligent recognition devices with strong human vision and behavior recognition capabilities include advanced human-computer inter

5、action, unmanned driving, intelligent video and monitoring, mobile robot positioning and satellite navigation, virtual It has important applications in the field of artificial intelligence, such as reality, and the demand for such artificial intelligence products is also increasing. Therefore, it ha

6、s important academic research value and significance for the research and development of human behavior recognition technology in artificial intelligence video technology. Current human behavior recognition methods have a better effect on human behavior recognition of short videos, such as dual-flow

7、 neural networks, 3d convolutional neural networks, spatiotemporal convolutional neural networks and other recognition methods. These behavior recognition network video inputs are either a randomly selected raw RGB image, or a stacked set of dense RGB images, or a set of optical flow maps. However,

8、for long videos, intensive selection of a group of image frames cannot objectively represent global information. Therefore, from the perspective of short video theory and technical reality, this paper proposes a key frame segment network (KFSN) based on the fusion of local information of key frames

9、for human behavior recognition of long video. This method will The long video is divided into multiple lengths of video of equal length to separately recognize human behavior, and then the recognition results of the segmented short video are fused. This kind of network is based on the idea of long-t

10、erm modeling. It combines the strategy of sparse time video sampling well, so that the whole action video can be efficiently learned. The identification method proposed in this paper was tested on the public data sets UCF101 and HMDB51 respectively. The comparison experiment results show that the KF

11、SN network proposed in this paper can achieve better behavior recognition results, and achieve a recognition rate of 95.0% on UCF101. It has achieved a recognition rate of 70.1%, which is better than some existing behavior recognition network performance.Key words: Behavior recognition; Key Frame Ex

12、traction; Local Information; Information FusionII目 录摘要I AbstractII第1章 绪论11.1 研究目的及意义11.2 国内外研究现状31.2.1 基于传统的手工提取特征方法31.2.2基于深度学习的方法41.3 研究难点61.4 研究内容71.5 本文的结构安排8第2章 人体行为识别技术92.1 行为识别流程92.2 基于手工特征的人体行为识别方法102.2.1 基于轨迹跟踪的特征提取方法102.2.2 基于时空兴趣点的采样方法112.3 基于深度学习的人体行为识别方法112.3.1 双流网络122.3.2 3D卷积网络132.3.3

13、 受限波尔兹曼机132.3.4 循环神经网络142.4 本章小结15第3章 基于关键帧的局部信息融合的分段视频识别网络163.1 时序分段网络163.2 关键帧提取网络173.3 KFSN网络结构183.3 KFSN网络训练193.3 KFSN网络测试203.3 本章小结20第4章 实验结果与分析214.1 数据集简介214.1.1 UCF101数据集214.1.2 HMDB51数据集224.2实验结果与分析224.2.1 实验内容224.2.2 实验结果234.2本章小结25第5章 总结与展望265.1 总结265.2 未来展望26参考文献28致谢3236第1章 绪 论1.1 研究目的及意义

14、近年来，随着我国经济社会的进步和国民经济的进一步发展，各种公共安全问题和突发事件也越来越多，世界各国也都更加的注重国内公共场所的安全保护和防范，视频图像监控系统越来越多的广泛应用于各种公共场合，如在国际机场、车站、办公场所、住宅小区等各处大量的安装了视频监控摄像头。由于近年来我国平安智慧城市建设等各项政策的实施和进一步开展和深化，以及随着金融、交通、教育等各行业的用户公共安防意识的不断提高和增强，视频图像监控的市场保持了强劲增长的良好势头。从2008年开始，中国每年的新增摄像头的使用数量都已经超过百万个，并且每年仍均20%以上的增长速度保持着增长。视频监控的数字化给视频监控数字化系统的使用者带

15、来了大量的视频监控资源，也带来了一些问题。比如，这些视频摄像头并没有充分发挥主动的录像监督的作用，仍然以人工监控视频摄像为主，而且只是简单的把视频摄像内容和视频进行了记录。这样的视频监控系统有两个主要的缺陷：一是当异常情况发生时，安保工作人员可能需要事后通过监控视频录像才能准确观察到异常事件发生或者因为工作疏忽而造成的遗漏、误报或者漏报的情况发生；二是视频监控需要大量的时间和人力、物力以及大量财力的长期投入，因此妥善管理和维护监控视频摄像系统所需要花费的时间和代价也是惊人的，而且由于海量的视频摄像头24小时不停歇工作，带来的是海量录像数据，使得录像数据检索困难，产生大量的错误或者垃圾录像数据，

16、效率也是非常低的。所以这样的视频监控系统往往被认为是“事后诸葛”，没有了提前预警的视频监控功能。为了更好的解决上述众多的问题，将计算机视觉图像处理技术直接融入到视频监控图像处理系统，对于视频数据中的信息流进行图像处理、目标信息分析等图像处理工作，自动检测、判断特定目标的动作，跟踪目标、分析特定目标的行为并对目标行为进行相关的记录，同时系统可以通过先进的智能算法，完成全天候的实时自动监控并能够准确识别外部事件。比如在海关、银行、停车场等各种公共场合有危险可疑违法行为发生时，系统能够迅速地向安保工作人员和公安人员发出警报，提示参与监控的人员关注目前所监控的画面，以便监控人员能及时有效地制止危险的发

17、生；同时能有效地帮助系统降低误报率和漏报率，提高系统对于视频内容的检索处理速度，减少垃圾视频数据的产生，使系统对于视频的信息图像处理变得更加的容易。计算机视觉技术主要釆用了生物的视觉原理，依靠先进的图像传感器设备来釆集待处理的图像，这些传感器设备可以直接替代了人类的眼睛，而分析和处理采集的图像需要直接或间接的依靠先进的计算机来完成。利用计算机视觉技术可以采集和分析处理周围环境的三维世界图像，作为一门交叉性的学科，它不仅广泛地涉及到现代计算机基础科学、数学、光学、控制学、神经心理学、神经生理学和神经临床病理学等自然学科，还广泛地涉及哲学、认知心理学以及视觉美学等社会科学。目前对于计算机视觉技术的

18、应用己经广泛深入到各行各业，特别是在工业生产中，如对工业机械零部件的检测和测量，目前一些人工视觉技术达不到的检测和测量水平，计算机视觉技术几乎可以轻易地做到。目标的检测、跟踪和对人体行为的识别与理解是目前计算机视觉领域中一个非常重要的研究内容，目标的检测、目标的分类与跟踪是视频监控中研究比较多的三个待处理问题，属于计算机视觉监控任务处理中的低级和中级的任务处理部分。更为高级的视觉任务处理部分应该是对行为的识别与理解，它是对监控目标的具体运动模式进行分析和识别，并用自然语言等手段加以解释和描述，是视频监控系统中的最终目标任务之一。目前行为的识别通常是以人体的行为活动作为主要观察和研究的对象。人体

19、的行为是人体行动的一种方式，是表达人对于环境或者其他物体的一种反应。多数的情况下，人体是通过肢体的各种运动来描述或表达复杂的人体行为，即人体的运动由肢体的各种运动组合组成。因此，通过人体的运动来分析人体的行为就成为理解人体行为的一种有效途径。研究运动目标，特别是对人体运动目标的不同行为和动作的识别具有重要的理论意义，它涉及的范围包括计算机人体视觉、模式识别、机器视觉学习、数据挖掘、认知心理学等多个学科和领域。人体的行为识别的研究仍然还处于一个初级的理论和研究阶段，尽管已经出现了各种各样的行为识别算法，但绝大多数的算法都局限于严格标准化的实验研究环境，不适用于在各种复杂多变的实际环境中进行。从模

20、式识别和机器视觉学习的角度看，目标的行为识别都需要通过选择合适的行为识别模型和优化分类器，通过对最小化训练样本的估计误差或者模型的分类算法误差去评估和学习行为识别模型的未知参数。如何根据理论和先验知识对运动目标的结构进行合理的建模，提取有效的特征，设计合适的分类器，以及如何选择可行的模型和优化分类算法都是这个领域需要研究和解决的主要问题。因此，目标的行为识别对于学习和研究现代计算机统计学具有十分重要的意义和重要研究价值。从认知心理学的角度来看，认知心理学主要是研究人对所输入的各种信息如何进行表征、存储、加工并将其转化为知识，运用这些知识来控制和指导自己的行为和解决各种问题。而图像序列中关于人的

21、行为识别的研究正是要计算机利用类似计算机对人类的视觉感知的行为方式，对计算机所输入的图像序列进行分析和底层处理，然后通过运用计算机训练得到的估计模型和分类器，把底层图像的特征转化为高层语义。这包括了人在哪里、在干什么，与现代认知心理学的机理相似，因而，人的行为识别的研究和发展为进一步研究探索人类的视觉感知和各种心理活动方式提供了新的思路和研究方法。同时，在人体的行为识别的研究中，还涉及到计算机视觉中从底层图像特征到高层图像语义之间的许多关系和问题。因此，该研究方向的理论和研究成果对于计算机视觉及其他相关的研究领域发展有着重要的借鉴意义。总之，视频流中包含大量的有用的信息，如何让现有的大量的传感

22、器和数字视频监控管理系统进行智能化的工作，已开始逐步得到广大科研工作者、政府和商家的高度重视，视频人体行为识别具有重要的研究价值与意义。1.2 国内外研究现状基于视频流的行为分析与理解逐渐已经成为了计算机视觉领域一个重要且备受关注的研究方向，其核心研究内容是如何利用计算机视觉、模式识别、图像信号处理等技术对视频流的目标序列进行目标检测、目标分类、目标跟踪以及对处于场景中的监视区域中的运动行人的行为进行理解分析与描述。目标检测是视频监控图像处理系统的基础，属于低层次的计算机视觉问题，目前已经有了很多较为成熟的检测算法。为了能够进一步对场景中的运动目标进行跟踪和轨迹分析，需要对场景中的运动目标进行

23、精确的分类。而作为视频监控图像处理系统中最基本的功能之一的目标跟踪，是当前制约视频监控图像处理系统发展的一个主要瓶颈。而如何对人的行为进行分析和识别是近几年被广泛关注的一个研究热点，它研究的主要是如何对人的行为运动模式进行分析和识别，也可以简单的把它看成一个对时变行为数据的分类和匹配问题，即将测试的序列与预先标定的典型行为的参考数据序列进行匹配。1.2.1 基于传统的手工提取特征方法在人工智能和深度学习出现之前，通过人工设计图像特征来进行人体的行为识别是主流的研究方向，其具有固定的处理过程：特征的提取、特征的表示和对动作的分类。基于人工设计图像特征的行为识别方法大致来说可以将其区分为两类，即基

24、于全局特征的人体行为识别和基于局部特征的人体行为识别。全局特征提取的基本实现方法是首先从一个视频中通过图像检测出一个人体位置区域，并将该位置区域的为中心的作为兴趣区域，在兴趣区域中提取大小、颜色、轮廓和形状等特征作为视频中的人体行为特征表示，利用视频动作中人体位置信息的变化来训练构造整体模型。基于全局特征的代表性方法有运动能量图( Motion Energy Image，MEI )和运动历史图( Motion History Image，MHI )，它们是由Bobick等人共同提出，这种方法主要是在相邻两个视频帧之间进行差分运算来对获取人体行为的特征表示。这种方法的优点是能够清晰地保持视频中人

25、体行为的时空特征，但是很大一定程度上却依赖于人工对人体轮廓稳定的分割，对颜色、光照、对比度敏感，且不易处理视频图图像中遮挡问题，适用于有一定空间约束的视频场景。基于行为局部特征的视频行为识别算法不需要对视频进行图像预分割，局部特征的典型局部特征包括线、边缘、角点、曲线和具有特别属性的区域等。人体行为的局部特征也称为局部兴趣点，是一种空间或时间上突然发生变化的点。其中最具代表性的局部特征为时空兴趣点( STIP )，要求人体行为视频在空间和时间尺度上存在明显的变化，能够准确检测出执行行为的关键兴趣点。然而，很多人体行为的兴趣点在执行处理过程中存在着执行速度慢和关键部位的兴趣点稀少等问题，导致视频

26、中提取到的人体行为兴趣点数目比较少，严重影响后续的人体行为特征的表示和分类。针对视频中人体行为兴趣点稀疏的问题，Wang等人提出了基于光流特征的密集采样( Dense Trajectories，DT )算法和改进的密集轨迹采样( Improved Dense Trajectories，IDT )算法，该算法是基于人工提取特征的，是深度学习算法广泛应用到行为识别领域之前效果最好的一种算法。DT算法的一个基本思路是利用光流场来获得视频帧序列中已经筛选过的密集采样点的运动轨迹，再沿着运动轨迹提取方向梯度直方图(Histogram of Oriented Gradient，HOG)，光流梯度直方图(H

27、istograms of Oriented Optical Flow，HOF)，运动边界直方图(Motion of Boundary History，MBH)，轨迹特征Trajectory等4种特征，其中HOF基于灰度直方图计算，另外几个均基于密集光流直方图计算。最后利用费舍尔矢量（Fisher Vector）对前后的图像特征进行编码，再基于图像特征编码结果来训练支持向量机(SVM)分类器。而IDT改进的地方在于它利用前后两帧视频图像之间的光流以及SURF关键点进行匹配，从而有效地消除或者减弱相机运动过程中带来的视频背景变化等影响，改进后的光流图像被称为扭曲光流图。然而基于密集采样的识别方法计

28、算量大，尤其是动态背景下的行为识别任务，会包含许多冗余的背景变化计算，从而影响行为识别效果。1.2.2 基于深度学习的方法深度学习通过深度网络自动学习特征以此替代手工提取特征的方法，一些研究者采用深层结构来进行视频分类。由于他们采用层次特征表示，深度网络学习方法能够捕获局部特征以及上下文信息，并且可以利用来自大规模视频数据集的高级信息。Simonyan等人提出了一个双流卷积神经网络(Two-Stream Network)，他们将原始的视频图像信息分解成空间静态数据流和时间动态数据流，在空间网络部分以单个图像帧的外观形式，携带了视频描绘的特定的场景和目标信息。其自身静态的外表形式是一个很有用的线

29、索，因为一些动作很明显地与特定的目标之间有联系。在时间网络部分，以多个帧上的运动外观形式，表达了特定的观察者（摄像机）和特定的目标者的运动。并将深度卷积神经网络用于两个特定的数据流中来进行特征的提取，最后使用SVM分类器对网络输出结果进行行为识别。Hausknecht等人提出利用长短时记忆神经网络( Long Short-Term Memory，LSTM )来做双流卷积神经网络的时间网络部分的融合，效果还不错，在 UCF101数据库上的识别率达到88.6%。Ji等人首先在实验中使用3D卷积神经网络从视频中学习时空特征，然后在下一步中使用LSTM对视频序列进行分类。Tran等人提出3D卷积神经网

30、络C3D，其将33卷积扩展到333卷积，22融合扩展到222，输入视频图像16帧。实验中发现，时域方向卷积核大小为3时效果最好。相比2D卷积神经网络，3D卷积神经网络的参数量很大，训练变得更加困难，且需要更多的训练数据。相比其他类型的方法，C3D一次可以处理多个视频图像帧，所以其计算效率更高。Carreira等人提出了I3D卷积神经网络，把原始的双流卷积神经网络结构中的2D卷积扩展为3D卷积。由于时间维度不能缩减过快，前两个池化层的卷积核大小是122，最后的池化层的卷积核大小是277。和原始的双流卷积神经网络不同的一点是，这里的双流卷积神经网络的两个网络分支是单独训练的，测试时才融合它们的预测

31、结果。Diba 等人提出了时空3D卷积网络T3D，一方面是采用了3D DenseNet结构，区别于原来网络的Inception和ResNet结构；另一方面是使用了不同尺度的卷积来捕捉视频信息。Qiu等人提出了伪3D残差网络P3D，用一个133的空间方向卷积和一个311的时间方向卷积来近似原333卷积，改进了ResNet内部神经网络连接中的卷积形式。通过组合这三种不同的卷积模块，进而得到P3D ResNet。P3D ResNet无论是在参数数量还是运行速度等方面都对3D卷积神经网络C3D作出了优化。除了光流信息之外，一些学者还利用视频的其他模态如音频和视频中的物体信息来捕捉视频分类的补充信息。D

32、onahue 等人提出了长时递归卷积神经网络(Long-term Recurrent Convolutional Network，LRCN)，这个网络将卷积神经网络CNN 和长短时记忆神经网络（Long Short-Term Memory，LSTM）结合在一起对视频中的有用信息进行特征提取，单帧的视频图像信息通过CNN 获取特征，然后将CNN 的输出按输入时间顺序通过LSTM，这样最终将视频数据在空间和时间维度上进行特征表征，在 UCF101数据库上得到了82.92%的平均识别率。Baccouche等人提出使用稀疏卷积自定义编码器网络来学习视频块的时空兴趣特征，在KTH数据集上的实验结果表明其

33、方法能与人工设计特征的方法取得类似的效果。Le 等人将对独立子空间的分析( Independent Subspace Analysis，ISA )算法扩展到三维的视频数据上，使用一种无监督的学习算法对视频块进行建模。首先在输入的局部视频块上使用独立子空间分析算法，学习得到相应的网络后将较大块的输入图像进行卷积，将卷积计算得到的结果组合起来作为下一层的输入；实验证明该算法更适用于环境复杂的视频数据集，因此在Hollywood2数据集上得到了更好的结果，比手工特征提取中的时空兴趣点特征提取算法识别率提高了将近10%。Zeiler等人提出使用卷积限制玻尔兹曼机来学习一个视频中相邻两帧的时空特征，在K

34、TH和 Hollywood2视频数据集上的对比实验结果表明，利用深度学习得到的时空特征与人工设计的 HOG、HOF 等特征能在识别结果上取得类似的结果。Chen等人提出空间-时间深度信念网络( Space-Time Deep Belief Network，ST-DBN )，ST-DBN 使用玻尔兹曼机将空间抽取层和时间抽取层组合在一起在视频数据上提取不变特征，并在 KTH 数据库上获得了91.13%的识别率。目前，基于深度学习方法的行为识别，在准确度上达到了甚至超越了手工提取特征的准确度，并且基于深度学习的识别方法具有良好的泛化性，针对不同类型的数据集都可以取得良好的识别效果，而且避免了复杂手

35、工提取特征的过程。通过以上的对比分析可以很清楚地看出，深度学习不仅技术上具有优良的泛用性，即针对不同类型的行为数据集都同样能获得较好的识别效果，且避免了复杂的传统手工特征提取的过程，用基于机器的深度特征学习代替了基于人类先验经验的特征提取，获得了与传统的手工特征识别结果持平甚至是更好的识别率。因此，基于深度学习的人体行为识别方法具有很大的科学研究和应用价值。1.3 研究难点行为识别技术发展至今，取得了很大的进展，在低层，中层和高层都已经取得了一定的技术突破，但是由于行为识别算法并不成熟，目前尚不存在一个适合所有行为分类识别的算法，且3个视觉层次的识别算法中都还有很多严峻的问题有待解决。其研究的

36、技术难点主要体现在以下几个方面：1.动作类内类间的变化太大对于大多数的肢体动作，即使是同一种动作都有不同的表现形式，比如说走路，可以在不同的背景环境中完成，走路的步伐和速度也可以从慢到快，走路的步长亦有长有短。其它的动作也有类似的表现结果，特别是一些非周期的肢体运动，比如过红绿灯时候的走路，这与平时周期性的走路步伐显然不同。由此可见，动作的表现形式种类本身就很多，再加上每一个动作的种类又有很多个变种，这给行为识别的研究带来了不少麻烦。2.环境背景等影响环境光照、背景变化等因素的影响可谓是计算机视觉各个研究领域的最大难点之一。主要有视角的变化和多样性，同样一个动作从不同的角度观察会得到不同的动态

37、图像。另外人与人之间、人与背景之间的相互遮挡也给计算机对视频图像特征的提取以及动作的分类识别带来了困难。为解决多视角和遮挡的问题，目前有学者提出了多视角摄像机融合并通过3维重建技术来处理的方法。其他影响因素还包括动态场景变化和杂乱的背景，环境光照的变化，图像视频的低分辨率等。3.时间变化的影响众所周知，人体的所有行为都离不开时间这个重要的因素。而我们拍摄的照片和视频其实际存储的格式和速率也有很大的可能不同，其视频的播放速度有慢也有快，这就直接导致了我们提出的行为识别系统需对照片和视频的的存储格式实际播放速率不敏感。4.数据的获取和标注既然把行为识别问题的基本问题当成一个分类问题，就必然需要大量

38、的行为数据来训练分类模型。而这些数据是视频数据，每一个动作在一段视频中实际出现的位置和时间都不确定，持续时间也不确定，同时还要考虑到同一种动作在视频中的不同表现形式以及不同动作之间的区分度，即数据的信息多样性和全面性。这一收集过程的工作量不小，网上已经有一些公开的视频数据集供大家用来进行行为识别实验。另外，手动对视频数据进行标注非常困难，工作量太大。当然，有一些学者也提出了一些自动标注的方法，比如说可以利用网页图片作为搜索引擎，利用电影视频中的字幕，以及利用对电影描述的文本信息进行匹配等。1.4 研究内容卷积神经网络在基于视频的行为识别方面难以深入发展的原因是因为长视频在理解行为视频方面起着重

39、要作用，且生活中的各种监控视频数据也基本都是长视频，但是主流的神经网络通常只关注短视频。这些挑战促使我们来解决以下两个主要问题：1. 如何设计一种有效的基于视频的行为识别网络结构能够学习视频的特征表现进而能够用于长视频的行为识别。2. 如何在有限的训练样本下学习卷积神经网络模型。本文在对基于视频流的人体行为识别相关的关键技术进行大量文献查阅和研究的基础上，提出了一种基于关键帧的局部信息融合的分段视频识别网络，能够在一段长视频序列中通过稀疏采样的方法提取短片断，这些视频片段在时间维度上服从均匀分布，利用双流卷积神经网络从采样得到的视频片段中搜集信息，并在UCF101和HMDB51两个数据集上进行

40、实验来验证所提出的方法的有效性。1.5 本文的结构安排本文的主要研究内容分为五章，各章的主要研究内容概述如下：第一章 首先简要论述了人体行为识别的相关研究背景及其研究意义；然后，讨论了国内外学者在人体行为识别领域的相关研究工作现状和进展，分别从基于传统的手工提取特征方法和基于深度学习方法两个方面进行分析；最后，说明了目前行为识别研究遇到的难点以及本文的主要研究内容和结构安排。第二章 对人体行为识别技术进行综述，先介绍了行为识别流程，然后介绍了国内外在人体行为识别领域的常见方法，分别从基于手工特征和基于深度学习两方面进行讨论。第三章 介绍本文拟采用的网络结构，首先介绍了该方法的基础网络时序分段网

41、络(TSN)，然后介绍了本文拟采取的关键帧提取网络，接下来介绍了本文采用的行为识别网络的训练与测试部分。第四章 给出相关实验细节，并对实验结果进行分析总结。第五章 总结与展望，总结本文所作的工作和研究成果，对后续工作进行展望。第2章 人体行为识别技术行为识别的目标是从一个未知的视频或者是图像序列中自动分析出其中正在进行的行为的起始点并预测其终点。简单的行为识别即动作分类，任意给定一段视频，只需将其正确分类得到视频中已知的动作类别。复杂点的行为识别是视频中不仅仅只包含一个动作类别，而是有多个，系统需自动的识别出动作的类别以及动作的起始时刻和终止时刻。一般来说，行为识别系统的最终目标是自动分析出视

42、频中有哪些人( who )，在什么时刻( when )，什么地方( where )，干什么事情( what )，即所谓的“W4系统”。2.1 行为识别流程首先给出行为识别的流程框图如图2.1所示。训练输出提取分类器行为特征提取行为识别结果人体行为视频图2.1 行为识别流程图人体行为视频可以通过成像设备获取，随着成像设备的发展，从早期普通彩色单目摄像机到后来多模态相机的出现使得行为视频的数据类型更加丰富。人体行为特征是从视频数据中提取到的关键信息的表征，是行为识别中的关键部分，其好坏直接影响识别的性能。人体行为的分类是指将人体行为特征向量作为输入，通过机器学习的方法训练一个分类器，将需要识别的人

43、体行为特征向量输入到这个分类器中，从而得到类别的分类结果。目前，视频人体行为识别的方法按视频特征提取方式的不同大致可分为以下两类：1.基于传统手工特征的行为识别方法。首先利用专家设计的特征提取符来提取视频的底层行为特征；之后对该底层特征进行预处理，以消除数据间的相关性，防止过拟合；然后将处理好的底层特征编码成为定长的特征向量，并将其作为行为分类器的输入进行训练，最终得到训练好的行为分类器。2.基于深度学习的方法。利用迭代学习自动地从视频中提取深度学习的行为特征向量，最后通过深度模型得到类别得分，并根据数据的标签，利用反向传播的方式调整网络模型参数，最终达到良好的分类效果。模型最后的全连接层和

44、Softmax 层相当于分类器，整个模型的训练就是一个端到端学习的过程。2.2 基于手工特征的人体行为识别方法基于手工特征的人体行为识别方法的流程通常如图2.2所示。首先，对视频数据的连续帧进行连续采样，得到一系列采样点；然后，按照专家设计的手工特征提取方法对这些采样点进行手工特征的提取；其次，将提取好的手工特征合并编码成特征向量；接着，将手工特征向量编码后生成的特征向量输入到行为分类器中进行分类训练；最后，将从要测试的视频中提取出的手工特征向量输入训练好的分类器，得到分类结果。特征向量提取手工特征描述编码采样点采样人体行为视频训练行为识别结果分类器图2.2 基于手工特征的行为识别方法流程在深

45、度学习未被引用到人体行为识别领域之前，国内外专家学者设计了多种手工特征，进行了大量尝试，如常见的密集轨迹(Trajectories)、时空兴趣点(Space Time Interest Points)等。2.2.1 基于轨迹跟踪的特征提取方法Wang等人提出的基于密集轨迹（Dense Trajectories，DT)的行为识别方法和经过改进的密集轨迹（Improved Dense Trajectories，IDT)的行为识别方法是深度学习之前最好的人体行为识别方法。密集轨迹人体行为识别算法的主要步骤为：密集采样、轨迹追踪、轨迹描述、特征编码与识别。首先对视频图像进行多尺度密集特征点采样，保证多

46、个不同尺度的各个采样点能同时覆盖图像所有空间位置。通过计算每连续15帧图像特征点的邻域光流估计特征点的运动，得到运动轨迹特征( trajectory )。除了运动轨迹特征外，基于HOG， HOF，MBH的三种特征串行融合的特征用以描述光流，并利用词袋特征编码方式对每段轨迹对应的一组特征（HOG，HOF，MBH）编码。改进的IDT算法为了消除相机运动产生的光流信息，减少光流估计运动轨迹的干扰，利用SURF特征进行特征点匹配，并改用特征编码效果更好的费舍尔矢量(Fisher Vector，FV)特征编码方式。FV同样也是先用大量特征训练码书，然后再用码书对特征进行编码。相机背景运动光流消除、轨迹特

47、征在后期的行为识别算法中得到了极大借鉴，常见的有将轨迹特征与深度学习结合的行为识别算法。基于得到的特征，利用分类器根据特征所带信息，将特征输入分类器识别行为。2.2.2 基于时空兴趣点的采样方法时空兴趣点(Space Time Interest Point，STIP)能够同时考虑到视频的空间信息和时间信息，是一种常用的行为识别运动特征表示方法。STIP 特征提取出视频序列中时间和空间运动变化剧烈的人体区域，如挥手的手掌和手肘以及踢球的足部。由于其较好的运动描述能力，被广泛应用于视频序列中的人体行为识别。常用的检测时空兴趣点的方法有三种：Dollar检测方法、Harris3D 角点检测方法和稠密

48、网络检测方法。Harris2D检测时空上具有显著变化的区域，并且能够自适应地选择兴趣点的时空范围，最后通过统计所得的像素直方图来形成描述行为的特征向量。但是，Dollar 等人则指出这种检测方法检测到的稳定的时空兴趣点的数量不足，提出在可测量的时间维度上采用Gabor 滤波器进行滤波，并在空间维度上采用高斯滤波器进行滤波，由这种检测方法检测到的稳定的时空兴趣点数量将随局部邻域块尺寸大小的变化而变化。接着，Willems等人又在Harris2D的基础上提出了基于Harris3D 的时空兴趣点检测方法，该方法在多尺度的视频三维数据中通过对 Hessian 矩阵的计算筛选出兴趣点所在的时空位置，大幅降低了兴趣点检测的时间复杂度。然而，这样检测到的时空兴趣点依然过于稀疏。Wang 等人则提出使用稠密网格的方法在视频数据上提取行为特征，并与多种局部特征描述符如梯度直方图(Histogram of Oriented Gradient，HOG)、光流梯度直方图(Histog