人体行为识别概述课件.ppt

《人体行为识别概述课件.ppt》由会员分享，可在线阅读，更多相关《人体行为识别概述课件.ppt（38页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、人体行人体行为识别概述概述机器机器视觉团队：欧阳寒：欧阳寒2023/1/241.行行为识别现状状nVSAM(Visual Surveillance and Monitoring)1997nIVPL实验室室(The Image and Video Processing Laboratory)nAIRVL实验室室(Artificial Intelligence，Robotics，and Vision Laboratory)nLPAC实验室室(Laboratory for Perception，Action and Cognition)nKNIGHT系系统nISCAPs(Integrated Sur

2、veillance of Crowded Areas for Public Security)nREASON(Robust Methods for Monitoring and Understanding People in Public spaces)nCANTATA(Content Aware Networked systems Towards Advanced and TailoredAssistance)n中国科学院自中国科学院自动化所的生物化所的生物识别与安全技与安全技术研究中心研究中心CBSRn微微软亚洲研究院洲研究院参考文献：监控视频中的人体异常行为检测研究2023/1/242.

3、行行为识别前景前景nhigh-level video indexing and retrievaln“smart”video surveillance systems 自自动检测异常行异常行为，辅助助检索一个特定的事件。索一个特定的事件。nThe analysis of sport videos 帮助教帮助教练进行行战略分析。略分析。识别不同的游泳不同的游泳风格。格。nHand gesture recognition 虚虚拟现实nHuman-Computer Interaction(HCI)systems kidsRoom、Smart room、Facial action用于分析精神病病人的情

4、感行用于分析精神病病人的情感行为。nroboticsnmedical area 辅助助诊断病人的运断病人的运动问题。另一个是。另一个是对老年人提供老年人提供远程程协助。助。参考文献：Action Recognition in Videos:from Motion Capture Labs to the Web2023/1/243.行行为识别的流程的流程参考文献：运动人体行为分析 视频中的人体运动分析及其应用研究 n目目标的运的运动特征，可以用于运特征，可以用于运动表述，是行表述，是行为理解等高理解等高层部分的基部分的基础。n常常见的运的运动表述方法有：表述方法有：运运动轨迹、迹、时空空图表述表

5、述和光流。和光流。2023/1/244.行行为识别的流程的流程。2023/1/245.目目录目目标检测目目标分分类特征提取特征提取行行为理解理解目目标跟踪跟踪1/24/20236.运运动目目标检测参考文献：视频中的人体运动分析及其应用研究.nh 运动目标跟踪算法研究综述.pdfn对于不依于不依赖先先验知知识的目的目标跟踪来跟踪来讲，运，运动检测是是实现跟踪的第一步跟踪的第一步n运运动检测即即为从序列从序列图像中将像中将变化区域从背景化区域从背景图像中提取出来。像中提取出来。2023/1/247.目目标检测时间差分法差分法n在在连续的的图像序列中像序列中两幅或三幅相两幅或三幅相邻帧之之间采用采用

6、基于像素基于像素的的时间差分，差分，并并对差分差分结果果进行行阈值化化处理理以以提取提取图像中的像中的前景前景运运动区域。区域。n缺点：缺点：n前景、背景区域的确定与前景、背景区域的确定与阈值的的选取取有很大的关系有很大的关系 当灰度当灰度图像序列像序列对比度比度较低低时，由于相，由于相邻两两帧的差的差(前景与背景之差前景与背景之差)的范的范围很小，很小，阈值难以以选取取，影响前景目，影响前景目标的分割的分割结果。果。n区域区域灰度灰度值变化化较为平坦平坦时，容易在人体二，容易在人体二值图像内像内产生生空洞空洞现象象，给后后续的目的目标分分类、跟踪和、跟踪和识别造成不便。造成不便。n优点：点：

7、n对于于动态环境境有有较强的自的自适适应性性2023/1/248.目目标检测光流法光流法n基于光流法的运基于光流法的运动检测，是利用运，是利用运动物体随物体随时间变化在化在图像中表像中表现的的光流特性，通光流特性，通过计算位移向量光流算位移向量光流场来提取运来提取运动目目标。n光流是空光流是空间运运动物体在物体在观测成像面上成像面上对应像素运像素运动的瞬的瞬时速度，是空速度，是空间物体可物体可见点的三点的三维速度矢量在成像平面上的投影，它携速度矢量在成像平面上的投影，它携带了丰富的了丰富的运运动和和结构信息。构信息。n优点点：n即使在即使在摄像机运像机运动的情况下也能的情况下也能检测出独立的运

8、出独立的运动目目标。n缺点缺点：n由于噪声、多光源、阴影和遮由于噪声、多光源、阴影和遮挡等原因，等原因，计算出的光流算出的光流场分布并不十分布并不十分可靠和准确。分可靠和准确。n多数光流法多数光流法计算复算复杂、耗、耗时，在，在实际的系的系统中没有特殊的硬件支持中没有特殊的硬件支持时，很很难实现实时检测。2023/1/249.目目标检测背景减除法背景减除法n最常用且有效的是背景减除法。最常用且有效的是背景减除法。n背景减除法最背景减除法最简单的的实现方法是方法是预先先选取不含前景运取不含前景运动目目标的背景的背景图像，然后将当前像，然后将当前图像像帧与背景与背景图像相减得到前景目像相减得到前景

9、目标。n背景减除法通常在背景减除法通常在摄像机固定的情况下使用像机固定的情况下使用，关关键是建立随是建立随场景景变化化不断更新的背景模型不断更新的背景模型。n有有两两类常用的背景更新方法常用的背景更新方法:n1、建立背景模型并采用自适、建立背景模型并采用自适应方法方法对模型参数模型参数进行行调整，从而整，从而获得得新背景新背景图像像;n2、从、从过去的一去的一组观测图像中按一定的假像中按一定的假设选择像素像素值构成当前背景构成当前背景图像。像。2023/1/2410.目目标分分类参考文献：视频中的人体运动分析及其应用研究2023/1/2411.人体描述人体描述参考文献：Human Motion

10、:Modeling and Recognition of Actions and Interactions 2023/1/2412.运运动跟踪跟踪参考文献：运动目标跟踪算法研究综述n运运动目目标的跟踪，即通的跟踪，即通过目目标的有效表达，在的有效表达，在图像序列中像序列中寻找与目找与目标模板最相似候模板最相似候选目目标区位置的区位置的过程。程。n就是在序列就是在序列图像中像中为目目标定位定位。n范例范例2023/1/2413.四种跟踪方法的比四种跟踪方法的比较。2023/1/2414.运运动目目标的特征的特征参考文献：自动目标识别与跟踪技术研究综述2023/1/2415.运运动表征表征。202

11、3/1/2416.行行为识别n人的行人的行为理解与描述是指理解与描述是指对人的运人的运动模式模式进行分析和行分析和识别,并用自然并用自然语言等加以描述言等加以描述.n可以可以简单地地认为是是时变数据的分数据的分类问题，即将，即将测试序列与序列与预先先标定的代定的代表典型行表典型行为的参考序列的参考序列进行匹配行匹配.n行行为理解的理解的关关键问题是如何从学是如何从学习样本中本中获取参考行取参考行为序列序列,并且学并且学习和匹配的行和匹配的行为序列能序列能够处理在相似的运理在相似的运动模式模式类别中空中空间和和时间尺度上尺度上轻微的特征微的特征变化化.2023/1/2417.行行为识别方法方法2

12、023/1/2418.基于模板匹配的方法基于模板匹配的方法n首先将首先将图像序列像序列转换成一成一组静静态形状模式形状模式n然后在然后在识别过程中用程中用输入入图像序列提取的特像序列提取的特征与在征与在训练阶段段预先存先存储的的动作行作行为模板模板进行行相似度比相似度比较，在比，在比较数据可以有数据可以有轻微微变化化下下识别人体行人体行为。M H V(Motion History Volumes)2023/1/2419.基于模板匹配的方法之基于模板匹配的方法之DTWnDTW（dynamic time warping）动态时间规整整nDTW是一种是一种时变数据序列匹配方法数据序列匹配方法nDTW

13、 优点：概念点：概念简单、算法、算法鲁棒，能棒，能够对图像序列像序列进行分行分类。nDTW缺点：算法缺点：算法计算量算量较大，缺乏考大，缺乏考虑相相邻时序之序之间的的动态特性，而特性，而在在实际中，运中，运动序列中相序列中相邻序列在序列在时间和空和空间上有高度的相关性。上有高度的相关性。2023/1/2420.基于状基于状态空空间的方法的方法n将将图像序列中的每个像序列中的每个静静态姿姿势或运或运动状状态作作为一个状一个状态节点点，这些状些状态节点之点之间由由给定的概率定的概率联系起来。系起来。n任何的任何的动作序列作序列可以可以认为是是这些静些静态动作在不同状作在不同状态节点中的点中的一次遍

14、一次遍历过程程，计算算这个遍个遍历过程的程的联合概率，合概率，取其最大取其最大值作作为分分类标准。准。n基于状基于状态空空间的方法已的方法已经被广泛被广泛应用于用于预测、估、估计和和检测时间序列。序列。2023/1/2421.基于状基于状态空空间的方法的方法HMM隐马尔可夫模型的基本可夫模型的基本结构构2023/1/2422.基于状基于状态空空间的方法的方法DBNsn动态贝叶斯网叶斯网络(dynamic Bayesian networks，DBNs)由于由于HMMs不能有效不能有效处理三个或三个以上独立的理三个或三个以上独立的过程，作程，作为HMMs的的推广方法。推广方法。n是一种是一种对随机

15、随机过程描述的有向程描述的有向图解解n利用先利用先验知知识建立建立视觉特征之特征之间的因果关系来的因果关系来处理理视频处理中固有的理中固有的不确定性不确定性问题。n优点：点：n可以任意改可以任意改变拓扑拓扑结果或增果或增删变量以反映量以反映变量量间各种不同的关各种不同的关联关系，关系，而不影响而不影响训练算法本身，因此具有算法本身，因此具有良好的可解良好的可解释性性，其拓扑，其拓扑结构具有构具有精确及易于理解的概率精确及易于理解的概率语义。n相比相比马尔可夫可夫链，贝叶斯网叶斯网络训练比比较复复杂。2023/1/2423.基于状基于状态空空间的方法的方法ANNn人工神人工神经网网络是由人工建立

16、的以有向是由人工建立的以有向图为拓扑拓扑结构的构的动态系系统，它通，它通过对连续或断或断续的的输入作状入作状态响响应而而进行信息行信息处理，在分析理，在分析时变数据数据时具有很大的具有很大的优势。n缺点：需要用大量的数据来缺点：需要用大量的数据来训练网网络n TDNN(time-delay neural network)时延神延神经网网络n是在多是在多层前前馈感知器神感知器神经网网络模型中引入模型中引入时延延单元使得神元使得神经网网络增加增加记忆功能；功能；n时变序列的前述序列的前述值被用来被用来预测下一个下一个值。由于大量数据集成。由于大量数据集成为可能，可能，时延神延神经网网络的重点就可以

17、放在的重点就可以放在时分信息的表达分信息的表达n这样由此由此导出的神出的神经网网络模型适合模型适合应用于用于处理序列数据。理序列数据。2023/1/2424.基于状基于状态空空间的方法的方法SVMn支持向量机支持向量机(support vector machine，SVM)n优点：点：n能能够较好地解决常好地解决常见的非的非线性分性分类问题中的小中的小样本、非本、非线性、高性、高维数数和局部极小点等和局部极小点等实际问题n可以避免神可以避免神经网网络结构构选择和局部极小点和局部极小点问题2023/1/2425.两种方法比两种方法比较n模板匹配方法的模板匹配方法的优点是点是计算复算复杂度低、操作

18、和度低、操作和实现简单，但缺乏考，但缺乏考虑运运动序列中相序列中相邻时序之序之间的的动态特性，特性，对于噪声和运于噪声和运动时间间隔的隔的变化相当敏感。化相当敏感。n状状态空空间方法方法虽然能克服模板匹配的缺点，但通常涉及到复然能克服模板匹配的缺点，但通常涉及到复杂的迭代的迭代运算，算法的步运算，算法的步骤较为复复杂，难以以应用到用到实际工作中。工作中。2023/1/2426.基于基于语义的描述方法的描述方法n用一种形式化的用一种形式化的语法格式：主法格式：主语（人）、（人）、谓语（人的（人的动作）、作）、宾语（实物），将物），将场景中人的活景中人的活动情况用填空的形式填入情况用填空的形式填入

19、语法格式中，法格式中，产生生对场景的自然景的自然语言描述。言描述。n基于基于语义描述的方法是描述的方法是对在一段持在一段持续时间内内场景内容的分析景内容的分析过程程n目前目前还处于于对场景中人体行景中人体行为的的简单语义解解释n对复复杂场景中人体复景中人体复杂行行为有效的充分的有效的充分的语义描述描述还有相当有相当艰巨的工巨的工作要做作要做2023/1/2427.行行为的分的分层模型模型n常用的概念常用的概念npose、actions、activitiesnaction/motor primitivesnHuman action recognitionnMotion analysisnActi

20、on detectionnAutomatic Target RecognitionnBehavior understandingnvisual analysis2023/1/2428.行行为识别难点点n运运动分割（分割（Motion Segmentation）n人体建模人体建模n遮遮挡问题n多多摄像机的使用像机的使用n运运动特征特征选择与表达与表达n行行为识别n高高层行行为与与场景理解景理解n性能性能评估估2023/1/2429.行行为识别的的热点点n音音频与与视觉相相结合的多模合的多模态接口接口n行行为理解与生物特征理解与生物特征识别相相结合合n人的运人的运动分析向行分析向行为理解与描述高理

21、解与描述高层处理的理的转变2023/1/2430.常用数据常用数据库nKTH human motion datasetnWeizmann human action datasetnINRIA XMAS multi-view datasetnUCF sports action datasetnHollywood human action datasetnCASIA2023/1/2431.顶级会会议nICCV(IEEE International Conference On Computer Vision)nICPR(IEEE Conference on Computer Vision and P

22、attern Recognition)nECCV(European Conference on Computer Vision)nIJCV(International 30umal of Computer Vision)nPAMI(IEEE Transactions on Pattern Analysis and MachinenIntelligence)nIEEE International Workshop Performance Evaluation of Tracking and Surveillance每年每年还提供提供PETS数据数据库用来用来评估智能估智能监控系控系统的性能。的性

23、能。n智能智能视觉监控学控学术会会议n模式模式识别会会议等等参考文献：监控视频中的人体异常行为检测研究2023/1/2432.参考文献参考文献nA survey of advances in vision-based human motion capture and analysisnA survey on vision-based human action recognitionnAction Recognition in Videos from Motion Capture Labs to the Webn监控控视频中的人体异常行中的人体异常行为检测研究研究n视频中的人体运中的人体运动分析

24、及其分析及其应用研究用研究n自自动目目标识别与跟踪技与跟踪技术研究研究综述述n运运动目目标跟踪算法研究跟踪算法研究综述述2023/1/2433.谢谢机器机器视觉团队：欧阳寒：欧阳寒2023/1/2434.后面内容直接后面内容直接删除就行除就行资料可以料可以编辑修改使用修改使用资料可以料可以编辑修改使用修改使用2023/1/2435.主要主要经营：网：网络软件件设计、图文文设计制作、制作、发布广布广告等告等公司秉着以公司秉着以优质的服的服务对待每一位客待每一位客户，做到，做到让客客户满意！意！2023/1/2436.致力于数据挖掘，合同致力于数据挖掘，合同简历、论文写作、文写作、PPT设计、计划

25、划书、策划案、学、策划案、学习课件、各件、各类模板等方方面面，模板等方方面面，打造全网一站式需求打造全网一站式需求2023/1/2437.感感谢您的您的观看和下看和下载The user can demonstrate on a projector or computer,or print the The user can demonstrate on a projector or computer,or print the presentation and make it into a film to be used in a wider fieldpresentation and make it into a film to be used in a wider field2023/1/2438.