基于动量动力学模型的行人关系分析-张旭光.pdf

《基于动量动力学模型的行人关系分析-张旭光.pdf》由会员分享，可在线阅读，更多相关《基于动量动力学模型的行人关系分析-张旭光.pdf（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 doi:10.3772/ j. issn.1002-0470.2017.03.007基于动量动力学模型的行人关系分析张旭光 吴格非唐英干(燕山大学电气工程学院秦皇岛066004)摘要进行了行人行为分析及行人关系研究。考虑到在机器视觉领域大多数研究仅关注于目标行为分类与识别,而目标间因果关系判别研究较少,且现有理论停留在心理学领域中的因果关系表达,提出了一种基于动量动力学模型的目标间因果关系识别方法,用于实现行人间因果关系的识别及量化计算。该方法利用Cam shift算法获得目标在视频中的位置并依据因果概念,构建动量动力模型,然后基于动量动力模型进行因果关系判别,最后计算因果值。根据因果值范围

2、识别出视频行人间的三种因果关系:导致、促进和阻碍。实验表明,上述方法可以在视频监控条件下识别两运动行人间的因果关系。关键词视频分析,行人行为分析,因果关系,社会力0引言在行人行为分析领域,行为识别、分类及行人属性识别等相关研究已有多年历史。 1975年Johans-son1提出了描述行为的点模型方法,对后来基于人体结构的行为描述算法起到了重要的指导作用。Turaga2等人将人体行为识别分为三部分,即移动识别、动作识别和行为识别。 Gavrila3采用2D和3D方法来分别研究人体的行为。除了对于单个行人行为的研究之外,行人的群体行为研究也很热门。Ni4等将人群行为的因果关系分为3类:自因果、配对

3、因果和群因果,通过分段的行为路径来计算因果特征。李楠5等人利用拓扑简化和聚类算法提取出人群运动的宏观行为信息,检测人群中发生的各种异常事件。虽然,国内外学者有关行人行为分析的研究已有丰富成果,但是目前还是局限在行人行为本身去思考和分析问题,对于行为的形成相互关联性鲜有研究。心理学家Talmy6等人对自然界物体间的联系进行归纳,并依照一定规律分类,形成了用以描述自然界中广泛存在的事物间因果联系的理论。 Wolff7在Talmy的研究基础上,提出了动力学模型,将因果关系用力学模型来表达。这些学者经过多年研究8,9,将因果关系概括为三类10,即导致、促进和阻碍。其中“导致”表示,当目标A与目标B相遇

4、时在B的影响下运动方向发生改变所建立的因果关系;“促进”表示,目标A在目标B影响下运动速率增加、方向不变时所建立的因果关系,“阻碍”表示,目标A在目标B影响下运动速率减小、方向不变时所建立的因果关系。因果关系理论经过多年的发展,如今分为三大类别,分别是心理学模型11理论、动因模型理论12和力学模型理论13-15。心理学模型理论通过逻辑推理的形式描述三种因果关系;动因模型理论则是基于因果贝叶斯网络分析所构建的理论16,17;力学模型理论是基于学者Talmy于1988年提出的力动力学模型4所建立的,该方法通过力学矢量关系描述该三种因果关系。此后,基于力动力学模型,Wolff于2002年提出了动力学

5、模型5,18,通过分析目标间作用力矢量,构建模型,识别事物间因果关542高技术通讯2017年第27卷第3期:245 253 国家自然科学基金(61271409, 61273260),中国博士后科学基金(2012M510768, 2013T60264)和河北省自然科学基金(F2013203364)资助项目。男,1978年生,博士;研究方向:视频与图像分析;联系人,E-mail: zhangxg ysu. edu. cn(收稿日期:2016-10-14)万方数据行人ad。口 行人口一， 1l，系。然而以上的模型所表达的因果关系仅被用到心理学研究。由于模型中各个概念难以在现实情况下准确表达,这几种模

6、型都未能实现因果关系在视频监控领域的分析19-22。本文将因果关系概念与动量定理及社会力23,24相结合,提出了基于动量定理的因果认知模型,用于进行行人目标间因果关系识别和分析,探究行人行为形成的原因。具体方法包括三个步骤:首先依据目标跟踪算法获得目标运动位置信息25-27,并依据因果关系构建动量动力学模型;然后提出基于动量动力学模型的因果关系判断条件;最后根据动量模型及改进的因果关系判断条件分析识别视频中行人间的因果关系。1动量动力学因果模型建立无论是力学理论模型还是动力学模型,都对描述因果关系起到了积极的作用,但这些模型,对于因果理论的描述都侧重于概念。考虑到对行人因果关系的描述需要与实际

7、相结合,而Wolff的动力学模型中受力者的前进动力难以准确定义,因此本文提出了基于动量定理和社会力的新模型,对现实中分析行人关系有良好的适用性。1.1因果关系概述如引言所述,因果关系有导致、促进、阻碍三种。Talmy提出了用力学概念描述三种因果关系,并对因果关系的判断定义了如表1所示的相应条件4,9。基于此判断条件,Wolff在Talmy的基础上发展改进,提出了动力学模型,该模型中含有四个要素分别为:目标所受外力,自身产生的前进动力,前两者的合力以及目标所到达的最终位置。表1导致、促进和阻碍判定条件初始方向是否与最终方向一致外力方向是否与初始方向一致合力方向是否与最终方向一致导致否否是促进是是

8、是阻碍是否否当然,无论是Talmy还是Wolff提出的模型都难以直接应用到视频分析领域。本文提出的动量动力学模型同样包含了四种要素,如图1所示,分别为目标行人初始动量p0,所受其他行人排斥力的冲量I,动量定理计算所得预测末动量ppre以及实际测量所得末动量ps-n。图1动量动力学模型1.2初始动量的确定行人正常行走时处于惯性状态28,此时设定目标行人的初始动量为p0,其具体计算方法如下:首先根据Cam shift跟踪算法可获得行人的位置信息,计算行人每两帧间行人的位置差值,即为行人每一帧的运动速度。 p0具体值可根据公式pi = m i+nj = i(Oj+1 - Oj)tn (1)求得,其中

9、Oj(j = 1, ,n)表示视频中当前帧的目标质心位置,可由目标跟踪算法获得;n表示视频序列长度,由实际视频序列长度决定;t表示每帧的时间。1.3冲量的确定根据因果关系理论,行人运动发生变化可能是受到其他行人对他产生的影响造成的,该影响可表示成一种冲量的影响,具体的计算过程如下。对于冲力的确定,本文实验了多种方法,最终发现社会力模型对动量定理有很好的适应性,这是因为社会力是以牛顿力学原理为基础提出的用于行人行为分析的理论。由于小规模人群中行人的运动不常发生肢体接642高技术通讯 2017年3月第27卷第3期万方数据触的碰撞现象,因而可忽略社会力模型中自驱动力以及排斥力的物理力部分,只采用心理

10、力作为冲力的基本模型,其公式如下:f = A exp (r - d)B n (2)其中A和B是常数,分别表示行人与其他行人的相互作用强度和作用范围, A的单位是牛顿, B是范围常数,可根据实验的实际情况取值。 r是相互作用的两行人肩宽的和; d是行人间距离; n是由行人指向行人的单位向量。行人的半径取肩宽0.5,0.7的均匀分布。为了使模型有更好的适应性,我们需要对冲力做适当的改进,考虑到行人受到他人的影响方向不同(正面侧面后面),增加方向权重29,30g(),其表示为g() = + (1 - ) 1 + cos2 (3)其中为方向权重系数,取值范围是0,1; 为行人运动方向与他人对行人冲力方

11、向的夹角。因此改进后冲力为f = A exp (r - d)B + (1 - )(1 + cos2 )( )n(4)当行人间距离过大时,两行人间无影响,此时冲力应该为0,又冲量I = f t,可得最终冲量函数模型如下:I =A exp (r - d)B + (1 - )(1 + cos2 )( )nt,d 0。因果关系判断条件改进为表2所示。由表2可知,因果关系的不同是由变量x, y, z的正负值所决定的。742张旭光等:基于动量动力学模型的行人关系分析万方数据当仅仅考虑三个变量正负而不考虑大小的情况下,因果关系可以通过x, y, z所组成的三维空间坐标系来表达。表2基于动量动力学模型因果关系

12、判断表因果关系判定条件p0与ps-n是否同向I与p0是否同向ppre与ps-n是否同向导致x 0 z 0 y 0促进x 0 z 0 y 0阻碍x 0 z 0 y 0但是由于三维坐标系输出结果不方便观察因果关系的变化趋势,又考虑到平面直角坐标系可转化为极坐标表示。极坐标有两个参数,分别为极角及极径,其中极角的大小是与平面直角坐标系的4个象限相关联的。由于极角的值域为0, 360,可以将变量z作为极角的正负参数,x, y作为平面直角坐标系坐标,最终的极角值域为 -360, 360。三维坐标系转化为极角的具体过程如下所示:(1)参数归一化。夹角i(i = x, y)的取值范围为0, 180,由此可知

13、x和y的取值范围为t, 180 - t。可以看出此时x和y的取值范围是正负不对称的,正负值范围根据方向阈值t的变化而改变。根据公式x =xt x 0x180 - t x 0 (10)和公式y =yt y 0y180 - t y 0 (11)可以对x和y的取值归一化,使正负值范围相等。为了更加直观地表示因果关系识别的结果,本文采用因果值的概念,因果值的大小能够表示行人间因果关系的类别及变化趋势。具体计算方法如下式所示:1 =z arctan yx( )( ), x 0, y 0z 180 + arctan yx( )( ), x 0, y 0z ( - 180), x = 0, y 0z 180

14、, x = 0, y 0(12)z =- 1 z 0得到的1的值域为 -360, 360,为了表现得更直观,本文对1做了进一步处理,将其取值范围缩小到0, 360,从而获得因果值如下式所示: = 12 + 180 (13)3实验结果分析为了验证算法的有效性,拍摄具有代表性的视频,视频场景为室外,并由单一的摄像机固定在20m高度拍摄,相机为MV Capture v2. 2工业相机,所拍摄视频的帧速率为7.5fps,15fps和30fps,大小均为480 640像素。实验分析两个行人间的因果关系,分别为导致、促进和阻碍关系。3.1实验所用参数为了定量地表达行人间的因果关系,表3给出了不同因果关系与

15、因果值间的对应关系。表3因果关系与因果值因果关系导致315, 360阻碍225, 270不存在135, 225促进45, 90未定义其他四组实验参数取值如表4所示。842高技术通讯 2017年3月第27卷第3期万方数据黝。一卜V一卜j实验2：(b)黝沁，1 、i 1 、1 、：1第25帧 第50帧 第80帧第1帧 第30帧 第60帧 第100帧 零一羲羲FL眨表4实验参数参数A (N) B (m) frame-rate (fps) r (m) t (s) m (kg) t () l (m) h (f) s (f) n (f)1 2000 0.5 15 0.6 0.1 0.4 65 20 3.5

16、 200 50 152 2000 0.5 15 0.6 0.1 0.4 65 20 3.5 80 40 153 2000 0.5 7.5 0.6 0.1 0.4 65 20 3.5 100 30 84 2000 1.2 30 0.5 0.1 0.4 60 20 3.5 405 90 303.2因果值分析本文实验中实验了多组数据,现取出其中几个有代表性的视频序列展示本文方法的性能。实验所用视频序列为长度为h帧的小视频段,其中每s帧组成一个搜索窗口,在搜索窗口中实现本文所提出的算法,通过搜索窗口的平移得到h - s个数据即因果值。实验1的视频帧如图2(a)所示,在该视频中,行人与相对而行,当两人逐

17、渐接近而相遇时,行人受到的影响而转身反向。图3显示了因果值图2三组实验视频的帧图3实验1因果关系值942张旭光等:基于动量动力学模型的行人关系分析万方数据兀)坦咪函的计算结果,在155帧之前,行人受的影响十分微弱,其因果值分布在135 -225之间,即不存在因果关系,从156帧到173帧,计算结果表明其因果关系变为导致,此时行人与间距离很近,行人受到行人的影响开始转身后方跑,即初始动量、最终末动量、冲量以及预测末动量四者的关系符合导致关系;从174帧开始,依据因果值判定其相应的因果关系变为促进,是由于两行人变为追逐行为,行人的初始动量发生改变,与冲量及末动量的方向均保持一致,行人对行人的前进状

18、态起到的是促进的作用。实验2的场景可描述为:行人受到从身后追来的影响,加速前行,视频序列代表帧如图2(b)所示,深浅两种曲线分别为两目标行人的运动轨迹。相应的因果值如图4所示,可以看出,从第30帧开始,因果值减小到45 -90之间,所判定的因果关系为促进,即:初始动量与实际末动量同向、冲量与初始动量同向、预测末动量与实际末动量同向。所测得的因果值与真实值有两帧的误差,检测精度较高。图4实验2因果关系值实验3的相关视频帧如图2(c)所示,行人运动的过程是:行人和相向而行,相遇后交错继续前进。由图5可以看出,从第52帧到73帧,因果值位于255 -270之间,依据动量动力学因果模型可判定此时目标间

19、关系为阻碍,原因在于此时两目标距离较近且相向而行,受到的阻碍而减速行走,初始动量与实际末动量一致,但冲量与初始动量相反。图5实验3因果关系值在实验4中,利用更复杂的场景来验证本文提出的因果关系判定方法,实验中,分别判定目标行人与多个其他行人间的因果关系,相应视频帧如图6(a)所示,5条曲线分别为5个目标行人的运动轨迹。由动量动力学模型所测得的行人与其他4位行人间的因果值如图6(b)所示,图6(c)为实验4中4位行人与行人之间关系的真实值。实验4的过程表述如下:行人从场景右上方移动到左052高技术通讯 2017年3月第27卷第3期万方数据36031527022518013590450兀)坦咪函方

20、,行人1与行人相对而行,相遇后分离;行人2从场景右方跑向行人,使得行人被迫偏向场景的左方前进;行人3与行人4分别位于场景的右下方与左上方徘徊行走。在168帧之前,4条曲线全部位于135 -255之间,从169帧开始,行人1曲线的值为225 -270之间,此时行人1与实验目标间的因果关系为阻碍,直到第259帧,由于两行人交错分离,目标间不再存在因果关系。行人2从314帧到331帧,因果值为45,90与目标间因果关系为导致,从323帧到360帧,两者因果关系变为促进。行人4与行人3的因果值一直位于135 -225之间,与目标行人间不存在因果关系。(a)实验4相关视频帧(b)行人关系测量值(c)行人

21、关系实际值图6实验4结果分析3.3角度阈值t对因果关系判断的影响阈值t决定了是否同向的范围,因而t取值的变化会影响x, y, z的正负,进而影响因果值,影响因果关系的判断,本节对比分析不同角度阈值对实验四的影响。正如图7所示,当t取值为5时,检测错误率很高,行人2对目标行人的影响没有被正确检测出,行人1对目标行人的因果关系检测也存在较大误差。t取值为15和25时,即图7(b)、(c)所示曲线,因果关系检测效果基本相同,且结果准确。当t取值增大到30时,行人4与目标行人间的因果关系检测误差加大,且行人2对目标行人的因果作用有部分152张旭光等:基于动量动力学模型的行人关系分析万方数据360315

22、270三225趔180嵩13590450360315270三225趔180嵩13590450帧数(a)9+=5帧数(c)0+=25一卜一趔碟困3603152700 225趔180訾l，3；450帧数(b)9+=15帧数(d)9+=30导致关系被误识别为促进。总体来看t值过小或过大,都会增大检测结果的错误和误差,当t为15 -25时,因果关系识别较为准确,与图6(c)的真实值相比发现,角度阈值过小如取值为5时,因果关系检测有滞后现象,而当取值过大如30时,因果值检测结果有超前现象。图7不同阈值下实验4因果关系取值根据对数据的分析,我们得知造成以上结果的原因主要是当阈值取值过小时,两行人行走本来是

23、同向但由于跟踪曲线的波动导致方向偏差大于阈值,容易被误认为是不同方向。而当阈值过大时,本来不同的方向容易误检为相同方向。所以确定合适的阈值,对检测结果的正确性有重要的关系。本文四组实验中所选取的角度阈值为20,从对比实验看来,角度阈值选择范围可定在15 -25之间。4结论在行人行为分析领域中,将因果关系理论与行人行为相结合属于探索性研究课题。本文结合动量定理和社会力模型提出了动量动力学模型,用以描述行人间关系,克服现有模型难以对现实中行人关系量化描述的缺点,并将复杂的因果关系判定方法转化为因果值,从而使因果关系的识别更加直观和准确。通过与人眼所观测的真实值对比,4组实验结果均表现出了较高的识别

24、精度,与人眼判定结果基本吻合。为了分析方向阈值对行人间关系的影响,对角度阈值取不同值作对比实验,并分析了角度阈值变化对行人间关系检测造成的影响,结果表明角度阈值的选取以15 -25为宜。未来的研究主要是分析多目标间的传递关系,同时探索行人因果关系与异常行为分析相结合的可行性。参考文献 1 Johansson G, Visual motion perception. Scientific Ameri-can. 1975, 232(6):75-80, 85-88 2 Turaga P, R Chellappa, Subrahmanian VS,et al. Ma-chine recognition

25、 of human activities: A survey. IEEETransactions on Circuits & Systems for Video Technology,2008, 18(11): 1473-1488 3 Gavrila D M. The visual analysis of human movement: asurvey. Computer Vision and Image Understanding,1999, 73(1): 82-98 4 Ni B,Yan S, Kassim A. Recognizing human group activi-ties wi

26、th localized causalities. In: Proceedings of the In-ternational Conference on Computer Vision Pattern Recog-nition, Las Vegas, USA, 2009. 1470-1477 5李楠,张志敏.基于速度场简化的人群行为分析.高技术通讯, 2012, 22(5): 490-496 6 Talmy L. Force dynamics in language and cognition. Cog-nitive Science, 1988, 12: 49-100 7 Godfrey-s

27、mith P, Beebee H, Hitchcock C, et al. CausalPluralism, Oxford Handbook of Causation. Oxford: Ox-ford University Press, 2010. 326-337252高技术通讯 2017年3月第27卷第3期万方数据 8 Bird A. Causation and the manifestation of powers. Mi-nerva Pediatrica, 2010, 55(1): 9-10 9 Wolff P, Shepard J. Causation, touch, and the

28、percep-tion of force. The psychology of learning and motivation,2013, 58(58): 167-20210 Wolff P, Barbey A K. Causal reasoning with forces.Frontiers in human neuroscience, 2015, 9:1-2111 Wolff P. Representing verbs with force vectors. Theoreti-cal Linguistics, 2012, 38(3-4): 237-24812 Sloman S, Barbe

29、y A K, Hotaling J M. A causal modeltheory of the meaning of cause, enable, and prevent.Cognitive Science, 2009, 33(1): 21-5013 Wolff P, Zettergren M. A vector model of causal mean-ing. In: Proceedings of the 24th Annual Meeting of theCognitive Science Society, Mahwah, USA, 2002. 944-94914 Wolff P, S

30、ong G. Models of causation and the semanticsof causal verbs. Cognitive Psychology, 2003, 47 (3):276-33215 Barbey A K, Wolff P. Causal reasoning with forces.Frontiers in Human Neuroscience, 2015, 9:116 Woodward J. Causal perception and causal cognition. In:Roessler J, Lerman H, Eilan N ( eds. ), Perc

31、eption,Causation, and Objectivity. Oxford: Oxford UniversityPress, 201117 Mayrhofer R, Waldmann M R. Causal agency and theperception of force. Psychonomic bulletin & review,2016, 23(3): 789-79618 Barbey A K, Wolff P. Learning causal structure from rea-soning. In: Proceedings of the 29th Annual Meeti

32、ng ofthe Cognitive Science Society, 2007. 713-71819 Copley B, Wolff P, Shepard J. Force interaction in theexpression of causation. Semantics and Linguistic Theory,2016, 25: 433-45120 Croft W. Force dynamics and directed change in eventlexicalization and argument realization. Cognitive SciencePerspec

33、tives on Verb Representation and Processing, 2015.103-12921 Wolff P. Dynamics and the perception of causal events.Philosophy, 2008. 555-58722 Hurtienne J, Lffler D, Gadegast P, et al. Comparingpictorial and tangible notations of force image schemas.In: Proceedings of the 9th International Conference

34、 onTangible, Embedded and Embodied Interation, Stanfood,USA, 2015. 249-25623 Mehran R, Oyama A, Shah M. Abnormal crowd behaviordetection using social force model. In: Proceedings ofIEEE Conference on Computer Vision and Pattern Recog-nition, Miami, USA, 2009. 935-94224 Helbing D, Molnar P. Social fo

35、rce model for pedestriandynamics. Physical review E, 1995, 51(5): 428225 Yilmaz A, Javed O, Shah M. Object tracking: A survey.Acm computing surveys (CSUR), 2006, 38(4): 1326张鹏程,徐德.基于CAD模型的目标跟踪和定位算法研究.高技术通讯, 2014, 24(6):623-63127王前,胡彩波.一种基于相对固定增益的Kalman滤波信号跟踪算法.高技术通讯, 2015, 25(1):17-2328 Liu D J, Li

36、M Y, Shen L X. Experimental study on walk-ing gait of normal young people. Journal of University ofShanghai for Science and Technology, 2008, 30(1): 67-7129 Li S, Qian D, Luo Y. Microscopic dynamic simulationmodel for pedestrian at signalized intersection. Journal ofCentral South University, 2012,19

37、(11): 3351-336230 Hu Q M, Fang W N , Deng Y. Research on pedestrianmovements model based on social force. Journal of Sys-tem Simulation, 2009, 21(4): 977-980Analysis of pedestrian relationships based on momentum dynamics modelZhang Xuguang, Wu Gefei, Tang Yinggan(School of Electrical Engineering, Ya

38、nshan University, Qinghuangdao 066004)AbstractThe pedestrian behavior analysis and the pedestrian relationship study were conducted. In consideration of thestatus that most of the current contributions in the field of computer vision focus on the classification and identifica-tion of target behavior

39、s, while the distinguishment of causal relations between targets are less and the existing theo-ries can only describe the causal relationship between two targets in the field of psychology, a method based on themomentum dynamics model was proposed to recognize the causal relationship between two pe

40、destrians. The methodis described below: Firstly, a Cam shift algorithm is used for obtaining the positions of targets in a video. Then, amomentum dynamics model is employed based on the concept of causality to distinguish the causal relationship be-tween two pedestrians. Finally, the causal value i

41、s calculated. According to the range of causal value, causation,promotion and impediment, the three kinds of causal relationships between two pedestrians, can be gained. The ex-perimental results show that the proposed method can identify the causal relationship between two pedestrians underthe situation of video monitoring.Key words: video analysis, pedestrian behavior analysis, causal relationship, social force352张旭光等:基于动量动力学模型的行人关系分析万方数据