基于虚拟试验箱的康复手势识别算法研究-丁伟利.pdf

《基于虚拟试验箱的康复手势识别算法研究-丁伟利.pdf》由会员分享，可在线阅读，更多相关《基于虚拟试验箱的康复手势识别算法研究-丁伟利.pdf（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 doi:10.3772/ j. issn.1002-0470.2017.03.009基于虚拟试验箱的康复手势识别算法研究丁伟利 胡艳玲 申亚辉 刘洪海 (燕山大学电气工程学院秦皇岛市066004)( 上海交通大学机械与动力工程学院上海200240)摘要研究了基于自主研发的手部康复训练系统的康复手势识别方法。针对现有手势识别算法识别手势过于单一、不具备针对性的问题,通过对手部功能障碍患者的手部运动及控制力的分析,提出了一种新的基于虚拟试验箱的康复手势识别算法。该算法的核心是利用摄像头捕捉不同的康复手势,并通过辅助训练标志板来实现手和辅助康复器械定位。基于改进的形状上下文识别算法的处理器实现了康

2、复手势识别功能,并进一步控制虚拟场景中的物体做出相应的反应。该算法可以完成推、拉、悬垂、托举、二指捏等典型康复手势的准确识别,并与现有的手势识别算法进行了准确的对比。实验结果表明,该算法在识别率上有一定的提高,并且在识别的手势上更具有针对性。关键词虚拟康复,试验箱,手势,手势识别,识别算法0引言手是人类重要的器官,手功能损伤会严重影响人们的正常生活。手外伤和中风是引起手部功能障碍的主要原因,目前手功能恢复主要依赖于医护人员的训练或按摩。研究表明,及时进行正规的康复治疗对手部功能恢复十分重要。近年来,康复试验箱作为一种手部功能自主训练的康复辅助工具逐渐受到关注。然而现有的虚拟康复1-4手势辅助设

3、备均存在设计笨重、交互性差的问题。如2014年Su-car等人搭建的手势治疗上肢虚拟现实运动康复平台5,主要包括设计的专门控制器和3-D单目跟踪器。该系统价格昂贵且上肢硬件设备会使手臂患者在穿戴时有负重感,不利于康复训练。 Metcalf等人设计的家庭式上肢康复系统6,主要利用Kinect来捕捉手势的动作7,但系统仅能完成简单动作的识别,不具备专业的康复动作训练功能,且实时识别率仅为78%。现有的手势识别算法都有一定缺陷,如文献8提出的融合Hu矩与快速鲁棒特征的特征包( bag of features-speeded up robust feature, BoF-SURF)支持向量机(supp

4、ort vector machine,SVM)的手势识别算法,虽然识别速度比较快,实时性比较好,但是其采用Henssian矩阵获取图像局部极大值,在求主方向阶段太过于依赖局部区域像素的梯度方向,有可能找到的主方向不准确,导致特征点提取出现偏差,匹配不准确,最终使识别率下降;基于神经网络的手势识别算法9的识别效果比较好,它主要采用了复数矩(complex moment)来描述图像的特征,但是其计算复杂度比较高,识别速度较慢,实时性比较差;基于Krawtchouk矩的手势识别算法10,虽能对手势的旋转、平移、缩放的手势进行识别,在识别过程中鲁棒性比较高,但是仅以几何不变矩作为识别的特征,很容易丢失

5、手势的内部信息,这样会导致识别率比较低。162高技术通讯2017年第27卷第3期:261 268 中国国家留学生基金资助项目。女,1979年生,博士,副教授;研究方向:计算机视觉和虚拟康复;联系人,E-mail: weiye51 ysu. edu. cn(收稿日期:2016-10-14)万方数据针对以上问题,本文利用已发明的智能交互式虚拟康复系统11,提出了基于改进形状上下文的康复手势识别算法。该算法首先利用行扫描的方式获取手势最外部轮廓,然后通过曲率的极值点来提取特征点,并利用形状上下文对特征点进行描述。最后,利用基于时间序列的匹配方法对特征点进行匹配。实验结果表明,本文算法较现有算法,在康

6、复手势上具有较高的识别率。1相关工作1.1康复手势采集系统硬件介绍如图1所示,康复试验箱的箱体分为相互铰接的并且开合角度能调节的上箱体和下箱体,显示屏镶嵌在上箱体中间部位。液晶显示屏驱动板镶嵌在上箱体内部。摄像头支架通过螺丝固定在上箱体外壳上,其位置可以在三维空间调整,以获得最佳的采集图像。支架不使用时,可以折叠后放入上部支撑板预留的槽内;摄像头固定在摄像头支架上,通过信号线与控制处理器连接,用于图像捕获。下箱体由挡板分成左右两部分,音箱镶嵌在下箱体靠前面面板内,右部底部嵌入和箱体内部大小相同的电子器件支撑板,用于固定处理器、电源模块和散热风扇;下箱体右部顶部镶嵌翻盖面板,左部顶部镶嵌可拆卸的

7、多功能辅助康复标志板,用于辅助虚拟游戏进行康复训练。下箱体右部侧面板分别布置4个USB图1虚拟康复试验箱接口和电源接口,用于连接外部电源、键盘、鼠标和摄像头等设备。下箱体挡板左侧用于放置辅助康复工具。1.2建立康复手势数据库为了实现康复手势的训练,本文针对常用的康复手势,建立了典型的康复手势数据库。如图2所示,本文定义了7种康复手势,依次是悬垂、托举、二指捏、击打、柱状抓握、勾拉、侧捏。建立数据库过程:采集三个年龄段的人群分别是50岁以上的老人,10到50岁的中少年,10岁以下的小孩,其中老人20组140张,中少年40组280张,小孩10组70张,一共拍摄了70组数据,共490张手势图片。采集

8、图片的大小是306 306,采集样本条件是室内正常光照,采集手势对象的男女比例均衡。图2康复手势2形状上下文的康复手势识别算法2.1手势图像外部轮廓提取首先通过摄像头来获取手势图像,对手势原图进行灰度化,其次获取图像的边缘信息。本文采用的是经典的canny边缘提取,有效地获取图像的边缘信息,但是在处理手势图像的过程中主要用到的是手势最外部的轮廓信息。算法具体过程如下:图像在经过canny边缘检测之后得到边缘图像,本文采用行扫描方法,假设图像的尺寸是M N。首先,从图像的M - 1行和N -1列的像素点开始扫描,从右向左当遇到某一点的像素值为255时,停止扫描这一行,此时保存的点就是最外部轮廓上

9、的点。然后依次扫描下一行,获得一个有序的点集,定义为a = a1, a2, ,am。262高技术通讯 2017年3月第27卷第3期万方数据其次,从图像的0行和0列的像素点开始扫描,从左向右当遇到某一点的像素值为255时,停止扫描,并保存这一点,然后依次扫描下一行,进而获得另一半有序的点集定义为b = b1, b2, ,bn。最后,把点集a和点集b按照首尾相连的方式,组合成点集c = a1, a2, , am, b1, b2, , a1。最后的连接加了一个点a1,主要是因为首尾点之间可能是直线,加入此点可以使点集c最终形成一个闭合的轮廓。图3是根据图2所提取的康复手势的外部轮廓。图3康复手势轮廓

10、2.2手势轮廓特征点提取本文提出了基于曲线局部结构的主元素分析的方法,利用局部结构协方差矩阵的特征根来估计曲率,把曲率的极值点记为本文的特征点,曲率的计算方式如下:给定任意曲线,根据微分几何定理,以弧长表示曲线S: r = r(s), S则在一点pi = r(s0)的邻近结构利用泰勒公式展开后,结合伏雷内公式可得r(s0 + s) - r(s0) = s + 16 ( - 2 + 1)s3 + 12 s2 + 16 ( + 2s3) (1)式中,为平面曲线伏雷内标架的基本正交向量;为曲率, 为的导数; 1,2为微小量。 s为局部曲线弧长,则取r(s0)为直角坐标系原点,以,为坐标系基向量,在r

11、(s0)点邻近曲线的近似方程为y = 2 x2, ( 0)y = 6 , ( = 0, 0)y = kx, ( = 0, = 0) (2)式(2)表明,曲线一点的邻域结构可以近似为抛物线或直线。根据主元素的分析理论,本文进一步将曲线离散化,并标记为Si = pj = (xij, yij), j= 1,2, ,mi,i = 1, ,n,其中n为曲线上离散点的个数。曲线上的任一点记为pj(xij, yij),以pj为中心,定义其h邻域内曲线离散点组成的点集为Sij= pj | i - h j i + h,则Sij的协方差矩阵C可表示为12C = c11 c12c21 c22 (3)其中: c11

12、= 1mmi =1x2i - c2x, c22 = 1mmi =1y2i - c2y, c12 =c21 = 1mmi =1xi yi - cx cy, cx = 1mmi =1xi, cy =1mmi =1yi, m = 2h + 1。由式(3)可知,矩阵C的特征根为13i = 12 c11 + c22 (c11 - c22)2 + 4c212 (4)其中i是Si组成的协方差矩阵的特征根。根据文献11的结论,如果Si的最小特征根的值为零,则表示Si内所有的点在同一条直线上12。在本文中,我们用特征根的乘积来估计曲率12-14,最后根据取得的各个离散线段的曲率值求其每条线段的极值点作为特征点,

13、因为我们在提取手势轮廓时得到的最外部轮廓点集c是有序的,所以获得的特征点集p= p1, p2, , pn也是按照轮廓点集c的顺序排列的,其中的pn表示提取特征点的坐标值。提取的图2康复手势轮廓的特征点图如图4所示。图4手势轮廓特征点362丁伟利等:基于虚拟试验箱的康复手势识别算法研究万方数据(a)两个点集最佳匹配点fbl两个点集的误匹配情况2.3匹配算法当两个轮廓上的特征点集进行相似性度量时,不可避免地要对每一个点的特征进行描述。一方面,对于两个特征点集中的特征点来说,应该存在最佳匹配点。另一方面,相对两个特征点集来讲,它们存在一种使cost值最小的匹配方式。然而,原来的形状上下文识别算法15

14、在对应点匹配的过程中,并未考虑时间这一属性,因此,本文提出了一种基于时间序列的匹配方式。本文借鉴形状上下文的思想对特征点进行描述,先提取特征向量,然后进行相似性度量。为了便于计算特征和节约存储空间,在特征提取的过程中,本文用曲率这一属性来提取关键点。这种存储特征点的方式,不仅隐含了时间序列这一属性,而且局部结构的信息用每一个点的坐标值表示。根据形状上下文的思想在对点集进行特征描述时,主要采用的是点与点之间的相对距离和角度的信息,使局部的特征显现出来。形状上下文描述的具体步骤如下:(1)首先提取轮廓的关键点。这样可以更加有效地表示图像的形状信息并且减少了计算量,这一点我们已经通过计算线段曲率的极

15、值点获得。(2)在特征点s = pin1的集合中,计算任意一点pi与其余的n - 1个点的相对位置关系 距离和角度。(3)描述相对角度。将一个圆周2分成N份,这样每一组点与点之间的相对角度便对应地落在其中的角度分格中。(4)描述相对距离。本文所需要的是对局部特征的描述,因此,距离比较远的点之间的关系描述,不但会影响识别结果,而且还会增加算法实物计算量。因此采用局部特征描述的方法。首先计算出所有点的平均值dmean。当两个点之间的距离大于2倍的dmean时便舍去该点。并且用对该点进行特征描述。此外,将距离dmean 2分成D份。那么轮廓上的N个特征点就会存在一个N D维的特征向量。(5)通过以上

16、几步,可以得到图像上的任意一个特征点pi在整个形状中与其余n - 1个点的相对关系。本文把pi与其余n - 1个点之间的距离和角度的关系定义为描述pi点的特征向量,特征向量表示了pi在整个图像中的结构属性。为了描绘完整的形状,可以把S中每个点的属性描述成上述的一组向量。最终会得到一个n行N D列的特征矩阵。2.4手势识别本研究把提取的两个特征点集的特征矩阵进行匹配,实际上这是一个基于时间序列进行特征点一一对应寻优的过程。假设经过上述计算,两个特征点集中分别有M和N个特征点。每个特征点都有一个包含其属性的特征向量。通过计算两两特征向量的欧式距离得到一个M N的相似度矩阵。当找到最小值的点后,再选

17、取与最小值相差不到10%的点。这些点和最小值点均作为相似的匹配点。由于点是服从时间序列的,当这些匹配上时,别的点的对应区间也便随之确定。然后依次遍历在这些区间内的每一种情况,得出最小的一种对应方式作为匹配结果。图5是特征点的匹配示意图。图5特征点的匹配示意图如图5(a)所示,圆形表示为两个点集合的最佳匹配点。则两个点集被最佳匹配点分成了星形和三角形两个部分。由于动作是服从时间序列的,所以一个点的星形部分只能与另一个点的星形部分进行匹配。不会出现如图5(b)所示,不同形状的部分进行匹配的情况。因此,以图5(a)为例,两条曲线的星形部分共有C26种匹配方式。同样,三角形部分有C23种匹配方式。在这

18、些匹配方式中,距离最小的一组和最优匹配点即为最终的匹配结果。462高技术通讯 2017年3月第27卷第3期万方数据77广j101】12L乡亭；3p8氕|611 5r 4 3-：，2图6所示为手势特征点的匹配图。左图手势特征点的个数为M = 12,右图特征点的个数N = 13,所以两幅图像特征点之间会有C1213种匹配对应的方图6手势特征点的匹配图式。两幅图的标号表示当时储存特征点的顺序,设p为左图点的集合,q为右图点的集合,Q为C1213种匹配点集合,则Q = q1, q2, , q12。由表1可知,采用最小的(p, q7)作为匹配点集,由式(5)得到相似度的值为1.5823。所得结果为res

19、ult = 1n n1d (5)其中, d为对应点之间的距离。 n为匹配点的个数。图2中的7个手势作为本文选取的模板图片,定义为a1, a2, , a7,随机选取一组样本的手势定义为b1, b2, , b7,由表2模板与随机样本的匹配数据可以知道(a1, b1), (a2, b2), (a3,b3), (a4, b4)(a5, b5), (a6, b6), (a7, b7),之间的相似度的值最小,至此模板与随机样本手势之间的匹配过程完成,因此识别过程完成。表1匹配点之间的距离q1 q2 q3 q4 q3 q3 q7 q3 q9 q10 q11 q12 q13p 4.1757 3.7296 3.

20、4601 3.0255 2.9490 1.9833 1.5823 1.2398 1.2736 1.6899 1.8401 2.5935 3.0625表2模板和随机样本的匹配数据a1 a2 a3 a4 a5 a6 a7b1 0.8044 1.5065 1.9237 4.8564 3.0267 3.6007 2.8704b2 1.2208 0.7686 2.5559 2.5179 6.2845 0.9571 4.6728b3 3.5830 4.3692 0.6477 4.6930 6.5814 3.9967 2.9097b4 3.6517 3.3334 4.2127 0.8302 4.4495 1

21、.45525 2.78856b5 2.8064 2.7973 3.4934 2.3223 1.0337 1.68157 4.1360b6 3.5749 4.5470 5.2105 2.0992 5.8260 0.9612 2.0998b7 4.1803 3.8733 2.6096 5.9675 5.0703 2.5029 1.31023实验3.1实验结果本文采用了基于改进的形状上下文识别算法实现康复手势的识别功能,利用高清晰摄像头来采取手势样本。通过每次采取一组(7个手势)样本与模板手势进行匹配实验,共采集70组实验数据,490张手势图片。如表3所示是手势的识别结果。实验仿真平台的硬件环境为:

22、ADM Athlon(tm) X2250 Processor 3.00GHz,内存4G;软件开发环境为:表3康复手势的识别率手势类型识别数量未识别数量识别率悬垂64 6 92%托举63 7 91%勾拉61 9 87%侧捏60 10 86%击打60 10 86%柱状抓握61 9 87%二指捏59 11 85%562丁伟利等:基于虚拟试验箱的康复手势识别算法研究万方数据Win7操作系统,OpenCV及VS2010。实验所采用的图片来自罗技(Logitech) C170高清晰网络摄像头采集的数据集的实拍图像。3.2实验对比和分析图7所示为算法识别率对比曲线图。如图所示,本文算法与融Hu矩与BoF-S

23、URF支持向量机的识别算法8、基于神经网络的手势识别算法9以及图7算法识别率对比曲线图Krawtchouk矩的识别算法10进行了对比,可知本文算法的识别率高于其他三个识别率算法。与文献8和文献10比较,本文算法在侧捏和击打手势上有明显的优势。在康复训练的过程中,主要是通过做游戏进行交互动作来训练患者的手部。因此,为了验证本文算法的识别结果,选择了5种小游戏做测试。如表4所示,在识别的过程中统计了10组样本在游戏中手势的识别率。由图8游戏的识别界面可知,界面中所显示的是悬垂的手势,在程序中定义为0,当手势被识别出来会触发向下移动的指令,从而完成游戏中手势识别的过程。表4几种游戏识别的准确率游戏类

24、型测试数量识别数量准确率推箱子10 9 90%迷宫10 8 80%倾斜滚球10 8 80%打飞机10 7 70%数字游戏10 8 80%图8手势识别的游戏界面为了验证本文算法针对康复手势有一定的时效性,统计了几种算法对单幅图像的平均识别时间。所计算的时间包括特征提取、量化及识别过程。如表5所示,本文算法比文献9的神经网络算法有一定的优势,与其余两种算法相比速度稍慢。但是在进行的小游戏测试的识别率上,由表4和图7综合考虑,本文提出算法的准确率比较高。对于康复手势识别这一具体任务而言,由于患者在康复过程662高技术通讯 2017年3月第27卷第3期万方数据中,主要以训练对各种手势的控制能力为主。因

25、此,训练过程中患者对动作的保持时间越长越好。鉴于此,本文算法虽然运行速度略慢,但其在识别准确率方面的优势却高于其它算法。表5算法的平均识别时间算法运行时间(s)本文算法1.032神经网络1.970Hu矩与BoF-SURF支持向量机0.843Krawtchouk矩0.1584结论随着社会对康复治疗需求的逐年增长以及虚拟康复技术的迅速发展,对于康复手势的研究应逐渐引起人们的重视。本文主要是对康复手势的识别,与现有的手势识别算法在识别的手势类型上有一定的区别;现有的识别算法仅是针对简单数字的识别,所以本文研究的手势更具有一定的意义,它对以后的康复治疗会有一定的影响。因此,康复手势是本文的一个创新点。

26、在硬件方面我们做了更加便于患者进行康复训练的便携式试验箱,并且通过试验结果证明,康复手势在基于试验箱的康复训练系统上具有可行性,这样更加有利于患者进行康复训练。下一步的工作是对算法进行优化,进一步提高算法的运行速度,把识别的算法转化到动态的手势上,设计一些更加复杂并且有利于上肢手部损伤患者的小游戏,这样可以增加训练的趣味性,让患者达到更好的康复目的,并且扩大算法的应用领域。参考文献 1 Stone R J, Small C, Knight J F, et al. Virtual naturalenvironments for restoration & rehabilitation in he

27、alth-care. In:Virtual,Augmented Reality and Serious Gamesfor Healthcare, Berlin: Heidelberg, 2014. 497-521 2 Cameiro M S, Faria A L, Paulino T, et al. The impactof positive, negative and neutral stimuli in a virtual real-ity cognitive-motor rehabilitation task: a pilot study withstroke patients. Jou

28、rnal of Neuroengineering & Rehabili-tation, 2016, 13(1):70 3 Tsoupikova D, Stoykov N S, Corrigan M, et al. Virtualimmersion for post-stroke hand rehabilitation therapy. An-nals of Biomedical Engineering, 2015, 43(2): 467-77 4刘修泉,马妍,宋爱国.基于物联网远程控制的上肢康复机器人系统研究.高技术通讯, 2015, 25(1): 82-88 5 Sucar L E, Ori

29、huela-Espina F, Velazquez R L, et al.Gesture therapy: an upper limb virtual reality-based mo-tor rehabilitation platform. IEEE Transactions on NeuralSystems & Rehabilitation Engineering, 2013, 22 (3):634-643 6 Metcalf C D, Robinson R, Malpass A J, et al. Marker-less motion capture and measurement of

30、 hand kinematics:validation and application to home-based upper limb reha-bilitation. IEEE Transactions on Bio-medical Engineer-ing, 2013, 60(8): 2184-2192 7 Yao Y, Fu Y. Contour model-based hand-gesture recogni-tion using the Kinect sensor. IEEE Transactions on Cir-cuits & Systems for Video Technol

31、ogy, 2014, 24(11):1935-1944 8隋云衡,郭元术.融合Hu矩与BoF-SURF支持向量机的手势识别.计算机应用研究, 2014, 31(3):953-95 9 Hasan H, Abdul-Kareem S. Static hand gesture recogni-tion using neural networks. Artificial Intelligence Review,2014, 41(2):147-18110 Liu S, Liu Y, Yu J, et al. A static hand gesture recogni-tion algorithm ba

32、sed on Krawtchouk moments. In:Pro-ceedings of Chinese Conference on Pattern Recognition,Changsha,China,2014.321-33011丁伟利.一种基于手势交互的便携式手部虚拟康复实验箱及方法,中国专利, 104898837. 201512朱书华.基于边缘方向的物体特征识别算法研究及其应用:硕士学位论文.秦皇岛:燕山大学电气工程学院, 2012. 513 Platz T, Denzler P, Kaden B, et al. Motor learning afterrecovery from he

33、miparesis. Biological cybernetics, 1994,32(10): 1209-122314 Todorov E, Jordan M I. Smoothness maximization along apredefined path accurately predicts the speed pro-files ofcomplex arm movements. Journal of Neuro-physiology,1998, 80(2): 696-71415 Belongie S J, Malik J, Puzicha J. Shape matching andob

34、ject recognition using shape contexts. IEEE Transac-tions on Pattern Analysis & Machine Intelligence, 2010,24(4):509-522762丁伟利等:基于虚拟试验箱的康复手势识别算法研究万方数据Research on an algorithm for hand gesture recognitionbased on virtual experiment boxDing Weili , Hu Yanling , Shen Yahui , Liu Honghai ( Department of

35、 Electrical Engineering, Yanshan University, Qinhuangdao 066004)( School of Mechanical and Power Engineering, Shanghai Jiaotong University, Shanghai 200240)AbstractThe hand gesture recognition method based on an independently developed hand rehabilitation training systemwas studied, and a new rehabi

36、litation gesture recognition algorithm based on virtual test box was proposed throughthe analysis of the hand movement and control of the patients with hand dysfunction to overcome existing algo-rithms problems of too simple and without pertinence. The core of the algorithm is using a camera to capt

37、ure dif-ferent gestures and achieve the location of hands and rehabilitation equipment with an auxiliary marker board. Theprocessor of the algorithm based on improved shape context recognition can achieve the rehabilitation gesture recog-nition, and control the virtual scene in the object to make th

38、e corresponding response. The algorithm can currentlydistinguish the gestures of push, pull, drape, lifting and two finger pinch and compare the recognition with the ex-isting algorithms. The experiment results show that the proposed algorithm can improve the recognition rate and ismore targeted in gesture recognition.Key words: virtual rehabilitation, test box, gesture, hand gesture recognition, recognition algorithm862高技术通讯 2017年3月第27卷第3期万方数据