基于改进的ycbcr空间及多特征融合的手势识别-薛俊韬.pdf

《基于改进的ycbcr空间及多特征融合的手势识别-薛俊韬.pdf》由会员分享，可在线阅读，更多相关《基于改进的ycbcr空间及多特征融合的手势识别-薛俊韬.pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第33卷第1期2016年1月计算机应用与软件Computer Applications and SoftwareV0133 No1Jan2016基于改进的YCbCr空间及多特征融合的手势识别薛俊韬纵蕴瑞杨正瓴(天津大学电气与自动化工程学院天津300072)摘要 针对基于视觉的手势识别的复杂性，提出一种基于改进的YCbCr空间及多特征融合的手势识别新方法。首先针对YCbCr颜色空间易受环境因素影响的特点，采用改进的YCbCr椭圆聚类肤色模型的手势分割方法提取手势区域；然后按手势图像外接矩形的宽高比和手指个数进行粗分类，再提取手势的Hu矩和傅里叶描述子构建融合特征，并将融合特征输入BP神经网络进行

2、训练识别；最后综合粗分类和BP神经网络的结果进行手势判别。实验结果表明，该方法在保证实时性的同时具有较高的识别率。关键词 手势识别 YCbCr颜色空间Hu矩傅里叶描述子BP神经网络中图分类号TP391 文献标识码A DOI：103969jissn1000-386x201601039GESTURE RECoGNITIoN BASED oN耶衄PRoVED YCBCR SPACE ANDn7I。TIFEATURE矾TEGRATIoNXue Juntao Zong Yunrui Yang Zhengling(School ofElectrical andAutomation Engineering，

3、Tianjin Univers蚵，Tianjin 300072，China)Al塔traet Because of the complexity of visionbased hand gesture recognition，we presented a novel hand gesture recognition algorithmwhich is based on improved YCbCr space and multi-feature integrationFirstly，considering the characteristic that YCbCr colour space i

4、sprone to the influence of environmental factorsthe algorithm adopts the improved hand gesture segmentation method using YCbCr ellipticclustering skin colour model to extract hand gesture regionThen it makes initial classification according to the aspect ratio of envelop陀c劬de of hand gesture image a

5、nd the number of fingers，and extracts Hu moment and Fourier descriptor of hand gesture to build integrationfeatures，which are put into BP neural network for training and recognitionFinally the results of the initial classification and BP neuralnetwork are combined for hand gesture recognitionExperim

6、ental msults showed that the proposed method could enfllllthe realtimeperformances while getting a quite higher recognition rateKeywords Hand gesture recognition YCbCr colour space Hu moment Fourier descriptors BP neural network0引 言手势识别作为人机交互中对使用者限制最小的一种方式，正越来越受到计算机视觉研究者的关注。手势的多样性、多义性，时间和空间差异性，以及视觉本

7、身的不稳定性，使得建立基于视觉的手势识别系统是一个极富挑战性的课题。手势识别主要由图像分割、特征提取和识别等部分组成。手势分割是手势识别的基础，它处理的好坏直接影响到后续的特征提取和识别效果。由于肤色具有很好的特征，目前很多分割方法基于肤色聚类特性H J，运用颜色信息得到完整的手部区域。但光照条件的变化、前景和背景中类肤色区域的干扰等，都会使得分割效果不理想。最简单的方法是外加种种限制，如要求背景使用某种特定的颜色，虽然明显提高了分割效果，但这样不利于实际应用。手势特征选择与提取是手势识别的难点。文献3提取了手势边缘特征像素点，计算量小，但未考虑手势旋转、缩放、肤色干扰时的识别。文献4利用图像

8、的密度分布特征实现二值图像的检索识别，但无法识别区分度较小的手势。由于Hu矩和傅里叶描述子能准确地描述手势且具有平移、旋转和缩放不变性，因此在目标识别中具有广泛的应用。殷涛等。利用Hu矩对四十个静态手势进行识别研究，取得了较高的识别率，但对手势图片要求较高，图片光线复杂或者手势拍摄角度不佳等干扰对于判定结果的影响较大。Helm等旧1利用傅里叶描述子和BP神经网络结合的方法对四个简单手势进行识别研究，可以获得比较高的识别率，但是对于局部相似度较高的手势，识别结果仍然差强人意，难以对更加丰富复杂的手势库进行识别。可见单独应用Hu矩和傅里叶描述子特征进行手势识别难以取得完善的效果。针对上述问题，本文

9、首先采用基于改进的YCbCr颜色空间的手势分割方法，实现了复杂和多变背景下的有效分割。然后在分割图像上寻找有表征意义的结构特征对手势进行粗分类，将可能的手势限定在某一范围之内；再提取Hu矩和傅里叶描述子构建具有平移、旋转、缩放不变性特点的融合特征，并利用收稿El期：2014061l。天津市科技支撑计划重点项目(IOZCKFSFOll00)；天津市科技型中小企业刨新基金项目(13ZXCXGX40400)。薛俊韬，副教授，主研领域：图像处理，智能信息处理，智能仪器，模式识别应用。纵蕴瑞，硕士生。杨正瓴，副教授。万方数据152 计算机应用与软件 2016正融合特征训练BP神经网络作为精细分类器。最后

10、综合粗分类和BP神经网络的结果判别手势，流程如图1所示，取得了较高的识别率。( 开始 )+加载图片预处理得到外部轮廓 Hu矩 l傅罩叶描述子| 粗分类+1 BP神经网络l通过BP神经网络结果对粗分类结果进行可能性捧序取可能性最高的结果( 结束 )图1流程图1手势区域的分割11 常用颜色空间的肤色分割肤色很明显区别于大多数的背景颜色，在颜色空间中将形成一个小而紧致的聚簇。对于肤色聚类方法，关键一步是选择合适的颜色空间。不同颜色空间的肤色分布状态各不相同，为了分割出较准确的手势图像，必须选择最理想的颜色空问作为手势分割的肤色空间。目前常用的颜色空间主要有RGB、HSV和YCbCr三种。RGB空间是

11、用于显示和保存彩色图像最常用的颜色空间，R、G和曰分别代表人类视觉的红、绿和蓝三基色。但由于R、G和B三个分量中均含有亮度信息，相互之间存在相关性，用于肤色检测时其亮度适应性不够理想悼1，不适合进行肤色分割，故需要利用线性或非线性变换将其转化到其他颜色空间。HSV空间用色调日、饱和度S和亮度y描述颜色信息，与人类的颜色视觉有很好的一致性。彩色分量日、S和y是由R、G和曰经过非线性变换得到，有效地将亮度与反映色彩本质特性的色调和饱和度分开，因此可以只使用色度分量进行肤色检测，但由于计算复杂度较高，一般不用于实时的图像处理。同时，样本肤色点在HSV空间中聚集不紧密，进行肤色分割时环境适应性不强。Y

12、CbCr空间可以将亮度信号y和色度信号c6、cr分离，受亮度影响较小，故当亮度变化不大时，亮度y的影响可忽略，通常当C6和cr满足：133Cr173，77Cb127时，则认为是肤色区域。且YCbCr是由RGB线性变换得到，计算效率高，避免了非线性空间的奇异性。同时，基于YCbCr空间的肤色聚类特性较好一J。综上可知，YChCr适合作为手势分割的颜色空间。图2为在HSV和YCbCr空间下提取的手势。由图可知，在HSV空间中手势分割效果较差，尤其背景中存在类肤色区域时几乎无法区分手势与背景。而在YCbCr空间下分割效果较好，有效去除了前景及背景中的类肤色区域。12改进的YCbCr的手势分割前面的分

13、割结果表明，YCbCr能较好地限制肤色的分布区域，适合进行肤色分割。但由于YCbCr是RGB线性变换得到，因此亮度分量并非完全与色度信息独立，即当y值大小不同时，cbcr子平面上的肤色聚类区域也不同。所以不能简单地忽略亮度，必须考虑y值不同造成的影响。ReinLien Hsu【l 0J等提出了一种在非线性变换的YCbCr空间上采用椭圆模型来描述肤色分布，以消除色度对光照的依赖性，并将其应用于人脸检测，取得了较好的效果。本文将该非线性变换方法应用到手势分割，根据色度分量随y的变化情况，用四个边界来限制肤色聚类区域，有效避免了高亮度区域和低亮度区域中肤色点误判问题，改善了肤色模型的鲁棒性。经过分段

14、非线性变换后的彩色空间用YCbCr表示，转换公式为：C“y)=f坚丛羔铲+虿(K)其他(1)i(y)=I 睨(y) “一” 。 ()【 C。(，) YK，蚝式中，i的值是b或者r，影是色度分量的变换权值，ci(1，)是色度分量的中心值，分别表示为：f WL。+耽i(y)：J【WHoi+f 108+讯y)：J108+L(YY。；。)(彤。一WL。)KfY(Ym。一Y)(WciWHc。)Y一Kh(KlY)(118108)Kym。(YKh)(118108)ym。一K(K，一Y)(154144)KfY(YKh)(154132)ym。一YKhyKhYK文献10中参数取值如下：Kl=125，K。=188，

15、ymi。=16，Ym。=235，Wc6=4679，WL曲=23，WH。6=14，耽，=3876，WLo，=20，WHo，=10，在此空间中，肤色亮度、蓝色色度和红色色度均独立，相互之间没有影响。cbcr空间肤色模型满足以C6(Y)，Cr(Y)为坐标轴，(10938，15202)为中心，长轴为2539、短轴为1403，与坐标轴不平行的椭圆，将其平移旋转变换为标准椭圆：!苎二!：鱼Q 2：+(!二兰：兰!)：=1 f s、25392 14032 7该模型建模简单，消除了色度对亮度的依赖关系，仅通过计算像素点是否落在椭圆区域范围内来区分肤色与非肤色，计算速度快，同时检测精度较高。+4455ll，_J

16、【lI_【=、，y，Lq万方数据第1期 薛俊韬等：基于改进的YCbCr空间及多特征融合的手势识别 153对同一图像的YCbCr及改进的YCbCr空间的分割结果如图3所示。结果表明，相比YCbCr分割方法，改进的YCbCr在复杂的环境下能很好地分割出手势，环境适应性强。 -_盥巴巴一日口2手势特征提取21手势的结构特征手势结构特征即指手势中手指与手指、手指与手掌等存在的某种几何关联关系与结构，这种特征一般都比较直观明显，例如手指个数、手势中是否包含大拇指及手势的伸展方向等。综合考虑结构特征分类效果和特征提取复杂度，最后选取手势的外接矩形宽高比例和手指的个数作为粗分类的标准。手势的外接矩形能较好的

17、表述手势的空间相位特征且提取简单，提取结果如图4所示。通过外接矩形的宽高比可以将一些旋转后相似的手势区分开，例如手指语字母E和P。通过统计分析手势的外形特征，本文将外接矩形的宽高比的大小分为小于08、介于08和12之间、大于12三个等次。图4手势轮廓及外接矩形提取效果图研究中图像手指个数检测通常采用穿透法，在轮廓图像中自下而上，自左而右逐行逐列扫描图像，记录每行和每列中轮廓点的个数ttumi、numEj(012 G、R、NG F、Z E、ZH22傅里叶描述子傅里叶描述子是图像边缘信息频域分析的结果，能够很好地描述轮廓。提取傅里叶描述子时假定手势轮廓是一条封闭的曲线1，那么边界上的像素点序列为：

18、z(k)，Y(k)；J|=0，1，K一1 (7)用复数形式表示为：s(k)=菇(k)+Jy(k) (8)这样，边界就可以在一维空间上表示。边界的一维离散傅里叶系数序列定义为：z()：专s(z)e芹k=0“1一，K一1 (9)“西其中，z(k)即为傅里叶描述子。为了使描述子具有平移、缩放、旋转的不变性，需对傅里叶描述子进行归一化，得到归一化后的傅里叶描述子： m)=黼(10)其中，z(o)代表图像轮廓的质心，一般难以用作识别特征。除z(o)外的系数经过归一化后都具有旋转、平移和尺度不变性，并且与曲线起始位置无关。d(0)不采用，若归一化后d(1)=1，识别作用不大，也不采用。由于傅里叶系数的低频

19、分量对应手势的整体轮廓，高频分量刻画了外形的细节，高频分量对目标识别有帮助，但是作用并不是很大，并且随着系数的增大，快速地衰减。将傅里叶描述子的幅值定义为所代表的能量。图5中，横轴代表除d(O)和d(1)以外采用的傅里叶系数个数，纵轴代表这些系数的总能量占除d(O)和d(1)外的所有系数总能量的比值。可以看出，当傅里叶系数的个数达到8时，傅里叶系数累计能量比均达到99以上，并且随着傅里叶系数个数的增加，累计能量比变得平稳。所以仅选择傅里叶描述子除d(0)和d(1)外的前八个系数作为描述手势的特征。图5傅里叶系数能量比分布图万方数据154 计算机应用与软件 2016丘23 Hu矩手势图像的矩是用

20、所有属于手势区域内的像素点计算出来的，因此受噪声影响较小。此外，不论目标是否封闭，都能较好地识别目标。对于数字图像，八戈，y)是像素点(并，y)的灰度值，相应的P+q阶矩为“：=以戈，y)矿y9 p,q=o，1，2， (11)z V相应的阶p+q中心距为”1：=以戈，y)(x一茗。)9(y一)4 (12)z y其中(茗。，)是目标图像区域的灰度质心，z。=m。，=moI，no中心矩是平移不变的。为了得到尺度不变性，对其进行尺度规范化，得到具有图像平移与缩放不变的矩：过Hu矩得到的七个特征为：M，鸭，鸠，由于特征量并不大，可以采用特征级融合中最简单的串行方式进行特征融合，则需要输入到神经网络的特

21、征C为：C=d。，d2，d8，MI，M2，鸩 (21)当融合的两种特征的维数或者量纲相差太大时，直接拼接会出现不平衡的现象，维数小、数值小的特征在融合中贡献小，甚至有可能被忽略，可以通过特征归一化或者对变量进行加权来减小这一问题的影响。因此本文将特征向量变换为：C=dl，矗d2，d8，MI，如，JjIf7 (22)式中，为需要确定的权值，可由下式计算确定：m 8 m 7(lI)=(Z I蟛I) (23)式中m为训练的样本数，为第i个样本的第，个傅里叶描述子特征。M：为第i个样本的第J个Hu矩特征。7。=争r=学+l p+g=2,3， (13) 3 实验结果及分析一 2 一。MKHu首先应用代数

22、不变矩理论，对规范化的中心矩进行非线性组合，构造出以下7个大小，平移和旋转不变性的Hu不变矩。gI=叼20+叼02 (14)M2=(叼20一町02)2+4叼矗 (15)M3=(町303卵12)2+(3叼2l一叩03)2 (16)M4=(可30+町12)2+(172l+叼03)2 (17)地=(叩303叼12)(叼30+田12)(730+叼12)23(叩2l+叩12)2+3(叼2I一可03)(72l+703)3(叩30+田。2)2一(72I+叩)2 (18)M6=(叼如一叼02)(叩30+叼12)2一(叶2l+叶)2+4叼lI(叼30+，712)(叼2l+田03) (19)M7=(3n2I一叼0

23、3)(叼2l+叼03)3(730+712)2一(叼2l+卵03)2一(叼303，712)(叩2l+町03)3(叼30+田12)2一(叩2l+叼03)2 (20)由于Hu不变矩概念简单、识别率稳定，并且具有缩放、平移和旋转不变性，故被广泛地应用在图像识别的特征提取中。基于此本文选择Hu矩作为手势识别的特征。部分手势的Hu矩计算结果如表2所示。表2 HulH叮的计算列表手势 手势A 手势B 手势C 手势H 手势I 手势THul(10。2) 34060 46473 260ll 38563 35550 33446HIl2(105) 38569 73759 11876 52335 52018 87309

24、Hu3(10。) 26059 51044 24298 13216 47163 16140Hu4(10“) 37222 19224 13453 74802 69636 16140Hu5(1013) 86206 15180 24104 17164 73420 39469Hu6(1010) 65755 40072 11541 75054 11134 39212Hu7(1013) 77513 11499 32536 72368 10264 30675从表2中可以看出，每个手指字母的各个不变矩之间的差距比较大，因此可以作为有效地特征参数区分各个手势。24傅里叶描述子与Hu矩特征的融合设通过傅里叶描述子得

25、到的八个特征为：d，d2，d。，通实验使用了汉语手指字母的全部30个手势，由于国际上没有标准的模板库，实验手势均由本人及实验室人员自行录制，3个人分别对不同背景及光照下的手势采集30次，总共2700个样本，其中1800个用于训练，900个用于测试，部分手势如图6所示。将从1800个训练样本提取的融合特征输入三层BP神经网络进行训练，训练后误差低于05。由于粗分类得到的结果比较粗糙，会得到多种可能手势且无法进行进一步选取，但理论上可认为粗分类的判别是无误的。例如，检测到手势的宽高比大于12并且手指数为3，则粗分类的手势为L、T、Y、F、Z、P、E和ZH。本文结合粗分类与神经网络的结果判别手势，即

26、根据BP神经网络的结果对粗分类的结果进行概率排序，选取概率最高的为最终识别结果。例如，如果神经网络输出结果是L为085，T为01，Y为001，结合粗分类，手势识别结果为L。如果神经网络输出结果是A为085，T为01，Y为001，结合粗分类，手势识别结果为T。图6部分实验手势不意图900个测试样本的实验结果如表3所示，总识别率达到了9134。图7为粗分类与两特征的BP神经网络结合的识别率和无粗分类只有两特征的BP神经网络的识别率以及两种单一特征的BP神经网络识别率对比图。由图中数据可以看出，单独使用Hu矩和傅里叶描述子特征对手势进行识别也可以得到较高的识别率，但是个别手势的识别率会相对较低，与两

27、种特征共同识别有着较大差距。有些手势的粗分类结果和不加粗分类的神经网络结果有着一定程度上的差距，例如手势K和Y分别有2和3个手势分类结果不同。加入粗分类也起到了预想中的万方数据第1期 薛俊韬等：基于改进的YCbCr空间及多特征融合的手势识别 155作用，一定程度上减少了BP神经网络的误判，整体提升了判别的准确率。本系统在Visual C+60环境下，用C+语言编写，并利用OpenCV中的部分函数完成图像处理的编程。在26 GHz CPU，2 GB RAM硬件环境下，处理320240图片需要的平均时间在26 ms左右，完全可以满足实时性的要求。表3各手势识别率手势 识别率 手势 识别率 手势 识

28、别率A 967 K 967 U 867B 867 L 900 V 933C 867 M 867 W 967D 967 N 900 X 833E 900 0 933 Y 900F 967 P 967 Z 967G 933 Q 900 ZH 933H 867 R 867 CH 90OI 867 S 967 SH 866J 933 T 900 NG 933HD E F 5 H J K L M N u r 0 R s u v w x YHHNG手势图7各方法识别率对比图综合实验数据得出，本文所设计的静态手势识别系统具有很好的实时性以及识别率，达到了预期的目标。通过对误识别手势分析不难发现，个别手势不能

29、识别的原因是手指语中有许多手势较为类同，或者拍摄角度欠佳，使得手势间的区分度较小，外形非常接近。例如图6中手势H在侧面拍摄时，伸出的两根手指会重合在一起，易误判为手势I。另外，一些手势图像在预处理时部分有用信息会丢失，这些因素都会对识别率造成一定的影响。4结语本文利用改进的YCbCr颜色空间椭圆模型实现了色度信号与亮度信号分离，减少了光照强度对手势图像的影响，一定程度上满足了图像分割的要求。Hu矩和傅里叶描述子构建的混合特征训练的BP神经网络相对于单一特征训练的BP神经网络，在满足实时性的基础上极大地提高了识别率。同时提取的手势结构特征进行的粗分类，对BP神经网络识别结果有很好的修正作用，整体

30、提升了最终识别率。当然，文中采用的图像分割方法对于光照仍然比较敏感，所以还需要进一步完善。此外，对于最接近人们日常生活的动态手语识别系统的研究具有非常现实的意义，是未来手语识别的发展方向。参考文献1Liesar A，Sziranyi TUseradaptive hand gesture recognition systemwith interactive trainingJImage and Vision Computing，2005，23(12)：110211142Phung S，Bouzerdoum A，Chai DSkin segmentation using color pixelcl

31、assification：analysis and compari$onJIEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27(1)：1481543张良国，吴江琴，高文，等基于Hausdorff距离的手势识别J中国图象图形学报：A版，2002，7(11)：114411504黄春木，周利莉密度分布特征及其在二值图像检索中的应用J中国图象图形学报，2008，13(2)：3073115殷涛，葛元，王林泉基于几何矩的字母手势识别算法J计算机工程2004，30(18)：1271296Gamal M，Abdul K，S

32、allam EHand Gesture Recognition using FourierDescriptorsCInternational Conference on Computer Engineeringand Systems，Cairo，EGYPT，2013：2742797徐战武，朱森良基于颜色的皮肤检测综述J中国图象图形学报，2007，12(3)：3773888Dhmva N，Rupanagndi s，Sachin S，et a1Novel Segmentation Algorithmfor Hand Gesture RecognitionCIEEE International Mu

33、lti Confer-ence on Automation Computing，Control，Communication and Compressed Sensing，Kottayam，INDIA。2013：3833889Pramod K，Prahlad V，Ai PAttention Based Detection and Recognitionof Hand Postures against Complex BackgroundsJInternational Jour-hal of Computer Vision，2013。101(3)：40341910Hsu R，Mottaleb A，

34、Jain AFace detection in color imagesJPatternAnalysis and Machine Intelligence，2002，24(5)：69670611李丹娇，彭进业，冯晓毅，等结合CCS与傅里叶描述子的手势特征提取J计算机工程，2012，38(6)：17818012uu Y，Zhang L，Zhang SA Hand Gesture Recognition Method Basedon MultiFeature Fusion and Template MatchingcInternationalWorkshop on Information and

35、Electronics Engineering，Harbin，PEOPLES R CHINA，2012：1678168413裴利沈，董乐，赵雪专，等基于区域形状与运动特征的实时行为识别J计算机科学，2013，40(5)：261265(上接第141页)16Fukunaga KIntroduction to statistical pattern recognitionMAca-demic press，199017Wong M A，Lane TA kth nearest neighbour clustering procedureCComputer Science and Statistics：P

36、roceedings of the 13th Symposium on the InterfaceSpringer US1981：30831118Phillips P J，Moon H，Rizvi S A，et a1The FERET evaluation method-ology for facerecognition algorithmsJPattern Analysis and MachineIntelligence，IEEE Transactions on，2000，22(10)：10901 10419Gao W，Can B，Shah SThe CASPEAL largescale Chinese face database and baseline evaluationsJIEEE Transactions on Systems Manand Cybernetics。2008，38(1)：149161万方数据