基于asm局部定位和特征三角形的列车驾驶员头部姿态估计-赵磊.pdf
《基于asm局部定位和特征三角形的列车驾驶员头部姿态估计-赵磊.pdf》由会员分享,可在线阅读,更多相关《基于asm局部定位和特征三角形的列车驾驶员头部姿态估计-赵磊.pdf(7页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、第38卷第9期 铁 道 学 报 V0138 No。92 O 1 6年9月 JOURNAL OF THE CHINA RAILWAY SOCIETY September 2016文章编号:10018360(2016)09005207基于ASM局部定位和特征三角形的列车驾驶员头部姿态估计赵 磊, 王增才, 王晓锦 , 张万枝(山东大学机械工程学院,山东济南 250061)摘要:提出一种新的基于面部特征三角形机车驾驶员头部姿态估计的方法。首先采用基于Retinex理论的图像增强算法去除光照影响,利用面部眼睛和鼻子区域良好的聚类性,在全局主动形状模型(ASM)对驾驶员脸部定位的基础上,对驾驶员的局部特
2、征(眼睛和鼻子)定位,以适应驾驶员头部姿态的大角度偏转;然后利用已定位眼睛和鼻子作为特征点,建立面部特征三角形,采用自检测方法对驾驶员面部三角形进行初始化,对头部姿态与三角形的关系进行研究;最后推导出头部姿态与面部三角形形状的数学模型。利用试验样本对本文方法进行性能检测,实验表明:在不同的嘴部大小情况下,该方法能够对头部姿态进行较准确估计。关键词:姿态分析;ASM;图像增强;特征定位;特征三角形中图分类号:TP3914 文献标志码:A doi:103969jissn10018360201609008Estimation of Head Posture of Train Drivers BasA
3、SM Local Positioning and Facial Feature TrianglZHAO Lei, WANG Zengcai, WANG Xiaojin, ZHANG Wanzhi(School of Mechanical Engineering,Shandong University,Jinan 250061,China)0neAbstract:A new method for estimating head posture of train drivers based on facial feature triangle was proposedFirst of all,im
4、age enhancement algorithm based on Retinex theory was employed tO eliminate the effectof lightA good clustering of the eyes and nose was used to locate the drivers local features(eyes and nose),based on the positioning of drivers face by global active shape model(ASM),in order to adapt to wideangled
5、eflection of drivers head postureSecondly,the located eyes and the nose were used as feature points to establish the facial feature triangle,which was initialized through the method of selfdetection tO study the relationship with the head postureFinally,the mathematical model between head rotation a
6、ngle and the facial triangleshape was deducedThe algorithm proposed here was tested by using the samplesThe tests all showed that themethod can accurately estimate the head posture in the case of different sizes of the mouthKey words:posture analysis;ASM;image enforcement;feature location;feature tr
7、iangle列车与其他交通方式(如汽车和飞机)相比,安全性较高,但是一旦发生事故,带来的人员伤亡和经济损失是巨大的,而驾驶员注意力不集中占列车事故发生原因比例最高n,在列车长时间高速行驶的时候,单调的驾驶环境非常容易引发驾驶员的疲劳,因此为了保证驾驶员和旅客的人身安全,对驾驶员疲劳的识别是收穗日期:2015-0503;修回日期:20150709基金项目:汽车仿真与控制国家重点实验室开放基金(20121107)第一作者:赵磊(1987一),男,山东莱阳人,博士研究生。Email:leizhaol219163corn通讯作者:王增才(1964一),男,山东滨州人,教授,博士。Email:wangz
8、csdueducn非常有必要的,而头部姿态的变化对驾驶员面部疲劳特征参数的分析有很大的影响。因此,头部姿态估计是一个非常重要的检测对象。目前的头部姿态估计的方法主要分为两类:基于2D面部特征的估计和基于3D面部特征估计。前一种估计方法主要是建立2D的面部特征与3D的头部姿态参数的数学关系,利用2D面部特征的学习方法对头部姿态进行估计。其中比较代表性的是wu等2通过对面部的5个特征点进行多粒子滤波器跟踪,通过已精确定位头部5个特征点之间的相对几何关系对万方数据第9期 赵磊等:基于ASM局部定位和特征三角形的列车驾驶员头部姿态估计头部姿态进行分析;陈振学等pj利用Adaboost算法对眼睛和嘴巴进
9、行和定位,通过分析这3个点构成的特征三角对头部姿态进行估计;朱淑亮等3借助人脸正面的图像信息建立人脸特征三角形,详细分析了3种头部姿态;刘志勇和王珏5 3利用流形学习中的局部线性嵌入算法计算头部姿态参数;路玉峰等采用非线性核变换的算法分析头部姿态参数,取得了较好的精度;张万枝等7采用Adaboost算法对驾驶员的眼睛进行定位,然后在眼睛已定位的基础上利用H分量确定嘴巴位置,建立面部三角形,根据三角形的位置变化对头部姿态进行估计;刘袁缘等凹1提出了树结构分层随机森林在非约束环境下的多类头部姿态估计,该方法采用一种树结构分层随机森林算法,分层估计多自由度下的头部姿态,实验结果表明所提算法在不同质量
10、的图像上都有很好的估计准确率和鲁棒性。基于3D的头部姿态估计主要是在多个视角下采集多幅图像建立三维头部模型,并以此分析头部姿态。其中代表性的有:LI93利用多个摄像头对面部进行检测,对头部进行三维重建,根据每个人头部的3D姿态改变和纹理参数进行姿态估计;Rodham叩采用激光扫描仪得到一个三维数据学习形变模型,根据该模型学习功能对头部旋转参数进行分析;Fanelli G等将随机森林法用于3D图像的头部姿态识别,取得了良好的效果;张伟1纠采用Candide模型实现了驾驶员头部的个体三维重建,并通过三维模型配准完成了驾驶员初始姿态角的确定。(c)图像3 (d)图像4图1 眼睛和嘴巴特征三角形定位结
11、果本文采用基于2D的面部特征三角形进行头部姿态估计。之前的研究方法采用的是以眼睛和嘴巴作为面部特征三角形的顶点,但是在嘴巴状态改变的情况下,嘴巴定位不准,导致头部参数估计误差较大,其定位效果如图1所示;在对三角形建模之后,没有提出在线初始化面部三角形的基准参数的方法,即头部各个方向转角都为0的面部三角形参数,导致该算法无法在线自动估计不同驾驶员的头部姿态。本文提出对嘴部变化相对稳定的鼻子和双眼作为定位特征点构建三角形进行头部姿态分析的头部姿态估计方法。首先采用基于主动形状模型(ASM)的局部定位算法对眼睛和鼻子进行定位;然后建立基于左眼、右眼和鼻子下部的定位点来构建面部特征三角形,采用自检测方
12、法对面部特征三角型进行初始化,构建正面三角形基准参数,对头部姿态与关键点位置的关系进行建模,根据特征点的位置变化进行头部姿态估计。最后对基于眼睛和鼻子作为特征点的面部特征三角形分析方法的性能进行实验检测。l基于ASM模型的面部特征局部定位11 ASM模型算法基于点分布模型的ASM算法通过一组特征点描述目标的形状。ASM算法由全局形状模型和局部纹理模型组成,在检测过程中交替作用,使得模型定位形状逐步收敛1,通过模型对人脸进行定位结果见图2。(a)人脸定位1 (b)人脸定位2图2 ASM特征点的提取全局形状模型训练样本是对大量人脸图像进行手工标记,然后通过主成分分析(PCA)得到。本文选取58个特
13、征点模拟人脸。根据上文的设置,可用式(1)体现的向量来表示人脸的形状。x一(zl,yl,56 2,Y 2,z 58,y 58) (1)式中:X表示由58个点组成的人脸形状的向量;(z,y。)表示第i个特征点的坐标值。对含有K个样本(K300)的训练集,其均值样本j的计算式为1 Kx=专z。 (2)2 i舀z z ( 训练样本的协方差矩阵w为W一(xx)(工一x)7 (3)W的特征向量为万方数据铁 道 学 报 第38卷Wp女一A女P (4)式中:A。是w的特征值;P。是A。特征值对应的特征向量。根据PCA理论,特征值A。越大对应的特征向量P。的变化对整体模型越重要。选取前M个特征值对应的特征向量
14、构成新的矩阵P,其中P一户。,P:,PMA,A zAM(5)则人脸形状均可以在新的主轴系下为X=贾+Pb (6)式中:b一(6,b。,bM)T是权值向量。因此,平均形状叉与主轴系P均为已知确定值,而模型的输出形状由唯一b值确定目标形状。参数b通过全局形状模型与局部纹理模型交替作用得出。局部纹理模型是在全局形状模型中每个特征点的法线方向上采样像素点进行统计分析得到见图3。图3 ASM局部纹理模型采样设定训练样本中的一个特征点位Hj(歹一1,2,58)的采样向量(采样的点数为k)为H J一(z J1,y1,37jz,Yjz,z批,Y;k)1 (7)式中:(zY,i)表示第J个特征点所确定的第i个采
15、样点坐标。该点的采样均值为H,协方差矩阵为ls,其局部纹理模型为H,H,(百,S,) (8)选用大于200个训练样本进行训练,训练完成后可用于对驾驶员面部区域进行的定位。12基于图像增强的ASM模型局部定位算法通过实际的实验和前人的总结2在驾驶环境光照变化或者驾驶员头部姿态和面部表情变化较大的情况下时,采用ASM进行面部特征的全局定位会产生较大的偏差,鲁棒性差;因此需要从光照和头部姿态两个方面解决面部定位的精度问题。针对驾驶室光线的变化,本文引进了基于Retinex理论的车载视觉系统图像增强算法4I。首先将图像从RGB彩色空间转换到YCbCr彩色空间,提取y亮度分量低频部分,采用多尺度Reti
16、nex(MSR)算法对y分量低频部分进行光照补偿,然后经图像滤波后,将y分量与原来的C6、C,分量进行逆变换,生成新图像,并对像素值平移和压缩,将新图像从YCbCr彩色空间转换到RGB彩色空间,得最终图像。其增强效果见图4。(善,翌(b)增强后图像图4基于Retinex理论的图像增强采用Adoboost算法1朝对人脸进行粗略定位,在获得人脸概略位置的基础上对人脸进行全局ASM配准,进一步对人脸特征的位置进行定位。前人研究发现14,在头部姿态和表情改变的时候,面部轮廓运动范围较大,所以当头部姿态改变较大时,外轮廓的定位点定位不准,发生偏移现象,但眼睛周围构成的局部面部区域相对于整个面部有很好的聚
17、类性,且在驾驶员姿态变化时,这一区域的ASM模型相对稳定。从图5可见,在不同的头部姿态下,眼睛和鼻子区域相对于对其他特征(嘴巴和外轮廓),定位的鲁棒性较强,虽然在头部姿态变化较大的情况下仍然有少量误差,但与其他特征相比偏移量较小。因此在全局ASM模型定位的基础上,通过计算模型上点的坐标提取了眼睛和鼻子所在位置的区域,在此区域内分别对眼睛和鼻子进行由粗略到精确的策略来进行局部二次定位。(a)姿态1 (b)姿态2图5眼睛和鼻子检测结果首先根据ASM模型中眼部点的位置来提取眼睛区域,通过扩展的Haar特征,采用级联的方式,重复采用Adaboost方法训练眼睛分类器,在该区域中进行眼睛定位。眼睛的训练
18、样本选择以瞳孔为中心、眉毛为上界外接矩形为眼睛训练样本,样本来自CMU等多个人脸库。经过归一化后图像大小为25 X 25像素,共计4 862帧引。眼睛区域提取后进行二次定位的方法可进一步缩小函数的搜索区域,从而提高了眼万方数据第9期 赵磊等:基于ASM局部定位和特征三角形的列车驾驶员头部姿态估计睛提取精度,其提取区域和定位结果见图6 2基于面部特征三角形的头部姿态分析图6人眼区域划分和定位结果在实验中Adaboost训练鼻子的分类器定位的准确性不高,而通常情况下鼻子下方两个鼻孔的灰度值与周围的灰度值相差很大,因此可以根据该特点进行定位。首先根据ASM模型提取鼻子区域,提取结果见图7(a);然后
19、对鼻孔区域采用积分投影法求其两鼻孔区域的重心,再对两个鼻孑L的重心求平均值可定位鼻子下端鼻子定位结果见图7(b)。(a)鼻子区域 (b)鼻子定位图7鼻子区域划分和定位结果最终定位结果见图8。从图8可见,基于图像增强的ASM局部定位算法鲁棒性较好;与以眼睛和嘴巴作为面部三角形的定位点相比,嘴巴大幅度张开和(a)人脸图像1 (b)人脸图像2(c)人脸图像3 (d)人脸图像4图8面部特征定位结果闭合的时候依然能够保证定位的精度,不会在头部姿势不改变的前提下,随着嘴巴大小改变而使鼻子定位点发生位移,造成对头部姿态估计精度不高。21 特征三角形的建立驾驶员头部运动时的姿态分析主要是基于3个坐标轴的旋转角
20、度,如头部的上下、左右旋转以及偏头等,驾驶员的视频图像中,面部的各个部位的位置随着头部姿势的变化而改变口,其中眼睛和鼻子是面部在不同表情下相对位置最稳定的点,因此只要定位出两只眼睛和鼻子底部的位置,就可以对头部姿态准确估计。图9中设图像的垂直方向为z轴,水平方向为z轴,垂直图像方向为y轴;0(z。,Y。)、P(56:,Y:)和Q(z。,Y。)分别为左眼、右眼和鼻子的定位点,其中这3个点的坐标值是相对于图像的坐标原点计算。而三角形每个点对边的长度分别由0、声和q表示。图9头部姿态三角形建模根据上图和人脸的特征可以得出,当人脸正对图像的时候,该面部三角形为等腰三角形;当头部发生摆动、点头和偏头时面
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 asm 局部 定位 特征 三角形 列车 驾驶员 头部 姿态 估计 赵磊
限制150内