辅助驾驶系统中驾驶员头部姿态估计关键问题研究.docx

辅助驾驶系统中驾驶员头部姿态估计关键问题研究李荣基金项目：黑龙江省教育厅科学技术研究项目（12511454）第一作者：李荣，女，内蒙古呼和浩特人，讲师，博士，研究方向：机器人、智能驾驶等，Email:mizzle0929 刘坤2 高文鹏3（1.黑龙江工程学院 黑龙江哈尔滨 150020，2.河北工业大学 天津 300019，3.哈尔滨工业大学 黑龙江哈尔滨 150001）摘要：智能交通系统中对驾驶员的行为监测具有重要的研究价值，本文针对驾驶员的头部姿态监测问题进行了研究，实现了基于计算机视觉的动态头部姿态估计算法。算法首先检测视频中的正面人脸，并作为基准，在此基础上对视频序列中人脸特征进行匹配与跟踪，计算不同视角下的头部姿态角度。考虑累计误差的影响，提出了一种矫正累积误差的方法。实验表明本文算法可以较准确地估计视频中的驾驶员头部姿态角度。关键词：头部姿态估计；人脸检测；误差消除中文分类号：TP391文献标识码：AResearch on Key Issues of Drivers Head Pose Estimation in Driving Assistant System Li Rong1 Liu Kun2 Gao Wenpeng3（1 Heilongjiang Institute of Technology School of automobile and traffic engineering harbin 150001,China; 2 HEBEI University of Technology 300019，china;3. Harbin Institute of Technology School harbin 150001,China）Abstract: It is import to research the drivers behavior consciousness in the intelligent traffic system. In this paper, drivers head pose estimation is researched, and a vision-based scheme of estimating the drivers head pose is realized. Firstly, the drivers front face is detected from the video image, and the result is used as criterion. Then corresponding feature points between two adjacent views are matched. According to the points, the drivers head pose is estimated. We also bring forward a method to capture the key frames online through fusing the smoothness assumption of heads motion and other prior motion information，in order to eliminate the accumulating errors during continuous pose accumulation. The experiment shows the better performance on experimental data can be obtained.Keywords: Head pose estimation; Face detection; Accumulating error1 引言辅助驾驶系统研究的关键问题之一就是对驾驶员的行为与动作监控，据统计由于驾驶员在驾驶过程中疲劳、走神等引起了大量的交通事故。近年来，很多学者致力于研究利用计算机图像处理技术，通过实时捕获驾驶员驾驶过程中的头部姿态来估计驾驶员可能的动作与意图，例如根据驾驶员头部位姿、转动角度的大小、停留时间的长短、头部动作的频率等判别驾驶员的关注的方向、注意力是否集中以及是否疲劳等1-3。当发现驾驶员头部姿态动作与系统设定的相比较，发现异常时便及时发出警报，提醒驾驶员，从而避免事故发生，或降低事故的伤亡率。针对辅助驾驶系统国内外已进行了大量的研究，例如日本研制了疲劳驾驶报警系统，当发现驾驶员疲劳，系统自动喷出特殊气体来刺激驾驶员；澳大利亚研究了一种装有红外传感器的眼镜，驾驶员配戴该眼镜，能获取其眨眼频率，利用该信息来判断驾驶员是否疲劳；美国福特公司也针对驾驶员的眨眼频率及头部运动来判断驾驶员的状态；希腊通过在车内安装摄像头来捕获驾驶员眨眼频率，另外通过在方向盘、座椅及车内安装传感器来检测驾驶员是否处于疲劳状态。国外针对驾驶员的驾驶状态进行了大量研究，研究结果已有很多应用于现实中。我国在该领域的研究起步较晚，而且仍处于理论研究阶段。通过对国内外汽车辅助驾驶系统进行研究，发现大多驾驶员疲劳检测系统需要驾驶员配戴一些特殊设备，因此造成驾驶员不舒适且设备也比较昂贵。针对这些问题，本文通过在车内安装廉价的网络摄像头，对驾驶员驾驶状态的快速捕获，并传递给计算机系统，计算机利用基于视频的动态头部姿态估计算法，估算驾驶员头部姿态，并根据结果推断驾驶员的状态与意识。2 驾驶员头部姿态估计关键技术考虑到驾驶员在初始驾驶汽车时，疲劳状况极少的情况下，初始通过驾驶员的视频图像，利用Haar特征及AdaBoost算法进行驾驶员正面人脸的识别；然后以识别获取的正面人脸为基准，通过对摄像头捕获的驾驶员视频序列中的图像进行特征匹配；利用匹配的特征点与基准正面人脸上的特征点计算相对角度，并通过累积相对角度获取驾驶员头部姿态的绝对角度。在累积获取绝对角度的过程中，考虑到会存在累积误差，本文利用了准确角度的关键帧对获取的绝对角度进行修正。驾驶员头部姿态流程如图1所示。图1 驾驶员头部姿态估算流程2.1 驾驶员正面基准图像的获取在进行头部姿态估计时，需要先选定一张正面的人脸图像，并将该图像设定为标准正面人脸。在后续驾驶员头部姿态估计中，即通过获取的视频序列，计算其相对标准正面人脸之间的俯仰、横滚及偏转角度。P. Viola等基于Haar特征，利用改进的AdaBoost算法进行人脸检测，使得人脸检测达到实时。该算法不仅速度上达到了实时性，通过对误差进行自适应使得检测的正确率也极大提高。算法的主要原理，通过给定了常用几种Harr基本特征及几种扩展特征，不同特征用来描述人脸不同部位，例如人的眼部、嘴部等。而利用Harr特征来描述驾驶员的图像时，Harr特征数目巨大，这样进行数据处理会非常复杂且耗时。针对上述问题本文采用了积分图像的表示方法，因此加快了对Harr特征的计算速度。对获取的Harr特征，利用Adaboost算法对图像中的正面人脸样本进行学习与分类，从而提高了正面人脸识别的准确度4-6。2.2 基于图像特征匹配的头部姿态估计通过网络摄像头拍摄的视频，假定驾驶员从上车开始保持清醒，截取视频序列中前5分钟内的序列为正面人脸获取的基础数据。以获取的正面人脸为基准，并设定此时驾驶员头部姿态为0o,利用SIFT算法对网络摄像后后续拍摄的视频序列进行特征点的匹配与检测。根据视频中的每一帧图像匹配检测结果，将获取到的驾驶员驾驶过程中的人脸区域同基准正面人脸进行旋转变换，来估计该帧的人脸的相对俯仰、横滚及偏转角度。图2所示为一段视频中头部的横滚角度结果，横坐标对应的是每一帧图像，纵坐标对应于该帧的估计角度。图2为驾驶员头部从正前方转到左侧，然后又从左侧转回到正前方，当驾驶员头转回到正前方时，系统显示驾驶员头部在5o，结果显示与实际不符，通过分析知主要是由于误差累积引起的。图2 驾驶员头部横摆姿态监测2.3 头部姿态消除累积误差对于相邻两帧图像间的误差主要来源于图像间特征匹配点的定位误差与计算相对角度过程中用到的基础矩阵估计的误差。而该误差随驾驶员头部姿态连续变化而累积，因此造成相对正面标准人脸角度越大，驾驶员头部姿态估计的误差也越大，从而导致智能辅助驾驶系统在实际应用中存在误报警或滞后提示导致事故。为解决这一问题，本文提出了利用关键帧来降低姿态角度的估计误差。如何获得准确的关键帧是个重要的问题。这里采用粗略的计算与精确提炼的原则获得稳定的关键帧，通过结合运动平滑性与其他的先验运动信息对关键帧进行提炼，获得稳定可靠的关键帧6-8。在初始阶段假设司机在水平方向上进行了较大范围的头部转动。通过以初始帧为基准，可以获得一系列初始的姿态角度结果。由于司机的头部运动方向主要在水平方向上，因此，在水平方向上选择几个姿态角度作为关键帧。假设现在有帧图像序列，相邻帧之间的姿态角度分别为。理论上姿态角度满足下式 (1)其中是第与帧之间的姿态角度；是第1帧与第帧之间的角度差。如果式(1-1)能够完全满足的话，说明不存在累积误差。当实际情况下存在累积误差时，式(1-1)变成 (2)假设在各帧之间是均匀的，以帧为间隔，则上式变成 (3)累积误差项较小时，则认为可以近似为正确的。根据这个原则选择初始的候选关键帧。假设以头部姿态在水平方向上的转动为例，提取的关键帧图像之间的角度间隔为30°。通过大视角下的关键帧之间的图像特征匹配结果，估计相邻关键帧之间的相对角度，并以正面人脸图像为基准，获得不同关键帧的绝对姿态角度。为了保证关键帧的可靠性，本文根据头部姿态运动轨迹的平滑性与其他先验的运动信息对关键帧的角度进行验证与提炼。首先在候选关键帧附近提取一系列，估计上一帧关键帧与这些候选关键帧之间的的相对角度。由于这些候选关键帧是在很短时间内提取的，因此，可以假设这些关键帧之间满足运动平滑性，各帧的姿态角度不会存在突变情况。因此去掉角度突变的关键帧，保留满足平滑性假设的关键帧角度，通过这些处理之后获得可靠的关键帧。3 实验结果分析为了减少基于视频的姿态估计算法中存在的累积误差，本文利用关键帧提取方法获得在不同方向上的具有大视角间隔的一系列候选关键帧。通过大视角下的图像特征匹配算法计算这些候选关键帧之间的相对姿态角度，同时在头部姿态的运动平滑性与先验的运动方向的约束之下，得到具有准确姿态角度的关键帧。随着视频序列的累积获得的粗略的姿态角度范围，选择不同的关键帧作为基准，更新当前帧中的姿态角度输出结果。图3所示为误差消除前后驾驶员姿态的估算结果对比。结果表明利用关键帧进行可有效降低误差。图3 基于正面人脸基准及基于关键帧驾驶员头部姿态误差对比图4 结论本文针对智能交通系统中的驾驶员动作监控问题进行了研究，并给出了基于视频的动态头部姿态估计算法。算法并以正面人脸为基准，通过不同图像之间的特征匹配结果计算头部姿态的相对角度，进而获得每帧图像中头部姿态的绝对角度。同时，本文针对系统中存在的累积误差问题，提出了通过对大视角间隔下的图像匹配提取若干关键帧，并利用关键帧对不同范围内的姿态估计结果进行修正，从而得到精确的姿态角度输出。实验表明，本文的姿态估计算法可以给出精确的姿态估计结果。参考文献：1 张明恒.基于面部朝向的驾驶员精神分散监测方法研究D. 吉林大学,2007,6.2 Lal,S.K.L.,Craig.A.,Boord,P. Development of an algorithm for an EEG-based driver fatigue countermeasureJ.Journal of Safety Research.2003,34:321-328.3 Huang K, Trivedi M M, Gandhi T. Driver's view and vehicle surround estimation using omnidirectional video streamC. Proceedings of IEEE Intelligent Vehicles Symposium, Columbus. 2003. 444-449. 4 Viola P, Jones M. Rapid objects detection using a boosted cascade of simple featuresJ. Computer Vision and Pattern Recognition, 2001. 511-518.5 武勃, 黄畅, 艾海舟. 基于连续算法的多视角人脸检测J. 计算机研究与发展, 2005, 42(9): 1612-1621.6 刘坤.图像特征匹配及头部姿态估计算法研究D.清华大学.2009,4.7 L. Vacchetti, V. Lepetit, and P. Fua., “Fusing online and offline information for stable 3D tracking in real-time”C. Proceeding of IEEE Conference on Computer Vision and Pattern Recognition, 2003, pp. 241248.8 Kun Liu, YuPin Luo, Gyomei TEI, ShiYuan Yang. Attention Recognition of Drivers Based on Head Pose EstimationC. IEEE Vehicle Power and Propulsion Conference, Harbin, 2008,148-152. 第 9 页