三维人脸采集及预处理经验总结,司法鉴定论文.docx

《三维人脸采集及预处理经验总结,司法鉴定论文.docx》由会员分享，可在线阅读，更多相关《三维人脸采集及预处理经验总结,司法鉴定论文.docx（7页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、三维人脸采集及预处理经验总结,司法鉴定论文随着光学三维传感技术的快速发展，3D 扫描被越来越广泛的应用于逆向工程、工业设计、地貌测绘、医学影像、生物信息以及社会文化活动等众多领域。 同时，以安防应用为目的的三维人脸特征分析与辨别也越来越遭到重视。对人脸进行三维图像重构和研究可弥补二维人脸图像不能解决的多姿态多角度等问题，而建立大规模的三维人脸图像库对三维人脸数据的分析研究、模型训练、算法性能比拟测试是必不可少的基础数据资源1.因而，建立高精度的三维人脸图像库对于安防视频图像中的人脸特征分析研究以及在法庭科学中的应用有着非常重要的意义2-4.经过比拟，选用 Artec Spider 3D 扫描仪

2、用于采集人脸三维图像，之后通过计算机软件对采集数据进行预处理，历时三个月时间获取了 1100 多份高分辨率的彩色三维人脸图像以供进一步研究。本文就此次三维人脸采集及预处理经过中的操作经历体验进行归纳，总结出采集流程、集合帧数、人工干涉配准等因素对处理前后图像质量差异的影响，并对华而不实碰到的问题提出解决办法。 1 3D扫描仪工作原理 使用的 Artec Spider 是一款手持使用的拍照式3D 扫描仪，其采用的是构造光技术，根据光学传感测量原理，投影模块先将一系列编码光栅投影到物体外表，再由采集模块捕获相应被调制的光栅图像，然后通过特有的算法获取高密度点云数据的三维坐标5.在获得物体外表的空间

3、坐标后，通过计算机来进行图像配准、光顺合成以及细节编辑，重建出人脸的三维模型，最后以三角面片网格为单元贴上扫描时同步获得的纹理图像6,进而得四处理后的三维人脸图像见图 1。这种照相式 3D 扫描设备的特点是 :1光学传感。使用白色和蓝色的发光二极管LED作为光源，非接触式测量和捕获图像，对物体外表不会造成伤害 ;2测量精度高，深度信息可达微米级别。每个采集样本约包含 30005000 万个网格，可捕获到人脸部细小特征的三维数据，即便简化网格后加上同步捕获的高分辨彩色图像，仍可清楚明晰的再现人脸皮肤的皱纹及毛孔 ;3对复杂曲面能够分区域连续测量。 手持式 3D 扫描仪可灵敏的多角度移动，更合适采

4、集人脸各构造各部位外表的深度数据和纹理数据 ;4捕获的同时利用参考试点拼接技术可进行曲面自动配准，也方便操作者实时观察采集效果，及时调整扫描范围 ;5对环境要求较低，采集现场只要具备沟通电源，明视环境下即可进行操作 ;6对黑色及透明材料有限制，不能捕获被采集者的黑色头发及面部较浓密的黑色毛发。 2 三维人脸图像数据的采集 采集设备进行三维扫描的经过是一个实时曲面配准的经过。尽管这一经过有一定的鲁棒性，但是扫描对象的姿态变化很容易干扰配准的准确度7.因而在采集三维人脸图像前应和被采集人进行必要的沟通，防止采集经过中因被采集人讲话或移动导致配准失效而中断操作。 为了在保证数据质量的同时减少重复数据

5、量，使用手持式 3D 扫描仪时，需要根据一定的移动顺序对人脸图像进行撷取8,9.采取的扫描顺序见图 2是从被采集人的一侧耳部开场，上下 S 型经鼻面部向另一侧耳部移动，然后向下采集下巴被遮挡部位的图像，最后回到开场的部位完成扫描单帧曲面范围 90mm 70mm180mm 140mm。这样做的好处，一是不会遗漏采集部位 ;二是符合人脸面部构造特点，假如采用横向 S 型扫描则要屡次经过鼻翼两侧，这就增加了扫描难度 ;三是固定了采集顺序，在预处理时能够快速找到需要修改或删除的某一帧或几帧图像。对耳朵、鼻翼两侧、下唇至下巴中间构造比拟复杂的曲面，在采集时，能够采取小角度变换扫描仪打光角度。对下巴的采集

6、，能够将扫描仪从下方尽量接近被采集人身体并向上打光，以减少由于遮挡构成的空洞。 因手持式 3D 扫描仪的便携特点 1kg，采集现场只要具备沟通电，在明视照度下即可进行操作，所以非常方便在非实验室环境进行采集。 3 对采集数据的预处理 采集到的原始数据是一个曲面帧集合，根据采集时间、帧速率的不同包含 4001500 个曲面帧数据。 将这些数据合成一个完好的三维人脸图像之前需要一系列的模型处理。主要包括：整体配准、光顺合成、补洞、小型对象过滤、简化网格以及纹理映射等步骤7,10.对于大部分一次性采集完成且自动配准较好的数据，使用上述自动处理都能够获得良好效果。 但由于光照条件的细微变化、脸部皮肤的

7、光滑程度不同，或者曲面构造互相遮挡等因素，一些模型自动处理的结果并不理想，如此图 3 左所示，自动配准造成了明显的裂纹。这不但会影响视觉效果，还对后期的深切进入应用造成干扰11.这就需要经过人工干涉配准获得理想的效果见图 3 右。人工干涉配准主要包括三个步骤 : 第一步要先找出自动配准不理想的帧或帧集合，将其选取移出成为新的帧集合。如此图 4 所示，计算机在自动配准扫描图像时出现了较大的偏离见图 4左，这就要对偏离的曲面进行人工挑选，生成新的帧集合见图 4 右。有的采集图像可能包含多个曲面的图像，分离出不止一个帧集合，可根据详细的采集结果分离出二个或二个以上的帧集合，每个帧集合应保持在一个连续

8、的曲面内且相互包含重合区域。 第二步是在分离出的帧集合之间进行特征对齐，即在需要拼合的两部分帧集合上标记多个特征比拟明显的一样部位同名点，例如眼角、嘴角、耳廓、鼻尖、鼻翼等部位见图 5。假如分离图像没有共同的明显的特征，可以以通过人工交互移动待配准的帧集合与参考帧集合尽量对齐重合，其重合精度主要依靠人眼。 第三步是自动拼接网格。假如把 特征对齐 理解为对分离图像的 粗拼 ,那么 拼接网格 即是对分离图像的 细拼 .在自动拼接网格的基础上再 允许图像纹理拼接 ,这样就得出人工拟合后的三维图像，后续能够重复整体配准和光顺合成的经过，到达更好的处理效果。 另外，人工干涉可以以通过删除个别帧图像以获取

9、较好的图像质量。例如此图 6 就是通过删除单帧，来修补眨眼造成的闭眼图像。 由于光照条件的变化或者扫描经过中偶尔出现的不稳定移动，可能会对采集的三维人脸图像质量造成影响，自动配准和人工干涉后仍由此可见会出现裂纹或者其他不理想的质量问题约占 5.3%。这种情况下能够通过 2D/3D 擦除、修补和光滑处理来改善，但是应尽量减少图像插值的处理，以免改变或消除人脸面部皮肤的原始细节特征。 除此之外，对三维图像的编辑还包括坐标变换、数据擦除、网格简化等，对纹理图像的编辑包括亮度/ 比照度调整、色调、色饱和度以及图像灰度校正等。 使用的 3D 扫描仪的帧速率为 7.5fps,采集一个样本的平均耗时在 80

10、110s 之间。为了讲明采集帧数与图像质量的关系，记录预处理经过中的部分数据。 根据 优质、良好、一般 将处理前后的图像质量评价为三个等级，并根据采集帧数分类得出下面数据关系见表 1【1】 由此可见，采集图像在 500700 帧范围内的三维人脸图像的质量最好，需要人工干涉处理的样本数较少，平均处理的时间也较短。700900 帧的图像需要较多的人工干涉，但是预处理后可以以得到较高的图像质量。900 帧以上的图像采集质量较一般，但是经预处理后图像质量有较大幅度提高，只是处理耗时较长。而 500 帧下面的图像质量在预处理前后都很难获得高质量的图像效果。 以下为参考文献 1王跃明，潘纲，吴朝晖 . 三维人脸辨别研究综述J. 计算机辅助设计与图形学学报，2008, 207： 819-829. 2段锦，周春光，刘小华 . 三维人脸辨别研究进展J. 小型微型计算机系统，2004, 255： 886-890. 3张继宗，徐磊 . 人像资料鉴定存在问题及对策J. 刑事技术 20201： 56-58.