基于人脸识别的嵌入式视频监控系统_邝细超.docx

《基于人脸识别的嵌入式视频监控系统_邝细超.docx》由会员分享，可在线阅读，更多相关《基于人脸识别的嵌入式视频监控系统_邝细超.docx（82页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、作者姓名 _ 广 3细超 学科专业 通 信 与 信 息 系 统 指导教师 贺前华教授 所在学院 电 子 与 信 息 学 院 论 文 提 交 日 期 2016年 6 月 Embedded Video Surveillance System Based on Face Recognition A Dissertation Submitted for the Degree of Master Candidate： Kuang Xichao Supervisor ： Prof. He Qianhua South China University of Technology Guangzhou, Chi

2、na 分类号： TP277 学号： 201320108517 学校代号： 10561 华南理工大学硕士学位论文 基于人脸识别的嵌入式视频监控系统 作者姓名：邝细超 申请学位级别：硕士 研究方向：数字图像与多媒体信息处理 论文提交日期： 2016年 6月 2日 学位授予单位：华南理工大学 答辩委员会成员： 主席： 秦华标教授 指导教师姓名、职称：贺前华教授 学科专业名称：通信与信息系统 论文答辩日期： 2016年 6月 8日 学位授予日期： 年月日 委员： 贺 前 华 教 授 黄 茜 教 授 李 艳 雄 讲 师 如今，视频监控开始遍布于社会的各个角落，智能化视频监控也逐渐成为视频监 控的主流发展

3、方向。本文阐述了一种基于人脸识别应用于办公室及类似环境下的嵌入 式安防考勤监控系统 ，这种系统对于封闭区域的人员进出监控及财产安全具有重要意 义。 本文从实际应用角度出发，以视频监控专用开发板海思 HI3520D为硬件开发基 础，以实现对经过监控场景的人员进行考勤与安防监控为最终目标，研宄在有限的硬 件资源条件下的安防考勤监控系统实现。主要工作包括以下几个方面。 1、 嵌入式系统总体方案及整体架构的设计。嵌入式监控系统有两种工作模式可供 选择： F端 (即前端 )模式和 S (即服务器端 ） 端模式。整个系统软件架构包括实时视频、 运动检测、人脸检测与识别、用户监听和交互通信五个部分，根据交互

4、通信分析给 出 系统网络通信处理流程图并设计通信协议。 2、 运动物体检测。首先通过从海思芯片自带的视频内容侦测分析模块 API接口 获取侦测数据，来判断是否有运动物体。然后，通过 API接口获取到当前图像与背景 之间的图像宏块 SAD(Sum of Absolute Difference)。 在图像宏块 SAD中进行运动框的 具体定位，得到物体运动框。此外，可以通过运动框的移动方向确定运动物体的状态。 3、 人脸定位与截取。首先通过 Haar特征在运动框内进行人脸检测，如果未检测 到则再使用 LBP特征进行人脸检测。通过将两种算法结合，可以实现一个较低的人脸 检测漏检率。 4、 人脸识别。将

5、截取得到的人脸图像进行尺寸归一化和直方图均衡，然后根据能 量梯度得到图像清晰度的降序排列，取前三张图片。然后通过综合判断的方法，使用 LDA算法进行人脸识别。 5、 陌生人鉴别。通过大量人脸实验数据，获取每个注册人员的人脸识别欧氏距离 分布。每个人的欧氏距离数据近似符合正态分布。通过牺牲一定的准确性，进行陌生 人鉴别。 最后，智能监控系统也可以将本文的方法与步态和音频等其它信息结合起来，进 一步提高安防考勤的可靠性 。 关键词：安防考勤；嵌入式；人脸识别； LDA;鉴别 Abstract Nowadays, video surveillance spreads to every corner

6、of the society and the intelligent video analytics is gradually becoming the development orientation of video surveillance. In this paper, we has described an embedded security and attendance system based on face recognition. It has the extremely significant significance for the monitoring of the pe

7、ople and the protection of property. From the perspective of practical application, we are aimed to develop a hardware resource limited attendance and surveillance system to monitor the people going through the surveillance scenarios based on a surveillance development board named HI3520D.Main work

8、includes the following aspects. 1, Overall scheme and architecture design of the embedded system. Embedded surveillance system can work on F(front) mode or S(server) mode.The software of system consists of five modules:realtime video,motion detection,face detection and recognition,user listening and

9、 interactive communication.By analyzing the interactive communication,we draw the communication processing chart and promote the protocol. 2, Object detection.At first, we roughly determine where object comes by analyzing the data from API of HiSilicon chips VDA module.Then， through the API of HiSil

10、icon， we get the macro block SAD (Sum of Absolute Difference) of current image and background. Finally, by scanning the SAD, we locate the object. Besides， we can estimate objects state of motion by analyzing the locations of object. 3, Face positioning and snaping.Firstly, we detect face by Haar fe

11、atures, if failed, then detect by LBP features. By combining two algorithms, we can reach a lower omission ratio. 4, Face recognition. Firstly, we deal the faces with size normalization and histogram equalization. We descending order images by definition according to the energy gradient, and retain

12、the first three pictures.Then, we finish the face recognition by LDA algorithm combining with three images. 5, Stranger descrimination.Through a large number of face data, we aquire everyones face recognition Euclidean distance distribution. Each persons Euclidean distance approximate accord with no

13、rmal distribution . By sacrificing sstranger descrimination. Besise, the intelligent surveillance system can also combine the method proposed in this paper with gait, audio, etc to improve the reliability of the security and attendance systems reliability. Key words: security and attendance; embedde

14、d; face recognition; LDA; descrimination III 目录 m w . i Abstract . II m-m . i u课题背景 . i 1.2国内外研宄现状 . 2 1.2.1视频监控发展现状 . 2 1.2.2人脸识别研宄现状 . 3 1.3论文主要工作 . 6 1.4章节安排 . 6 第二章系统总体方案与架构设计 . 8 2.1需求分析 . 8 2丄 1系统功能需求 . 8 2丄 2性能需求 . 8 2丄 3设计目标 . 9 2.2核心板资源 . 9 2.3整体拓扑设计 . 11 2.3.1服务端模式 . 12 2.3.2摄像头前端模式 . 12 2

15、.4软件架构设计 . 13 2.5通信协议设计 . 14 2.5.1网络处理流程图 . 14 2.5.2通信协议 . 16 2.6 4、会吉 . 18 第三章运动捕捉与人脸检测 . 19 3.1 弓丨 W . 19 3.2运动物体检测 . 19 3.2.1常用运动检测算法 . 20 3.2.2基于硬件加速的运动检测 . 21 IV 3.2.3算法流程图 . 21 3.2.4参数初始化 . 21 3.2.5运动物体定位方法 . 23 3.2.6状态分析与优化 . 24 3.3人脸检测算法分析 . 26 3.3.1 Haar 特征 . 26 3.3.2 LBP纹理特征 . 27 3.4人脸检测实验

16、 . 28 3.4.1检测方法对比实验 . 28 3.4.2本文检测算法性能实验 . 30 3.5 4、会吉 . 32 第四章人脸识别与鉴别 . 33 4.1 弓丨 W . 33 4.2线性判别分析算法 . 33 4.2.1 Fisher 准则 . 34 4.2.2 LDA 算法 . 34 4.2.3识别效果 . 38 4.3人脸图像预处理 . 38 4.3.1几何归一化 . 38 4.3.2直方图均衡 . 39 4.4人脸图像清晰度评价 . 40 4.4.1清晰度评价算法 . 41 4.4.2清晰度评价实验 . 44 4.5多角度人脸识别实验 . 46 4.5.1人脸样本的采集 . 46 4

17、.5.2人脸识别实验 . 47 4.6基于多模板的人脸识别 . 49 4.6.1 算法流程图 . 50 4.6.2识别结果 . 51 4.6.3结果分析与对比 . 52 V 4.7人脸鉴别 . 53 4.7.1近似正态分布 . 54 4.7.2最优阈值 . 55 4.8 4、会吉 . 58 第五章系统测试 . 59 5.1 弓丨 W . 59 5.2检测判断时间分析 . 59 5.3考勤安防效果测试 . 62 5.3.1考勤效果 . 62 5.3.2安防效果 . 63 5.3.3模糊区设置 . 63 5.4本章小结 . 64 it . 66 #教南犬 . 67 攻读硕士学位期间取得的研究成果

18、. 70 & i射 . 71 VI 第一章绪论 第一章绪论 1.1课题背景 如今，随着社会经济不断发展，城市扩张，社会各种矛盾也在不断激化，社会犯罪 发案数居高不下。而入室盗窃作为社会犯罪的一个重要组成部分，也一直是社会安全的 一个热点话题，盗窃案的案发数量惊人。据法制日报新闻报道， 2015年 1月至 9月广 东省盗窃抢劫案件发案数达到 36万多次，给国民财产造成了重大损失。然而，由于盗 窃案的零碎性以及盗窃事发的偶然性，导致国内盗窃案的破案率极低。举例来说， 2013 年全国入室盗窃案破案率不到15%，而盗窃案件占所有刑事案件的比例在 60%以上。 面对这一问题，视频监控开始一步步覆盖到城

19、市的每一个角落。在安装了视频监控 设备后，警卫人员可以坐在办公室电脑桌前，对所辖范围的所有角落进行实时监控，获 取到监控区域的实时画面信息。同时，监控设备也会将实时监控视频流存储到本地硬盘 上，以备在需要时对监控视频进行回放查看。然 而，这仍然不是一个令人满意的解决方 案。为了达到安防的目的，保证实时监控异常行为并及时采取有效措施，就需要安排工 作人员一直注视着屏幕，当有人经过摄像头下的场景时，需要对来人进行身份辨认。这 种情况下监控人员容易疲惫，尤其面对多路监控视频时，往往目不暇接，很难及时对异 常做出反应。而当监控人员目不暇接或者没有工作人员进行实时监控时，监控录像就变 成了一个事后查证的

20、工具而已，并不能对陌生人侵入及时提供报警信息。因此这就迫切 需要智能视频监控来辅助监控人员的工作 1。 智能视频监控技术是最近十来年才兴起的计算 机技术，它结合了计算机视觉、人工 智能和机器学习等多方面前沿计算机科学技术。智能视频监控，是指监控系统从摄像头 前端获取连续的实时视频流，然后从视频流中获取到连续的监控图像。通过各种图像处 理算法，从图像中获取所需的目标物体信息，对其行为或特征进行描述与判定。智能视 频监控的实现原理是，实时采集从摄像头传输过来的视频流，获取关键帧图像并通过计 算机视觉提取图像中的有用信息。根据提取得到的信息进行系统的下一步处理。为了减 少视频监控对于人工的依赖，实现

21、自动化监控，针对各种应用场景的智能视频监控系统 也越来越多 。目前，智能监控系统已应用于车牌识别、跌倒检测、入侵检测、物品检测 和运动跟踪等多个视频监控领域。本文中涉及到的智能视频监控是指，通过摄像头获取 1 华南理工大学硕士学位论文 场景中的人脸图像，然后对场景中的人进行身份鉴别，这其中包括运动物体的检测，人 脸的获取和人脸识别与鉴别三个部分。 人脸识别与鉴别是智能安防考勤系统的核心技术算法，对于办公室及类似环境的安 全保护、办公室财产的安全防护具有极其重大的意义。各种公共办公区域的入口，人来 人往。如果单独靠人力去注意是否有非办公室内人员进入，工作量非常大而且可能会出 现遗漏。而当有陌生人

22、进入办公区域时，很可能给办公室财产造成重大损失。 基于以上背景，本文提出了一种基于视频内容分析的嵌入式监控系统。该系统可以 对出入办公室人员的身份进行认证，防止陌生人随意进出办公环境。该系统将人脸识别 与鉴别技术融入到视频监控技术之中，使得系统在进行实时监控的同时，也具备有安防 与考勤功能，能够自动识别场景中出现的人的身份，并作来访记录。监控人员可通过电 脑、 Pad、 手机等任意能够上网的设备，实时获取监控数据信息（人员、出入时间点、 人脸图像等），而不用一直注视监控屏幕。此外，当有陌生人侵入环境时，系统也会进 行自动告警，实现了自动化监控。如今，各地安装的监控系统仍然停留在传统的应用层 次

23、上，而未来的趋势将是监控的智能化和自动化，本文研宄的智能视频内容分析已逐渐 成为计算机视觉领域的热门研宄课题，本文设计的智能嵌入式安防考勤监控系统将具有 广阔的市场应用前景，为监控领域的发展做出巨大贡献。 1.2国内外研究现状 1.2.1视频监控发展现状 视频监控开始于上个世纪七八十年 代，监控系统采用的是传统模拟闭路视频监控系 统 （ Closed Circuit Television)， 同轴电缆作为数据传输介质。初代视频监控设备价格昂 贵，传输距离短（受传输介质的影响），一般只有银行和大型企业等高档场所才会配备 监控闭路电视。九十年代后，视频监控开始进入半数字化时代，视频传输距离仍然较短

24、 但存储设备由模拟式录像带等存储介质升级为数字硬盘，存储量大大增加。由于网络的 开始普及，监控系统开始支持局域网内有限的网络访问，用户可通过硬盘录像机访问任 意监控摄像头，获取实时视频 23。 九十年代末 开始，视频监控开始进入全网络数字化时代，用户可在授权情况下从任 意地点通过网络访问监控系统，获取实时监控图像。监控设备依靠嵌入式技术的发展， 2 第一章绪论 开始走一体机路线，可直接接入宽带网络。设备可通过外接硬盘进行大容量数据存储， 通过自带的以太网网卡直接接入万维网。随着嵌入式技术的发展，监控设备不再是功能 单一的监控器，同时也内置有操作系统 （ linux、 winCE等），可供用户进

25、行基于监控视 频流的二次开发，这也直接促进了智能视频监控领域的发展。视频监控不再局限于简单 的安防功能，开始对视频中感兴趣的目标进行检测、定位与跟踪，对目标的行为进行分 析、理解和识别，视频监控开始进入车牌识别、行为分析和人脸考勤等应用领域。 我国的视频监控，始于上世纪八十年代初。但在发展初期，由于技术、资金和安防 标准等方面受制于欧美国家，故技术相对落后。进入二十一世纪以来，中国的数字视频 监控技术开始进入发展的快车道，目前国内安防企业己达到 2万余家，相关行业从业者 达到 100多万人。其中，国内较著名的安防企业有杭州海 康威视、浙江大华和深圳英飞 拓等，各大公司都推出了优质的数字视频监控

26、解决方案，致力于视频处理技术和视频分 析技术的研发。此外，国内知名企业华为公司也先后推出了 HI3515、 HI3516、 HI3517 和 HI3520D等数款视频监控专用芯片和解决方案，本文设计的安防监控管理系统就是基 于 HI3520D开发板开发而成。 经过五十年的技术发展，视频监控技术已取得巨大成就。如今，单纯的视频监控已 无法满足市场需求，视频监控开始朝着更深层次发展。首先，视频监控将朝着数字化和 网络化的方向发展，实现各个安防监控子系统 的互联，实现更便捷的监控视频访问、存 储和传输，改变视频数据采集和系统控制的方式。其次，监控视频的功能将朝着跟智能 化的方向深耕，视频监控将不仅仅

27、是简单的数据记录，还将对实时发生的事情进行处理， 甚至进行事前预警。视频监控将与计算机视觉、人工智能和机器学习等多方面的前沿计 算机科学技术相结合，极大提高视频监控的智能化水平。 1.2.2人脸识别研究现状 计算机人脸识别技术也就是利用计算机分析人脸图像，进而从中提取出有效的识别 信息，用来 “ 辨认 ” 身份的一门技术 3。人脸识别是一种基于生物特征的身份认证技术， 技术刚开始主要应用于公共安全领域，如今应用范围已经推广到安防、考勤、认证和门 禁等多个方面。完整的人脸识别技术包括离线训练和在线识别两个部分。其中离线训练 用于生成人脸的模型，对每一个人生成标准脸。在线识别是将未知的人脸进行预处

28、理， 3 _ 华南理工大学硕士学位论文 _ 提取人脸特征，然后与人脸模型中的标准脸进行比对，然后输出识别的结果。人脸识别 的工作流程如图 1-1所示。 图 1-1人脸识别算法流程图 人脸识别技术的研宄最早可追溯到上个世纪五六十年代，最早的学术成果由 Bledsoe和Chan在 Panoramic Research Inc上发表，其提出了一种通过研究人脸五官特 点，建立基于人脸五官间距和比率而成的半自动化人脸识别系统。这种系统需要人工对 人脸部位（眼睛、鼻子等）的位置与距离进行标定，实用价值很低。 进入上世纪九十年代后，人脸识别精度得到了很大提升，达到了令用户满意的程度， 但人脸检测却迟迟达不到

29、理想的速度。直到 21世纪 Viola发表了基于 Adaboost的人脸 检测算法，该算法大大提高了人 脸检测的速度，使人脸识别技术的研宄进一步得到发展。 各种军用、商用和民用人脸识别系统开始大量出现，人脸识别逐渐成为图像分析与处理 领域最成功的应用之一。 目前，人脸识别算法主要有以下几种： 1、基于几何特征的方法 这是人脸识别技术中最古老、最传统的识别办法。它主要是采集人脸的眼睛、鼻子、 耳朵、头发、脸型等部位的信息，根据各个部位的位置及比率来对人脸进行描述。这种 算法对光照敏感度小，但对于表情和姿势特别敏感。当表情或者姿势发生变化时，特征 4 第一章绪论 点位置会发生很大的变动，导致识别效

30、果急剧下降。由于这种方法使用的特征过于简单， 导致识别率较低，现在基本已经没有太多应用。 2、 基于特征脸的方法 特征脸 （ EigenFace)的思想就是，将人脸从原始的像素空间映射到另外一个空间。 而，我们在另外一个空间里所描述的人脸，就是特征脸。我们将数据从一个空间里映射 到另外一个空间的目的就是将同一类的图像数据聚集到一起，使不同类的数据相隔距离 较远，这样就能够实现较好的分类，得到比较好的识别结果。 特征脸方法是利用主成分分析法 (PCA)， 将人脸的主要成分提取出来，对像素空间 的数据进行降维。数据降维之后，可以大大降低数据量，从而提高计算机的运算速度。 在人脸像素数据中，不同人脸

31、中的有用数据彼此差异较大，无用数据（例如噪点）彼此 差异很小。 故而可通过取方差最大的维度数据，得到人脸的有用数据，用于识别。但由 于 PCA并不区分差异性信息的来源，故 PCA对外界因素（人脸角度、光照条件等 ） 的 影响非常敏感。 3、 局部二值模型法 局部二值模型 （ Local Binary Patterns， LBP)最开始应用在图像的局部纹理特征的 提取。 LBP反映的是图像中每个像素点与其相邻像素点的关系，后来算法被不断改进和 优化，提出了 LBP旋转不变模型和 LBP均匀模型等。局部二值模型的优点在于对于人 脸的光照、方向等外部条件的影响不敏感。此外，目前还有很多算法是基于 L

32、BP改进 而成的，如局部多层对比模型 （ LMCP)、 二维多尺度局部二值模型 （ MB-LBP)等。 4、 三维模型方法 三维模型算法的原理是，通过多角度的人脸数据，利用图像合成技术，建立 3D人 脸模型。Rusu等 5通过视角特征直方图 （ VFH)来对人脸几何形状和视角进行描述，可 实现实时人脸识别和姿势估计。 HUsken等将 2D人脸识别技术与 3D人脸外形信息相 结合进行人脸识别的办法，证明将 3D外形信息作为辅助信息添加到人脸识别中可以大 大改善 2D人脸识别的效果。 Cook等 m提出了通过 Log-Gabor模版提取人脸的 147个观 察点，然后通过这些点来进行人脸的识别。实

33、验证明，其比 ADM、 LGT等模型的识别 效果更好，抗表情和光照等条件的干扰性更强。 华南理工大学硕士学位论文 1.3论文主要工作 本文旨在设计一个应用于通道相对封闭的类办公室环境的嵌入式安防考勤监控系 统。系统基于 HI3520D开发板，系统运行于 Hilinux操作系统之上，可对摄像头下来往 的人员进行实时监控，对来往人员身份进行鉴别。当识别为系统注册人员时，进行考勤 记录；当识别为陌生人时，进行联网告警，通知相关人员处理。 本文的主要工作有以下几个方面： 1、 系统的总体方案与架构设计。本设计的硬件平台是海思 HI3520D， 操作系统是 HiLinux， 基于 linux 3.0 开

34、发。 2、 海思开发板的多媒体二次开发。海思开发板自带有多媒体 API， 通过相关的 API， 获取摄像头端传输过来的实时视频流、实时图片和实时运动侦测数据。然后，作者基于 上述数据，进行二次开发应用。 3、 人脸检测算法的 选择。通过对基于 Haar及 LBP两种特征的的人脸检测算法进行 实验测试，得到一种平衡了漏检率和错检率的人脸检测算法。 4、 人脸识别与鉴别算法。使用 LDA算法进行人脸识别，获取人脸识别欧氏距离。 通过大量数据样本，估计得到每个注册人的欧氏距离分布。根据欧氏距离分布来计算得 到每个注册人的识别阈值，实现陌生人鉴别。 5、 系统测试。在完成整个系统的设计之后，作者进行系统测试，测试包括人员检 测判断时间和系统的安防考勤效果两个方面。 1.4章节安排 本论文的主要内容和结构安排如下： 第一章绪论 介绍了智能视频监控这一课题的研宄背景，对国内外视频监控领域的发展现状和人 脸识别的主要流程和主流识别算法。最后对作者在本课题上的主要工作内容和后续章节 安排进行介绍。 第二章系统总体方案与架构设计 介绍系统的功能需求和性能需求，给出系统的设计目标。接着介绍了系统使用的核 心硬件，对整个系统的拓扑结构进行设计，最后提出了软件架构设计和系统通信协议。 6 第一章绪论 第三章运动捕捉与人脸