基于海思平台的智能视频车牌识别算法_马春香.docx

《基于海思平台的智能视频车牌识别算法_马春香.docx》由会员分享，可在线阅读，更多相关《基于海思平台的智能视频车牌识别算法_马春香.docx（70页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、题目 : 基于海思平台的智能视频车牌识别算法 研 究 生 马春香 专 业 电路与系统 指 导 教 师 春 会 斌 教 授 完成曰期 2011年 12月 杭州电子科技大学 学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得 的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或集体己经发表或撰写过 的作品或成果。对本文的研究做出 要贡献的个人和集体，均已在文中以明确方式标明。 申请学位论文与资料若有不实之处，本人承担一切相关责任 D 本人完全了解杭州电子科技大学关于保留和使用学位论文的规定， B卩：研究生在校攻读 学位

2、期 N论文工作的知识产权单位属杭州电子科技大学和中国电子科技集团公司第五十研究 所共同所 有。本人保证毕业离校后，发表论文或使用论文工作成果时署名单位仍然为杭州电 子科技大学。学校有权保留送交论文的复印件，允许杳阅和借阅论文；学校可以公布论文的 全部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。（保密论文在解密后遵 守此规定） 学位论文使用授权说明 杭州电子科技大学硕士学位论文 基于海思平台的智能视频车牌识别算法 研究生 ： 马 春 香 指导教师： 秦 会 斌 教 授 2011年 12月 Dissertation Submitted to Hangzhou Dianzi Unive

3、rsity for the Degree of Master Intelligent Video License Plate Recognition Algorithm based on Hisilicon Platform Candidate: Ma Chunxiang Supervisor: Professor Qin Huibin December, 2011 摘要 作为未来监控发展的方向，智能视频技术不仅是一种图像数字监控分析技术，而且还 是一种更为高端的数字视频网络监控应用，从而被行业称之为第四代视频监控技术，是视 频监控领域最前沿的应用模式之一。 基于海思平台的智 能视频车牌识别技

4、术，将车辆的行驶行为作为分析对象，通过自动 辨别车辆行为、捕捉车辆图片为后端平台应用系统挖掘准确而有效的车辆行为管理原始数 据，有效地规范车辆行驶秩序，并对违法行为进行自动取证。在现有的社会环境下，它具 有优秀的应用潜力与广阔的应用空间。近年来，对智能视频车牌识别技术的研究已成为一 个热点问题。 论文首先分析智能视频监控算法的研究现状，重点选取了智能车牌识别算法作为研究 方向。论述了智能车牌系统中的四个模块一一车辆图像预处理、车牌区域定位、车牌字符 分割与车牌字符识别；在华为 ffi3515平 台上设计并实现了车牌识别系统。为了提高系统的 鲁棒性和环境适应性，本文在学习现有研究成果的基础上，仔

5、细分析四个模块设计中的重 点与难点，将数字图像处理的相关理论与实际应用情况相结合，提出相应的解决方案。 在图像预处理模块设计中，本文阐述了车辆图像的增强技术，采用彩色图像灰度化、 灰度拉伸、直方图均衡化、中值滤波、 Roberts边缘检测和迭代阈值法的二值化等预处理算 法。在车牌区域定位模块中，根据车牌区域灰度变化比较频繁，与实际拍摄车辆图像中车 牌字符与图像背景灰度对比度较大的特点，提出了一种基于边缘梯度的窗 口搜索车牌定位 算法对车牌区域进行定位，利用车牌的投影特征与铆钉特征对定位出的车牌区域进行验证， 在一定程度上提高了车牌区域定位的精确度，为后续的车牌字符分割与识别奠定了坚实的 基础。

6、在车牌的字符分割模块中，根据车牌字符的特征，采用了基于字符模板的分割算法 对字符进行分割，并依据字符包络和字符二值图像垂直投影同时出现波谷的特点对粘连字 符进行处理，有效地克服了车牌上下、左右边框及字符粘连等噪声的干扰，提高了分割质 量，使此算法具有很好的鲁棒性。在车牌字符识别方面，参照目前的研究现状，本文采用 了改进的 BP神 经网络技术，在提高了字符识别准确率的同时，又増强了系统的稳定性。 本文中的算法已在 Hi3515的视频监控平台上实现并运行成功。实验结果表明，整个系 统的算法简单、复杂度低，具有较强的鲁棒性和环境适应性，在物联网安防、智能交通以 及安防监控等领域具有实际的应用价值。

7、关键 词：视频监控，智能视频，窗口搜索，字符分割，神经网络，车牌识别 I ABSTRACT Intelligent video technology, as a trend of future surveillance, is not only a digital image surveillance analyzing technology, but also it is a representative of more high-end application of digital video network surveillance, and hence is considered to

8、 be the 4th generation of video surveillance technology in the industry, one of the most cutting-edge mode of application in the field. Intelligent video license plate recognition technology based on Hisilicon platform sets the vehicle behavior as its object of analysis. Through the automatic recogn

9、ition of vehicle behavior and the capture of the vehicles images, the technology collects accurate and effective raw data of vehicles behavior management for the back-end platform application system, hence the technology helps the effective regulation of vehicle order and the automatic obtaining of

10、illegal behaviors evidence. Therefore the technology has a good application potential and very broad application space. In recent years, the study on intelligent license plate recognition has become a hot issue. The thesis first analyzes the research status concerning intelligent video surveillance

11、algorithm, and emphasizes the intelligent vehicle plate recognition system as its research area while it also argues comprehensively the 4 key modules in the system: vehicle image preprocessing, license plate positioning, license plate character segmentation and license plate character recognition.

12、As well, the thesis designs and realizes the license plate recognition system on Huawei Hi3515 platform. Based on the study on the existing research results, the thesis anatomizes the emphases and difficulties in the design of the 4 modules for the enhancement of the systems robustness and environme

13、ntal adaptation. The thesis also combines the theories concerning digital image processing with practical application and proposes corresponding solution in accord with actual situation. In the image preprocessing module, the thesis studies the vehicle images enhancement technology, adopting the pre

14、processing methods as colored image graying, gray stretch, histogram equalization, median filtering, Roberts edge detection and binarization of iterative threshold etc. In the actual captured vehicle images, theres high frequency of license plate region gray variation and also there are huge gray co

15、ntrast between the license plate character and image background. Based on these traits, in the section of license plate region positioning, the thesis proposes a window scanning license plate positioning algorithm based on edge gradient and it further verifies the positioned plate region on the basi

16、s of projection feature and rivet feature and hence to a certain extent it improves the accuracy of license plate region positioning, providing a solid foundation for the consequent license plate character segmentation and recognition. In the license plate character segmentation module, based on the

17、 preprocessing of image, the thesis adopts the character-template-based segmentation algorithm in line with the features of license plate character, and processes characters overlapping segmentation by utilizing the feature that character envelope and vertical projection of character binary image sh

18、ow trough simultaneously, therefore the thesis effectively overcomes the overlapping of character and the noise interference of license plates 4 frames and consequently improves the segmentation quality, endowing the algorithm excellent robustness. In the module of license plate character recognitio

19、n, the thesis compares the existing research results and employs the BP-based neural network technology, and hence improves the accuracy of character recognition and enhances the stability of the system. The algorithm used by this thesis has been realized and successfully operated. As shown in the e

20、xperimental results, the entire system has a simple algorithm with low complexity, great robustness and environmental suitability, and it will present practical value in the areas of EPC system network security, intelligent traffic and security surveillance. Keywords ： Video surveillance, intelligen

21、t video, window scanning, character segmentation, neural network, license plate recognition HI 目录 W . I ABSTRACT . II B 1 # 会者 . 1 1.1课题背景及研究意义 . 1 1.2国内外研究现状与发展趋势 . 1 1.3论文的主要工作 . 2 1.3.1本课题的主要内容 . 2 1.3.2本课题的创新点 . 3 1.4本文的章节安排 . 3 第 2章车牌图像预处理 . 5 2.1 弓 . 5 2.2图像灰度化 . 5 2.3图像增强技术 . 7 2.3.1灰度拉伸 . 7

22、2.3.2直方图均衡化 . 8 2.3.3中值滤波 . 9 2.4边缘检测 . 9 2.5图像二值化 . 12 2.6数学形态学 . 14 2.7本章小结 . 15 第 3章车牌定位与字符分割 . 16 3.1弓唁 . 16 3.2车牌定位 . 16 3.2.1车牌特征信息分析 . 16 3.2.2传统的定位算法 . 18 3.2.3基于边缘梯度的窗口搜索法 . 20 3.2.4基于投影特征的车牌区域验证 . 24 3.2.5基于铆钉的车牌区域验证 . 26 3.2.6车牌定位实验结果 . 26 3.3车牌字符分割 . 27 3.3.1 引言 . 27 IV 3.3.2车牌字符分割算法概述 .

23、 27 3.3.3基于字符模板的分割算法 . 28 3.3.4车牌字符分割的实验结果 . 30 3.4本章小结 . 31 第 4章车牌字符识别 . 32 4.1弓唁 . 32 4.2字符识别的特点 . 32 4.3车 牌字符的算法概述 . 33 4.4基于 BP神经网络的车牌字符识别 . 34 4.4.1神经网络概述 . 34 4.4.2车牌字符的特征提取 . 34 4.4.3 BP神经网络算法的基本原理 . 35 4.4.4 BP神经网络的结构设计 . 37 4.4.5实验结果 . 39 4.5本章小结 . 40 第 5章基于海思平台的车牌识别系统设计 . 41 5.1设计的基本原则 . 4

24、1 5.2系统结构设计框图 . 41 5.3系统开发编译环境 . 42 5.3.1系统开发环境 . 43 5.3.2系统编译环境 . 44 5.4本章小结 . 45 第 6章测试方案与全文总结 . 46 6.1系统的测试方案 . 46 6.2测试结果与分析 . 47 6.3全文总结 . 51 6.4 52 if . 53 参考文献 . 54 Mi . 57 V 第 1 章绪论 1.1课题背景及研究意义 随着视频监控的日益普及，传统人为监控的信息量大、可靠性低等局限性越来越突出， 用户不再满足于简单的视频录像，而是期望它更加智能。所以，视频监控需要处理的问题 不仅是如何有效的采集信息，而且是如何

25、准确的对视频信息进行分析、如何从大量的图像 信息中获取对用户有用的信息。作为未来监控发展的方向，智能视频技术是视频监控领域 最前沿的应用模式之一，越来越多的受到人们的关注。基于海思平台的智能视频车牌识别 技术，将车辆的行驶行为作为分析对象，通过自动辨别车辆行为、捕捉车辆图片为后端平 台应用系统挖掘准确而有效的车辆行为管理原始数据，可以有效地规范车辆行驶秩序，并 对违法行为进行自动取证，在现有的社会环境下，具有优秀的应用潜力与相当广阔的应用 空间。近年来，对智能视频车牌识别技术的研究已成为一个热点问题。 智能视频监控 1 (Intelligent Video Surveillance)是计算机视

26、觉技术与人工智能结合研究 而发展起来的产物，它在监控的视频图像与事件描述之间建立某种对应映射关系，使计算 机对监控应用场景的视频图像进行分析，发现异常情况时以最佳、最快地方式进行联动报 警，可以有效地协助安防人员处理危机。是新一代基于视频内容分析的监控系统。 和许多人类技术一样，智能视频监控技术也是仿生学引导的结果。它用摄像机模仿人 眼的功能，把眼睛 “ 拉 ” 到人们实际难以到达的时空；而智能监控系统或设备则可以看作 人的大脑，对眼睛所 “ 看 ” 到的内容进行分析与响应，使 监控系统更加智能的同时，还可 以大大提高安防人员的工作效率。所以智能视频监控不仅是一种数字化图像的监控分析技 术，而

27、且还是一种高端的数字视频网络监控应用。 如今，数字硬盘录像机 （ Digital Video Recorder)大多采用 DSP实现智能化算法 。 DSP 作为专门的微处理器，存在其不足之处：专用性强、移植性差，研发难度大、周期长；而 随着技术的发展， ARM芯片的主频已达到几百 MHZ甚至 1GHZ， 所以理论上在通用的 ARM 平台上实现智能化视频算法不存在问题。 ffi3515处理器系统 2基于高性能的 ARM926处理 器搭建， ARM926 CPU处理频率达到 400MHz， 能够提供灵活和丰富的应用业务，及高性 能的首视频业务。 基于上述原因，在海思平台上实现智能化视频算法，不但可

28、以提高程序的可移植性， 而且还可以有效协助安防人员处理异常情况及突发事件，为人们的工作与生活提供便利及 安全保障。 1.2国内外研究现状与发展趋势 (1) 国内外的研究现状 1 智能化视频监控系统 3，其核心部分主要在于对视频信息的分析，而满足这一功能的关 键在于其核心算法软件部分。其核心算法已经成为众多大公司、科技机构、大学等热门研究 课题。ObjectVideo、 Verint、 Nice等国外厂商目前已有相类似的系统和产品，国内像中科院的 许多研究所、清华大学、北京汉王科技等均有类似研发队伍，但国内的应用系统和产品开发 尚在起步阶段。 据了解，目前大部分智能视频监控系统的核心算法技术仍然

29、掌握在美国以及欧洲地区等 先进国家 。 IMS Research调杳显不，世界范围内 IVS (Intelligent Video Software)的市场占有 率为 35% 36%，其中美国的 OV (ObjectVideo)就占有了 9%左右的比例。而大部分国内厂家 则仍处在同国外开发商合作的阶段。北京兆维泰奇技术总监沈宇枫表示，目前中国科学院等 研究机构已经有专门针对智能图像处理的研究专家，正朝着如何解决核心算法、 IT以及图像 处理等问题的方向不懈努力，相信在不久的将来，中国将会拥有完全属于自己的独立智能化 视频监控系统。 (2) 发展趋势 从客户的需求情况方面来讲：随着社会的发展，人

30、民对平安安防要求提高，视频监控 4 系统快步走入人民的视野，但是由于传统人为监控的信息量大、可靠性低等局限 性越来越突 出，用户不再满足于简单的视频录像，而是期望它更加智能。在这种背景下，智能视频监控 系统应运而生，并且引起人民越来越多的关注，需求量口益增加。智能视频监控从萌芽状态 逐渐形成一个高科技产业，人民开始慢慢意识到智能视频是顺应自己所需，是未来的监控领 域的发展之道，紧跟此趋势的厂家可谓 “ 忽如一夜春风来，智能视频遍地开 ” 。 从技术角度方面来说：智能视频监控将： 1)模拟人脑功能，将会越来越智能； 2)低成本 ; 3)适应更为复杂和多变的场景发展； 4)真正 “ 基于场景内容分

31、析 ” ，在安防产业中起到预警 5 的作用。 在应用角度方面：目前，智能视频监控的功能单一、设置繁杂、价格昂贵，属于一种高 档次应用，主要应用于某些特定的场合及重大活动场所，如银行、博物馆、展览馆、奥运会、 世博会、广运会等。但随着技术和市场发展的口趋成熟，我们相信智能视频监控将在各行各 业得到大面积的推广，直至走进千家万户，为人民的 “ 平安生活 ” 贡献一定的力量。 1.3论文的主要工作 1.3.1本课题的主要内容 目前关于视频的智能算法主要的研究方向有区域检测 6、绊线检测 7、物品遗留检测 8、 物品移失检测 9、最佳人脸捕捉、人脸识 别 1 x2 式 （ 2.3)的运算结果是将原图在

32、和 x2之间的灰度拉伸到乃和乃之间。 灰度拉伸能够比较灵活的控制输出灰度直方图的分布，达到有效改善输出图像的目的。 倘若一幅图像的灰度集中在较暗的区域而导致图像偏暗，为了改善图像质量，可以用灰度 拉伸功能来拓展（斜率大于 1)物体灰度区间；同样，如果图像的灰度集中在较亮的区域， 导致图像偏亮，那么也可以用灰度拉伸功能压缩（斜率小于 1)物体的灰度区间，以便改善 图像质量。 如何选取适当的 x7 、 &和使图像的对比度更优，拉伸效果更佳是目前问题的关 键。对 x7、 进行选取的总体原则是选取图像灰度中最为集中一段的左右端点。在此原则 下有多种选取方法 一一 灰度直方图，将直方图中最大波峰的两侧波

33、谷所对应的灰度值作为 &、 x2;另外也可以固定灰度步长进行扫描，对步长内的总像素个数进行累计求和，得出最 f(x ) = -.Vi 255 - x- 255. .易 xi)+yi -x2)+ y2 7 大值，然后将取得最大值的灰度范围的左右两个端点作为 x7、 x2。 本文所采用的第一种方法 是将 X7、 X2分别选取为两侧波谷对应的灰度值， _w=x/2、 _) = 3心 /2，把高灰度区和低灰度 区同时进行压缩，并将中间灰度区拉伸，以便取得较好的效果。 2.3.2直方图均衡化 直方图均衡化 15是将输出图像的直方图近似为均勻分布的算法，它是以提高像素灰度 值的动态范围，来实现増强图像整体

34、对比度的目标。图像直方图能够反映图像灰度分布的 统计特征，是一种常用的灰度图像増强算法。 例如，通常一幅经均勻量化的自然图像的灰度直方图的频率在低值灰度区间上较大， 导致图像中较暗区域中的细节不能被很好的辨别。为了使图像清晰可辨，可对图像进行非 线性的拉伸、重新分配图像像素值，以便让频率较小的灰度级经变换后将其频率提高。这 样，使一定灰度范围内的像素数量趋于相同。经直方图均衡化之后的效果如图 2.2所示： (b)直方图均衡化的图像 图 2.2图像经直方图均衡化前后对比图 在实际应用中，并不是每幅采集的车辆图像都需要进行直方图均衡化。通常在背景并 8 不复杂的条件下，图像对比已较为明显，灰度拉伸

35、所达到的效果将优于直方图均衡化。此 外，灰度拉伸在计算速度上也要比直方图均衡化更快。当车牌背景较为复杂时，那么直方 图均衡化的效果就会优于灰度拉伸。在这里，本文只针对车辆图片过亮、过暗的情况进行 直方图均衡化处理。 2.3.3中值滤波 中值滤波 16是一种非线性的空间滤波器，其基本原理是把数字图像或数字序列中一点 的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近其真实值，从而消除孤 立的噪声点。对于某些类型的随机噪声如椒盐噪声，中值滤波器能够提供了较好的降噪效 果。相对于线性滤波器而言，中值滤波对图像造成的模糊程度很低，边缘特征能被较好的 保存下来，它对脉冲干扰及图像扫描噪声的滤波效

36、果非常好，它是平滑噪声的经 典方法， 较常采用。 中值滤波的算法步骤如下： (1) 将模板置于图像的中心，并使模板的中心与图像中某个像素位置重合； (2) 获取模板下各个像素的灰度值，并按从小到大的顺序进行排列； (3) 由下面的公式计算出它们的中间值 m: (4) 将这个中间值赋给对应模板中心位置的像素。 中值滤波器选择的窗口大小和形状可以多种多样。常用的二维中值滤波窗口主要是方 形、线状、十字形、圆形、菱形等，不同的窗口形状和尺寸对滤波器效果影响很大，其中 外廓线较长的图像适合采用方形或圆形窗口，有尖顶状的图像使用十字形窗口效果较好。 鉴于程序的复杂性、滤噪效果及处理时间等方面考虑，经过实

37、验对比，方形中值滤波器能 够较好的达到本文所预期的效果。 中值滤波不仅降低了了部分的噪声干扰，有效地滤除了图像中的孤立点，边缘模糊也 没有发生。因此，图像平滑滤波时采用中值滤波。 2.4边缘检测 图像边缘是图像的基本特征之一。边缘是图像中特性分布不连续处、图像周围特性有 阶跃式变化以及屋顶状变化的像素的集合。它蕴含了丰富的内在信息，如：方向、阶跃性 质、形状等，不仅能勾画出目标物体，而且也可以作为形状特征提取、纹理特征提取以及 图像分割等图像分析技术的基 础。因此，边缘检测对图像识别和计算机分析有着重要的意 义。 边缘检测的基本思想 17为：如果一个像素落在图像中某一个物体的边界上，它的邻域 将成为一个灰度级变化的带，表示边缘主要的两个特征是灰度的变化率和方向，它们分别 9 以梯度向量的幅值和方向来表示。边缘检测算子检查每个像素的邻域并对灰度变化率进行 量化，通常也包括方向的确定。 边缘检测运算的本质是在图形灰度级中检测重要局部变化的 运算，它可通过灰度图像 的拉普拉斯算子（二阶导数）和梯度算子（一阶导数）来测量图像灰度级别变化。梯度算 子通过相邻像素值的差分计算灰度级强度的变化及当灰度强度发生时的方向。梯度算子需 要两个模板，它们分别从 X、 Y方向的梯度获得，这两个梯度结合获得向量，其中向量的 幅值表示图像中点的边缘强度，