本文用图像处理技术、车牌定位技术、车牌分割技术、字符.doc

车牌识别本文应用图像处理技术、车牌定位技术、车牌分割技术、字符特征提取方法、神经网络识别技术等来解决车辆牌照识别问题，首先将图像进行灰度化、灰度拉伸、中值滤波的预处理方法，很好地消除了图像的噪音，强化了纵向纹理区；通过对车牌特征和定位技术的深入研究，提出了基于水平扫描和垂直投影法的车牌定位方法，能够很准确地搜索到车牌区域；基于车辆牌照的一些结构特点及先验知识，完成了基于投影直方图的车牌字符分割域；最后对神经网络的构成以及相关的理论进行了讨论，着重分析了神经网络的理论原理和在字符识别中的应用方法。例如车辆牌照中省份汉字的识别问题，1988年戴营等利用常见的图像处理技术方法提出汉字识别的分类是在抽取汉字特征的基础上进行的.根据汉字的投影直方图(Projection Histogram)，选取浮动阈值，抽取汉字在y方向的峰值，利用树形查表法进行汉字的粗分类；然后根据汉字在x方向的投影直方图，选取适当阈值，进行量化处理后，形成一个变长链码，再用动态规划法，求出与标准模式链码的最小距离，实现细分类，完成汉字省名的自动识别.车牌字符识别系统的字量小，包括50多个汉字，24个大写英文字母，10个数字，总共仅80多个字符。而且车牌的制作有国家统一的标准，字符的大小一致，字型统一。相对于普通的字符识别，难度降低了。但从实用的角度看，车辆牌照识别系统应该是一个全自动的、实时的系统，因此要求有较高的识别速度和正确率。目前牌照自动识别技术尚未达到很完美的程度，但是在国外由于高速公路和收费停车场发展较早，己经成功地开发了一些类似的自动系统。虽然，国外汽车牌照识别系统的研究工作有一定进展，但并不尽合我国国情，这主要是因为以下五个方面的原因:(1)我国标准汽车牌照是由汉字、英文字母和阿拉伯数字组成，汉字的识别与字母和数字的识别有很大的不同，从而增加了识别的难度;(2)国外许多国家汽车牌照的底色和字符颜色通常只有对比度较强的两种颜色(例如韩国，其车牌底色为红色，车牌上的字符为白色)，而我国汽车牌照仅底色就有蓝、黄、黑、白等多种颜色，字符颜色也有黑、白等若干种颜色:(3)其他国家的汽车牌照格式(如汽车牌照的尺寸大小，牌照上的字符排列等)通常只有一种，而我国则根据不同车辆、车型、用途，规定了多种牌照格式(例如分为军车、警车、普通车等);(4)我国汽车牌照的规范悬挂位置不唯一:(5)由于环境、道路或人为因素造成汽车牌照污染严重，这种情况下，国外发达国家不允许上路，而在我国仍可上路行驶。由于我国汽车车牌识别的特殊性，采用任何一种单一识别技术均难以奏效。车牌识别系统包括车牌的定位与分割和车牌字符的识别。这两部分是相辅相成，缺一不可的。车牌定位与字符分割是为字符的识别做准备，是字符识别精确的前提保证，而字符的识别则是关系到最终输出的识别结果。具体实现方法是:2. 车辆牌照的定位(1)车牌定位与分割采用直方图均衡化算法作灰度拉伸，进行二值化处理，设计一个特征函数，通过对原图片进行特征运算从而求出特征图片，对特征图片进行水平扫描和垂直投影从而确定牌照所在位置。(2)车牌字符分割根据车牌图像中单字符的先验知识和特征并根据垂直方向上的投影特征，对切割后的牌照进行单字符分割。3. 基于神经网络的车牌字符识别(1)字符预处理对字符进行归一化的处理。(2)特征的提取应用字符的外围轮廓法和投影浓度法对字符的特征进行提取。(3)分类器的选取应用神经网络的容错和自适应的特征，结合网孔法和扫描法对所识别的字符进行并行和串行的多识别融合方法识别字符，缩小识别字符集中字符的数量。对BP算法作了改进，使类间距离扩大，类内距离缩小并以此提高识别的速度。1. 车牌图像预处理通过像机拍摄的车牌图像，由于周围环境不同，得到的图像效果也大不一样，而且天气的原因也会造成图像受到噪声干扰，以及引起较大的字符变形和笔划断裂，常常不能直接用于车牌定位等处理，因此在进行车牌定位之前要进行图像预处理，平滑图像、剔除噪声、弱化背景、增强字符区域。从摄像机获得的含车辆的图像一般是彩色图像，车牌识别系统处理的是灰度图像，因此应将图像转换为灰度图；其次，对于雨雾天气拍摄的图像需要进行去噪处理，减少噪声；对于夜间拍摄的图像，除去噪外，还要进行图像增强，凸现灰度值比较高的区域，弱化背景。1.1 图像的灰度化在RGB模型中，如果R=G=B，则颜色表示一种灰度颜色，其中R=G=B的值叫做灰度值，我们用g来表示。由彩色转换为灰度的过程叫做灰度化处理。由于彩色图像的存储往往占用很大的空间，在对图像进行识别等处理中经常将彩色图像转换为灰度图像，以加快后续的处理速度。R、G、B的取值范围是0255，所以灰度的级别是256级。灰度化的处理方法主要有如下三种：a) 最大值法：使g的值等于三值中的最大的一个，即g =max(R,G,B)；b) 平均值法：使g的值等于三值和的平均值，即g = (R+G+B)/3；c) 加权平均值法：根据重要性或其他指标给R、G、B赋予不同的权值，并使g等于它们的值的加权平均值，即g = (WRR+WGG+WBB)/3。其中WR,WG,WB分别为R、G、B的权值。由于人眼对绿色的敏感度最高，对红色的敏感度次之，对蓝色的敏感度最低，所以我们取WR=0.9，WG=1.77，WB=，即g =0.3R+0.59G+0.11B，这时能得到最合理的灰度图像。 图像增强图像增强是数字图像处理过程中经常采用的一种方法。为了改善视觉效果或者便于人和机器对图像的理解和分析，根据图像的特点或存在的问题采取的改善方法或者加强特征的措施称为图像增强。获取和传输图像的过程往往会发生图像失真，所得到图像和原始图像有某种程度的差别。这种差异如果太大，就会影响人和机器对图像的理解。在许多情况下，人们不清楚引起图像降质的具体物理过程及其数学模型，但却能根据经验估计出使图像降质的一些可能原因，针对这些原因采取简便有效的方法，改善图像质量。例如，图像信号变弱会使人们无法看清图像的细节，而采用增强对比度的方法可使图像清晰一些;图像的噪声干扰也容易使图像质量变差，运用平滑技术可以消减噪声;还有一些物理器件或系统工作原理可等效为一积分过程，信号经过这样的器件或系统后要变模糊，这时可使用微分运算突出边界或其他变化的部分，使图像增强。由于所拍摄的车辆图像的质量受天气、光照、观察点等的影响，车牌图像往往会产生对比度不足的弊端，使图像细节分辨不清，影响识别率。因此，需要将牌照图像进行图像灰度扩展，以便改善图像的观察质量，提高字符识别率。可采用对比度增强和灰度均衡等技术。1.2.1 对比度增强基于点操作的增强方法也叫做灰度变换。使用灰度变换的主要目的就是提高图像的对比度，即增强原图像各部分的反差。假定原图像的灰度级范围是ia,b，为了将图像的灰度级拓展为i'A,B，所需的线性变换是：为了突出图像中的某些灰度范围，同时又不牺牲其他灰度级上的细节，我们进行分段扩压变换，使需要的细节灰度级拉伸，增加对比度，而将不需要的灰度细节压缩。车牌位于车身的下部，属于低灰度级范围，而车头上部及背景中一些区域一般较亮，属于高灰度级范围。为了突出牌照的灰度细节，抑制高灰度区域，我们对图像进行灰度变换。灰度变换前后的灰度级范围都是0255，其变换如下：式中|a'|<a，|b'-a'|>|b-a|，|c'-b'|<|c-b|，c=c'=255。此变换在坐标轴中的表示如图2-1所示。1.2.2 灰度均衡灰度均衡是把一己知灰度概率分布的图像，经过变换最终演变成具有均匀灰度概率分布的图像。自然图像的灰度直方图通常在低值灰度区间上频率较大，使得图像中较暗区域中的细节常常看不清楚，为了使图像清晰，可将图像的灰度范围拉开，并且让灰度频率较小的灰度级变大，既让灰度直方图在较大的动态范围内趋于一致。用图像f(x,y)的直方图代替灰度的分布密度函数Pr()，则直方图均化后的图像g为：对于数字图像，其灰度值为离散值，我们处理其概率与和，而不是概率密度函数与积分。一幅图像中灰度级rk出现的概率近似为：其中，n是图像中像素的总和，nk是灰度级为rk的像素个数，L为图像中可能的灰度级总数。式(2.7)的离散形式为：1.2.3 图像滤波图像滤波是图像增强的一种手段。一般情况下，在各类图像系统中图像的传送和转换(如成像、复制、扫描、传输以及显示等)总是要造成图像的某些降质。例如，在摄像时，由于光学系统失真，相对运动，大气湍流等都会使图像模糊。再如传输过程中，噪声污染图像，使人观察起来不满意，或者使机器从中提取的信息减少甚至造成错误。因此必须对降质图像进行改善处理。改善的办法有两类：一类是不考虑图像降质的原因，只将图像中感兴趣的特征有选择地突出，而衰减其不需要的特征，故改善后的图像不一定要逼近原图像。这类图像改善方法统称为图像增强技术。另一类改善图像方法是针对图像降质原因，设法去补偿降质因素，从而使改善的图像尽可能地逼近原图像。这类图像改善方法统称为图像复原技术。图像处理的目的是为了将感兴趣的目标突出，因而要采用图像增强技术来提高图像的质量。图象增强技术有两类方法:空间域法和频率域法。空间域法主要是在空间域内对图象灰度值直接运算处理。其增强技术可用式(2.10)和图2-4来描述其原理过程。式中f(x,y)，g(x,y)分别为增强处理前后的图像，h(x,y)为空间运算函数。频率域法是在图象的某种变换域内，对图象的变换值进行运算。这是一种间理方法。可以用图2-5及式(2.8)描述图象频率域增强技术的原理过程。式中F(u,v),G(u,v)分别为处理前后图像f(x,y),g(x,y)的傅立叶变换。H(u,v)式对应于修正方法的滤波函数。对车牌图像进行处理，通常采用空间域法对车牌图像滤波，目的是去除图像中的噪声，通常使用下面2种方法：线性滤波、中值滤波。线性滤波线性滤波可以去除图像中某些类型的噪声，如采用邻域平均法的均值滤波器就非常适用于去除通过扫描得到的图像中的颗粒噪声。邻域平均法对于给定的图像f(i,j)中的每个像点(m,n)，取其邻域S。设S含有M个像素，取其平均值作为处理后所得图像像点(m,n)处的灰度。用一像素邻域内各像素灰度平均值来代替该像素原来的灰度，即使用邻域平均技术。邻域S的形状和大小根据图像特点确定。一般取的形状是正方形、矩形及十字形等，S的形状和大小可以在全图处理过程中保持不变，也可根据图像的局部统计特性而变化，点(m,n)一般位于S的中心。如S为3×3邻域，点(m,n)位于S中心，则：由公式(2.11)可知，经邻域平均后，噪声的均值不变，噪声方差变小，说明噪声强度减弱了，即抑制了噪声。同时，由公式(2.11)还可看出，邻域平均法也平滑了图像信号，特别是可能使图像目标区域的边界变得模糊。可以证明，对图像进行邻域平均处理相当于图像信号通过一低通滤波器。中值滤波中值滤波是空间域法中的一种非线性信号处理方法，它被用来抑制图像中的噪声。在一维的情况下，中值滤波器是一个滑动的窗口，它含有奇数个象元。对应窗口中心的象元灰度值用窗口中各灰度值的中间数值来代替。例如滑动窗对准的5个象元，它们的灰度值为70 90 180 110 120，中值滤波的意图是把窗口中心那个象元的灰度值用上述5个灰度值的中值，即110来代替。这时灰度值大小按下列排列，即70 90 110 110 120当180为噪声时中值滤波就把它抑制掉了。中值滤波器可以推广到二维，即对二维图像操作。二维中值滤波的窗口形状和尺寸对滤波效果影响较大。不同的图像内容和不同的应用要求，往往采用不同的窗口形状和尺寸。常用的窗口形状有线状、方形、圆形、十字形以及圆环形等。窗口的尺寸一般先用3再取5逐点增大，直到其滤波效果满意为止。就一般经验讲，对于有缓变的较长轮廓线物体的图像，采用方形或圆形窗口为宜，对于包含有尖顶角物体的图像，适宜用十字形窗口。而窗口大小则以不超过图像中最小有效的细线状物体为宜。如果图像中点、线、尖角细节较多，不宜采用中值滤波。汽车图像滤波的目的是要最大限度地消除噪声，突出车牌目标，故采用方形滤波器。在图像中以当前像素f(j,i)为中心切出一个N*M(例如3*3)像素组成的图像块，如表2-1所示。设当前像素f(j,i)的灰度值为g(j,i)，则g(j,i)取N*M个诸像素灰度值排序序列中的中间值。1.3 图像的二值化灰度图像是有256个灰度级的单色图像，多级别的图像能够呈现出较为丰富的明暗度，但对于目标搜索来说，总是希望尽可能地减少背景像素的干扰，而保存或增强目标区的色素度。图像的二值化可把像素的灰度级分成黑与白二级，即把原灰度图像转化为二值图像，在数字图像处理中，二值图像占有非常重要的地位。如何将图像分成两级，关键看阈值的选取，要找到合适的阈值t来区分对象和背景。设原灰度图像为f(x,y)，二值化后的图像为g(x,y)，二值化过程表示如下：门限t的选择是关键，它可以表示为一个三元函数，即：t=f(x,y),(x,y),N(x,y)，其中(x,y)是图像中像素位置，f(x,y)代表图像中(x,y)处的灰度值，N(x,y)为(x,y)周围邻域的灰度特征。目前二值化有多种阈值选取方法。依阈值的应用范围可分为全局阈值法、局部阈值法和动态阈值法等。全局阈值法是指在二值化过程中只使用一个阈值，典型的全局阈值方法包括Ostu方法、最大熵方法等，优点在于算法简单，对于目标和背景明显分离、直方图分布呈双峰的图像效果良好，但对输入图像量化噪声或不均匀光照等情况抵抗能力差，应用受到极大限制；局部阈值法则是由像素的灰度值和像素周围局部灰度特性来确定二值化的阈值，Bernsen23算法是典型的局部阈值方法，局部阈值法的缺点和问题是实现速度慢、不能保证字符笔划连通性、以及容易出现伪影现象等；动态阈值法的阈值确定不仅取决于该像素的灰度值及其周围像素的灰度值，而且与像素位置信息有关。由于充分考虑了每个像素邻域的特征，能够更好的突出背景和目标的边界，使得相距很近的两条线不会产生粘连现象，二值化效果较好。缺点是算法复杂，耗费资源较多。二值化方法介绍1. 双峰法首先，根据输入的数字图像按某一灰度级内的像素频数做出该图像的直方图。大量统计表明，对于某一类图像(如目标和背景有较强的对比)直方图中出现两个峰值，其中一个处于背景灰度区中，另一个处于目标灰度区。在这样的前提下，我们在两峰的中间谷取阈值。2. 微分直方图法此算法思想是利用灰度变化率即微分直方图来确定阈值。如果图像中的目标和背景的边界处于灰度值急剧变化的部分，不直接利用其灰度值，而是利用其微分值作为阈值。微分值是灰度的变化率，可以有多种定义，比如某一像素和其周围邻域各像素的灰度差的最大值，或是各个差的绝对平均值，由此求出微分直方图。微分直方图中的峰值就是所求的阈值.此方法适用于图像的目标与背景的边界位于灰度值急剧发生变化的情况，它的微分直方图会有一个峰值(见图2-7)。但对于边界附近灰度变化复杂的图像，不宜使用此方法。3. 最大方差法两组间的方差为：使组间方差与组内方差之比达到最大的t即为门限。此方法对即使直方图不存在峰值时也可以用，但是不能反映图像的几何结构，有时判断标准未必与人的视觉一致。4. 基于灰度的数学期望的方法通常情况下，图像的阈值被设置在灰度直方图的既明显又深的谷的位置。事实上许多根据人眼主观判断可划分为目标区和背景区的图像，其灰度直方图并不具备上述特点，可能的情况是灰度直方图的谷并不十分明显或者存在多个谷，在这种情况下要得到正确的图像阈值是十分困难的。而实际上存在这样的可能性：虽然属于某一灰度级的像素数占总像素数的比例较小，但其对二值化的效果却有较大影响。因此需要对图像灰度分布情况从整体上进行分析研究，从而确定阈值。分析一下数字图像的特点:在数字图像中每一个像素的值均属于一个有限集，该集合即为可能的灰度等级。像素的取值情况不同，也就形成了不同的图像。设图像中灰度可取值为L1，L2，LN ，P(Li)代表图像中灰度Li出现的次数频率，令h(Ln)代表图像中灰度Ln出现的次数，所以二值化门限可以用式(2.16)计算：该方法是一种基于全局的阈值分割法，它的适用性较广，对于具有不同灰度的图像均可应用，摆脱了传统的基于直方图的阈值分割法对图像模型的假定，而且，它的计算过程极为简单。5. 可变阈值法在一般的光学干涉照片上，随着干涉条纹级数的增加，条纹亮度明显降低。因此，如果整幅图像选用一个阈值t，则会造成把本应该亮度值取1的区域变成值为0的区域了，从而造成被处理对象的失真。再考虑由于照明的不均匀性，往往会造成图像不同部分的亮度差异。这要求我们考虑二值化时可能需要选取多个阈值。即让阈值的选取适应图像不同区域的变化而有所不同。这时可考虑对图像的不同区域做“区域直方图”，然后再采用全局阈值的方法。6. 基于纹理的二值化方法此法适用于票据、文本、以及车牌图像。以车牌图像为例，由于图像中牌照四周的景物，光照条件和牌照的整洁程度的影响使得牌照图像的灰度直方图呈现出多种复杂情况，例如没有明显波峰，或两个以上波峰，或两个对等波峰等，使我们无法据此确定牌照字符的灰度范围。此外即使获得较为理想的直方图，也会由于牌照字符像素的灰度分布与背景像素的灰度分布混淆在一起而使阈值的选取缺乏足够依据。为了解决上述问题，有人提出了基于纹理的二值化方法，该方法分成两个步骤：首先对图像作纹理分析，在纹理分析过程中，将图像中的一个代表区域(通常取图像中部)作为纹理区域，同时将灰度变化平缓的宽度为1个像素的明线段和暗线段作为纹理基元，在纹理区域获得与基元相关的信息。通过纹理分析得到字符灰度级别的相对高低后，采用模式识别中的最大最小准则来获取二值化阈值。纹理是一种灰度的空间分布模式，它是一种空间性质，涉及到像素点的连接性。本文提出的二值化方法基于实时性的要求，我力求寻找一种快速而且效果较好的方法，能够更有针对性的解决在不同条件下牌照图像的二值化问题。求解阈值的方法很多，如上面介绍的微分直方图法、最大方差法、基于灰度的数学期望的方法、可变阈值法等。但是有的算法过于简单，只适用于单一情况，不适用于摄像机拍摄出来的各种天气条件光照条件下的车牌图片，有的算法又过于复杂，耗费资源太多，无法满足简单、低成本以及实时性条件。针对这种情况，本文力求从其他途径寻找阈值，通过大量的实验，利用灰度直方图，在试探最佳阈值的过程中不断总结归纳，发现大部分的图像的像素分布都符合一定的规律。基于大量实验的基础，本文提出了一个有效的阈值分割方法。令T代表一副灰度图像的阈值，Gmax为图像中实际像素的最高灰度值，Gmin为相对最小灰度值，对于一幅灰度级为256级的灰度图像，从第1级开始，每16个灰度级分为一个灰度级组，从而把256级分为16组（分组序号n1,.,16），然后在整幅图像中逐个搜索每一个像素，并根据该像素的灰度值将其归入相应的灰度级组，整幅图像扫描完毕后统计每个灰度级组的像素数量，记录像素数量最多的灰度级组的分组序号n，通过式(2.17)可求出Gmin：Gmin =(n-1)×16，得到Gmin后，则阈值T可通过式(2.18)计算得到：。实验证明经过采用上述方法进行阈值分割后，对于绝大部分图片都能够满足要求，很好的把车牌字符与背景分割开，同时该方法简单快捷，易于理解，实用性强，摒弃了传统算法复杂度高，应用性不强的缺点。图2-8为采用上述阈值分割方法的结果。2. 车辆牌照的定位汽车牌照的定位，是指从摄入的汽车图像中找到汽车牌照所在的位置，并把含有车牌的子区域提取出来。从编程实现的角度来看，就是针对某汽车图像，通过运行某个定位算法，确定车牌子区域的对角坐标。显然，在汽车牌照识别系统中，车牌的定位准确与否直接影响字符识别的准确率。目前，为了准确而快速的实现车牌的定位，人们提出了许多定位算法。这些算法大都基于汽车牌照的不同特征而提出的。这些特征主要包括：(1)车牌区域内字符的纹理特征。包括利用字符宽度和高度、笔划宽度、字符串的长度、字符的连通性，或者进行水平扫描时，字符的灰度分布的变化特征，还有利用字符的笔划分布特征和字符边缘的统计相关性。(2)车牌的格式标准和字符标准信息。利用车牌的几何特征，即车牌的高、宽、高宽比处在一定范围，或者利用牌照字符字间距、字符高宽比和字体等的先验信息。(3)车牌区域水平或者垂直投影特征。车牌区域水平或者垂直灰度累积投影呈现连续的峰谷峰的分布。(4)车牌区域的位置特点。利用车牌一般处在汽车的保险杠，反映到图像中，车牌区域一般在图像的下半部分，这样还可以缩小搜索范围。(5)车牌的彩色信息。采用彩色边缘检测算子获得汽车图像边缘检测图，或者把车牌的彩色信息作为先验知识运用到定位算法中去。(6)频谱特征。即对图像作行或者列的DFT变换，其频谱图中包含了车牌的位置信息。人们在实际应用中，依据所选择不同的特征，可采用不同的定位方法。区域生长法是对边缘图像进行均匀性区域生长以获得潜在车牌区域，然后利用车牌的几何特征以及车牌区域的边缘灰度直方图统计特征删除伪车牌，即得真实车牌；构造灰度模型法主要利用车牌区域的灰度分布特征对边缘图像二值化，将“峰”对应的部分二值化为前景，将“谷”对应的部分二值化为背景，然后对二值图像进行形态滤波即得目标车牌；二值图像数学形态学运算法对边缘图像做闭运算，使字符组聚为连通或者接近连通的区域，然后利用车牌区域的几何特征和投影特征判定真假车牌；而灰度图像数学形态学运算法则利用车牌形状特征、字符排列格式特征，对预处理后的灰度图像进行一系列形态学运算，得到直线与一定数目的字符相邻的区域即认为是车牌；也有通过建立峰谷灰度差、峰谷位置差、谷谷高度差三个描述参量，对图像水平扫描线的灰度分布图进行字符纹理特征分析，实现车牌的预搜索，然后再利用边缘检测进行精确车牌定位；也有利用车牌区域的字符笔划凡乎随机分布但又有明显的笔划特征，提出用分形盒子维数来对图像纹理特征进行分析，从而达到车牌定位的目的；也有将投影法与边缘检测或投影法与二值化相结合的来实现牌照定位；也有人利用牌照区域强烈的空间频率特征，并采用彩色边缘检测ColorPrewitt算子获得汽车图像边缘检测图和结合区域生长的方法来标记候选牌照，来完成汽车牌照定位；而DFT变换法先对图像逐行做DFT变换，然后把频率系数逐行累加平均并根据这些平均值做出频谱曲线，根据频谱曲线中的“峰”的起始点位置确定车牌水平位置，对这一水平区域逐列做DFT变换可确定车牌垂直位置。基于纹理分析的方法利用车牌区域内字符纹理丰富的特征定位车牌，它对于光照偏弱、偏强和不均匀性、牌照倾斜和变形等情况不敏感。但是实验表明，当该方法应用于背景复杂的图像时，很容易把一些纹理分布比较丰富的其他非车牌区域也定位进来，产生包含车牌在内的较多的车牌候选区域，这是纹理分析方法的缺陷。而基于垂直投影的方法可以弥补纹理分析法这一不足，这是因为真车牌区域的灰度垂直投影满足绝大多数伪车牌区域所不具有的统计规律。基于以上分析，本文提出了一种基于水平扫描与垂直投影的车牌定位方法。我们知道，车牌区域相比较于其他非车牌区域一个最显著也最有价值的特点是车牌区域字符密集，笔画众多，变化频繁，富含丰富的细节信息，如果我们对图像进行水平扫描和垂直投影，则车牌区域的灰度跳变频率及垂直投影信息必然不同于其他非车牌区域，因此只要我们充分地把握利用好这个特点，并有效结合车牌的先验知识，就可以准确的把车牌区域定位出来。该方法主要过程分为两大块：行定位与列定位。具体实现方法步骤如下：(1)获取特征图像要想从一整幅包括车身，背景等其他相对于车牌来说属于干扰因素的图像中提取出车牌，就必须抓住车牌区域的最主要特征。车牌区域最主要的特征应该是：车牌的底色和车牌字的颜色形成强烈对比，而且灰度变化频繁。要好好的抓住这个特征来完成车牌提取，而目前所得到的二值图像显然还没有充分的突出这个特点，因此有必要对二值图像进行进一步处理。在这里设计了一个处理函数：F(i,j)为原二值图像，G(i,j)为处理后得到的特征图像，该图像相对于原来的二值图像突出了车牌区域灰度频率变化剧烈这一特点，而且消除了原来二值图像中的黑色的孤立点，减少了对下一步的水平扫描的干扰(见图3-1)。(2)水平扫描车牌区域由于存在字符和汉字，并且分布紧凑而有规律，因此车牌区域的灰度变化的频率非常剧烈，这是车牌区域的最主要的特征，在获得的特征图像中这一特征得到进一步放大。对图3-1所示的特征图像进行逐行扫描，每一行的灰度由白到黑或由黑到白都记为一次灰度跳变。令m表示灰度跳变次数，对于任一扫描行，黑白灰度跳变一次则m加1一次，当本行扫描结束后m的值即为本行灰度跳变次数。每一行跳变次数计算公式如下： n为特征图像的列数，G(i)为特征图像的任一扫描行。由于车牌区域一般包括7个字符，根据式(3.2)可知扫描一个字符至少会出现4次跳变，7个字符至少会出现28次跳变，据此可设定一个跳变阈值T，考虑到实际情况，譬如二值化的原因或车牌质量太差或字符断开等原因，特别是车牌有倾斜的情况，设置的阈值T可稍小一点，实验中设定T25左右取得了比较好的效果。在扫描过程中如果一段区域内出现了连续的扫描行灰度跳变次数满足大于T的情况，可视此区域为候选车牌区域。车牌区域上下界可采用式L(t>=T)>=来约束，L为满足条件的连续扫描行数，t为当前扫描行的灰度跳变次数，为经验值。经过上述行扫描后即可确定候选车牌区域的上下边界(见图3-2、图3-3)。(3)垂直投影在水平行扫描处理后，大部分杂散区域已基本滤除，但实验表明：图像经水平行扫描后仍然会存在一些区域具有与车牌区域水平扫描相似的纹理扫描特征，这些区域即所谓的伪车牌区域，需要通过垂直投影法来消除(见图3-4、图3-5)。如图3-4与图3-5所示，车牌区域的投影图具有明显的连续的规律的峰谷峰的特性，并且可能的车牌区域的幅值要远高于其他区域，而伪车牌区域的这个特性则不明显，根据车牌区域的垂直投影图以及车牌长宽比的先验知识则可确定车牌的左右边界(见图3-6)。经过步骤(1)(2)(3)后，基本上能够把车牌图像准确定位出来，但由于在定位过程中设定的条件相对较宽松，定位出来的车牌图像还相对粗糙，不满足下一步的字符分割要求，因此还需要进一步精确定位，定位方法与上述过程类似，具体可参阅文献37中方法。图3-7为精确定位结果。车牌字符的分割由于字符字体存在着多样性，所以在一般的字符识别系统中，字符识别之前先要对图像进行阈值化。文字图像经过阈值化之后得到的是一个整体，其中包含了字与字、行与行之间的空白，这就需要采用一定的处理技术将文本中的一个个字符切分出来，形成单个字符的图像阵列，以进行单字识别处理。这就需要两个步骤来完成，即行切分和字切分。为什么要进行行切分？车牌不是只有一行字符的吗？具体方法为：首先对整幅汉字图像在水平方向进行投影，分析投影图像，找到投影波峰所对应的文本行的位置，从而可以计算出每行的行距；其次对所有行的行距累加求和后，求出文本图像的标准行距，以标准行距对汉字图像进行行的粗切分；最后在每一个粗切分的行附近上下扫描，进行细微调整，选取最合适的分割位置。具体实现步骤为：根据汉字的行切分，可以获得汉字的高度信息，从而可以估计出汉字的基本宽度；对粗切分出的每个汉字，以此宽度信息进行衡量，以粗切分的起始位置为出发点，向左右两方向进行搜索，对起始位置进行细微的调整，从而使得字的切分更准确。这种方法不仅可以保证单个汉字的内部结构不被分离，而且还避免了切除汉字的边缘，其切分结果基本提取出了完整的汉字，消除了笔划的误切除。牌照的倾斜校正由于牌照的上下沿是两条明显的平行直线，因此，一般都采用霍夫(Hough)变换，检测出这两条直线，然后对牌照进行校正。霍夫变换原理霍夫变换是利用图像全局特性而将边缘像素连接起来组成区域封闭边界的一种方法。在预先知道区域形状的条件下，利用霍夫变换可以方便地得到边界曲线而将不连续的边缘像素点连接起来。霍夫变换的主要优点是受噪声和曲线间断的影响较小。利用霍夫变换还可以直接检测某些已知形状的目标，并有可能确定边界到亚像素精度。由此可知在图像空间中共线的点对应在参数空间里相交的线。反过来，在参数空间中相交于同一个点的所有直线在图像空间里都有共线的点与之对应。这就是点线的对偶性。霍夫变换根据这些关系把在图像空间中的检测问题转换到参数空间里，通过在参数空间里进行简单的累加统计完成检测任务。预期的斜率和截距的取值范围。开始时置数组A为零，然后对每一个图像空间中的给定点，让p取遍P轴上所有可能的值，并根据式(4.2)算出对应的q。再根据p和q的值(设都已取整)对A累加：A(p,q)=A(p,q)+1。累加结束后，根据A(p,q)的值就可知道有多少点是共线的，即A(p,q)的值就是在(p,q)处共线点的个数。同时(p,q)的值也给出了直线方程的参数，使得我们得到了点所在的线。牌照在水平和垂直两个方向上都会有不同程度的倾斜。但由于牌照在水平方向上的尺寸要比垂直方向上的尺寸大很多，因此，垂直方向的倾斜并不很明显，一般小于3度。实际系统中，我们只对水平方向上的牌照倾斜进行校正。本文中采用Hough变换检测出这两条平行直线，从而得到牌照的倾斜角度以及锁定车牌的一个最佳的平行四边形区域。根据水平边的斜率对像素位置进行校正，取平行四边形底边最低像素为基准点，作一条水平直线为基准底边，将平行四边形底边上的像素垂直下移到基准边上，其他像素依次下移。设车牌下边沿上最左侧端点像素的坐标为(x1,y1)，那么对于车牌中任一像素(x,y)，校正后的坐标为(x,y)，坐标变换满足：校正前后坐标对应关系对于文本图像，经过二值化、行切分、字切分之后，就可以得到一个个字符图像，然后进行单字识别。车牌图像也是如此，在识别之前，也需要经过上述步骤，只是我们经过前面的工作后，现在已经得到了车牌的精定位图像，而且我们研究的也只是单排字的车牌，因此我们在这里主要研究字切分技术就够了。由于字符块在竖直方向上的投影不仅在字符间取得局部最小值，而且在字符内的间隙处也能取得局部最小值，因此字符的正确分割位置应该是在上述局部最小值的附近，并且这个位置应满足车牌字符的书写格式、字符的尺寸限制等其他一些条件。这样，利用垂直投影法对断裂字符进行分割具有较好效果，可适用于复杂环境下拍摄的汽车图像。标准的车辆牌照(军车、警车、教练车、领事馆车除外)上有七个字符(不包括小圆点)，首位为省名缩写(汉字)，次位为英文字母，末五位为英文大写字母或阿拉伯数字，字符总长度为409mm，其中单个字符统一宽度为45mm，高90mm，第二、三个字符间间隔为34mm(中间小圆点宽l0mm，小圆点与第二、三个字符间间隔分别为12mm)，其余字符间隔为12mm。充分利用这些先验知识有助于单一字符边框的精确切分。本文介绍一种利用垂直投影信息结合先验知识约束的垂直分割方法。步骤如下：选水平分割线。利用霍夫变换求取水平分割线；2.求取候选垂直分割线。寻找图像垂直投影的谷底，作为候选垂直分割线位置；3.估算车牌尺寸。根据水平分割线和候选垂直分割线提供的位置信息，利用车牌尺寸的先验知识，估算出整个车牌的宽度和每个字符的宽度；4.确定大间隔的位置。车牌的前两个字符和后面5个字符之间有一个较大的间隔。估算出车牌尺寸以后，利用车牌尺寸的先验知识，估算出大间隔的位置。根据垂直投影以及方差信息，在估算出的位置附近搜索，确定大间隔的左右边界，同时去掉了间隔符；5.求取垂直分割线。根据大间隔的位置，利用先验知识估算出垂直分割线的位置，然后在估算出的位置附近，根据垂直投影以及方差信息，从候选垂直分割线中确定垂直分割线。确定垂直分割线时，左右边框和内侧的字符之间的间隔较小，而且通常该处的噪声较大，而左右边框和外侧的背景之间往往有较大的间隔。很多情况下，只根据投影信息和方差信息很难将左右边框与其临近的字符分开。我们通过强化先验知识的约束，有效地解决了这个问题。大间隔的检测一般是较准确的，同时除了首尾两个字符以外，别的字符的分割也是比较准确的。这样，根据大间隔的位置和其余字符的宽度能比较准确地计算出首尾两个字符的分割位置。以计算出的位置为中心，在其较小的邻域内搜索，确定垂直分割线。实验表明，这种方法能获得很好的分割效果。结合先验知识的垂直分割算法分割准确，能去除间隔符和左右边框的影响，见图4-4。3. 车牌字符的识别字符预处理为了消除字符的大小、位置对字符特征提取、识别的影响，需要对字符图像进行规范化处理，使它们变成统一尺寸的图像。归一化一般分为位置归一化、大小归一化、笔划粗细归一化。这里我们主要介绍采用大小归一化对字符进行处理。大小归一化对不同大小的字符字号的变化引起字符尺寸相差接近十倍，对于字号不同的字符识别，需要有效地对对字符大小进行归一化。常用的大小归一化的方法也有两种。一种是将字符的外边框按比例进行线性放大或缩小成为规定尺寸的字符。显然，这个方法受到外围边框的确定影响很大。另一种方法是根据水平和垂直两个方向字符像素的分布进行归一化，但是对于有些字，如“目”、“且”，归一化后会使得它们形状更相似而难以区别，因此我们利用插值法来进行字符的大小归一化。本方法是通过归一化图像中的像素对应在原图像中的点的位置来决定归一化图像中像素点的灰度值，设f(x,y)为原图像，为归一化后的图像，设为g()中的任意一点，对应于f(x,y)中的点(a,b)，根据(a,b)的具体情况来表示中各点的值。归一化的图像中像素点和原图像中的像素点的映射公式为：其中wid是原图像的宽度，wid1是归一化后图像的宽度；dep是原图像的高度，dep1是归一化图像的高度。归一化的图像中的点映射到原图像中的点(a,b)未必是整数，也就是在该点可能没有定义，那么当(a,b)不是整数时要进行像素内插变换。如果(a,b)是整数，表明x,y对应在原图像的网格点上，不必进行内插运算，直接令的灰度值等于位置(a,b)的灰度值如果(a,b)不是整数，一般有三种内插变换方法来决定g(x0,y0)的值：邻近插值法、线性插值法、三次插值法。(1)邻近插值法邻近插值法中归一化的图像g(x0,y0)的灰度值是用(a,b)邻接的四个网格点(i,j)，(i +1,j)，(i,j+1)，(i+1,j+1)中最接近它的点的灰度值来近似(2)双线性插值法双线性插值中的g(x0,y0)的灰度值是用(a,b)邻接的四个网格点(i,j)，(i +1,j)，(i,j+1)，(i+1,j+1)，按照下面的公式来近似：其中，i,j为(a,b)取整的值，=a-i,=b-j。(3)双三次插值双三次插值方法是表面拟合方法的一种，这种方法会产生更加光滑的图像。使用立方插值函数形式的双三次插值方法，利用图5-8所示的邻近4×4=16个点的值构造一个连续曲面。在这三种插值方法中，双三次插值法的精度最高，但是运算速度也最慢，采用双线性插值法已经能满足精度要求，因此我们采用双线性插值法将字符图像归一化为30×20。归一化后图像见图5-9所示。特征的提取各简单识别器采用了3种提取特征值的方法:外围轮廓法；投影法；外围轮廓和投影法。外围轮廓匹配法：外围轮廓描述数组，记录字符边框上各点到达框内字符像点的最短距离。识别时