字符识别预处理的设计与实现精品资料.doc

精品实验项目 字符识别预处理的设计与实现 专 业：电子信息工程 姓 名： 高 勇 学 号：2010021204 指导老师：郑蕊蕊 目录一、实验类型：设计性实验3二、实验目的3三、实验设备： 扫描仪、安装有MATLAB软件的计算机3四、实验内容及原理3（1）字符图像的获取3（2）字符图像预处理3（3）字符图像分割3（4）函数的作用4五、实验步骤81.载入车牌图像：82.将彩图转换为灰度图并绘制直方图：93. 用roberts算子进行边缘检测：104.图像实施腐蚀操作：105.平滑图像116. 删除二值图像的小对象127.车牌定位128.字符分割与识别149.车牌识别：20六、思考题27一、 实验类型：设计性实验二、 实验目的 1. 掌握图像的获取、预处理和分割的原理及MATLAB实现方法。2. 掌握使用扫描仪和计算机获取数字图像的方法，理解扫描仪的原理。3. 自学一种字符图像的分割算法并用MATLAB编程实现该算法。三、 实验设备： 扫描仪、安装有MATLAB软件的计算机四、 实验内容及原理（1）字符图像的获取用扫描仪获取图像是字符图像处理常用的数字化过程的方法之一。以办公设备中常用的台式扫描仪为例，其主要性能指标有x、y方向的分辨率、色彩分辨率（色彩位数）、扫描幅面和接口方式等，这些指标都可以从扫描仪的说明手册中获得。分辨率的单位是dpi（Dot Per Inch），意思是每英寸的像素点数。扫描仪工作时，首先由可移动带状光源将光线照在欲输入的图稿上，并沿y方向扫描稿件，产生表示图像特征的反射光或透射光。照射到原稿上的光线经反射后穿过一个很窄的缝隙，形成沿x方向的光带，经光学系统采集和过滤成RGB三色光带分别照射到RGB分量的CCD上，CCD将光信号转换为模拟电信号。内部电路的A/D变换器将模拟电信号转变为数字电子信号输送给计算机。将稿件全部扫描一遍，一幅完整的图像就输入到计算机中去了。（2）字符图像预处理根据扫描仪扫描的文档实际情况，有选择地用MATLAB编程实现字符图像倾斜校正、滤波、灰度化、二值化和归一化等图像预处理。根据具体需要，还可进行图像的正交变换、边缘提取、形态学和图像细化等操作。（3）字符图像分割通过查找资料，自学字符图像分割的常用算法，根据原始扫描图像的实际情况，设计一种字符图像分割的方法并用MATLAB编程实现，并绘制流程图。字符分割车辆输出车牌号码字符识别车牌的定位图像预处理图像采集图1 流程图（4）函数的作用1.Imerode功能：对图像实现腐蚀操作，即膨胀操作的反操作。用法：IM2 = imerode(IM,SE)IM2 = imerode(IM,NHOOD)IM2 = imerode(IM,SE,PACKOPT,M)IM2 = imerode(.,PADOPT)IM2 = imerode(IM,SE) 腐蚀灰度，二值，压缩二值图像IM，返回IM2。参数SE为由strel函数返回的结构元素或者结构元素对象组。IM2 = imerode(IM,NHOOD)腐蚀图像IM，这里NHOOD是定义结构元素邻域0和1的矩阵。IM2 = imerode(.,PADOPT)指出输出图像的大小（是否与输入图像大小一致）。2.imdilate功能：对图像实现膨胀操作。用法：IM2 = imdilate(IM,SE)IM2 = imdilate(IM,NHOOD)IM2 = imdilate(IM,SE,PACKOPT)IM2 = imdilate(.,PADOPT)IM2 = imdilate(IM,SE) 膨胀灰度，二值，压缩二值图像IM，返回IM2。参数SE为由strel函数返回的结构元素或者结构元素对象组。IM2 = imdilate(IM,NHOOD)膨胀图像IM，这里NHOOD是定义结构元素邻域0和1的矩阵。IM2 = imdilate(IM,SE,PACKOPT)定义IM是否是一个压缩的二值图像。IM2 = imdilate(.,PADOPT)指出输出图像的大小。3.strel功能：用于膨胀腐蚀及开闭运算等操作的结构元素对象(本论坛随即对膨胀腐蚀等操作进行讲解)。用法：SE = strel(shape,parameters)创建由指定形状shape对应的结构元素。其中shape的种类有arbitrary'，'pair'，'diamond'，'periodicline'，'disk'，'rectangle''line'，'square'，'octagon参数parameters一般控制SE的大小。4.edgeBW = edge(I) 采用灰度或一个二值化图像I作为它的输入，并返回一个与I相同大小的二值化图像BW，在函数检测到边缘的地方为1，其他地方为0。 BW = edge(I,'sobel') 自动选择阈值用Sobel算子进行边缘检测。 BW = edge(I,'sobel',thresh) 根据所指定的敏感度阈值thresh，用Sobel算子进行边缘检测，它忽略了所有小于阈值的边缘。当thresh为空时，自动选择阈值。 BW = edge(I,'sobel',thresh,direction) 根据所指定的敏感度阈值thresh，在所指定的方向direction上，用Sobel 算子进行边缘检测。Direction可取的字符串值为horizontal(水平方向)、vertical(垂直方向)或both(两个方向)。 BW,thresh = edge(I,'sobel',.) 返回阈值 BW = edge(I,'prewitt') 自动选择阈值用prewitt算子进行边缘检测。 BW = edge(I,'prewitt',thresh) 根据所指定的敏感度阈值thresh，用prewitt算子进行边缘检测，它忽略了所有小于阈值的边缘。当thresh为空时，自动选择阈值。 BW = edge(I,'prewitt',thresh,direction) 根据所指定的敏感度阈值thresh，在所指定的方向direction上，用prewitt算子进行边缘检测。Direction可取的字符串值为horizontal(水平方向)、vertical(垂直方向)或both(两个方向)默认方向为both。BW = edge(I,'roberts') 自动选择阈值用roberts算子进行边缘检测。 BW = edge(I,'roberts',thresh) 根据所指定的敏感度阈值thresh，用Roberts算子进行边缘检测，它忽略了所有小于阈值的边缘。当thresh为空时，自动选择阈值。 5.Imclose功能：对图像实现闭运算，闭运算也能平滑图像的轮廓，但与开运算相反，它一般融合窄的缺口和细长的弯口，去掉小洞，填补轮廓上的缝隙。用法：IM2 = imclose(IM,SE)IM2 = imclose(IM,NHOOD)用法和imopen相同。6.imopen功能：对图像实现开运算，开运算一般能平滑图像的轮廓，消弱狭窄的部分，去掉细的突出。用法：IM2 = imopen(IM,SE)IM2 = imopen(IM,NHOOD)IM2 = imopen(IM,SE)用 结构元素SE实现灰度图像或二值图像的IM的形态开运算。SE可以是单个结构元素对象或者结构元素对象数组。IM2 = imopen(IM,NHOOD)用结构元素strel（NHOOD）执行开运算。7.bwareaopen功能：删除小面积对象格式：BW2 = bwareaopen(BW,P,conn)作用：删除二值图像BW中面积小于P的对象，默认情况下conn使用8邻域。8.tic和toc函数这两个函数一般配合使用，tic表示计时的开始，toc表示计时的结束。格式如：tic任意表达式toct=toc9.fspecial功能：用于建立预定义的滤波算子，其语法格式为：h = fspecial(type)h = fspecial(type，para)其中type指定算子的类型，para指定相应的参数；type的类型有：1、'average'averaging filter为均值滤波，参数为hsize代表模板尺寸，默认值为【3，3】。'disk'circular averaging filter为圆形区域均值滤波，参数为radius代表区域半径，默认值为5.'gaussian'Gaussian lowpass filter为高斯低通滤波，有两个参数，hsize表示模板尺寸，默认值为【3 3】，sigma为滤波器的标准值，单位为像素，默认值为0.5.'prewitt'Prewitt horizontal edge-emphasizing filter用于边缘增强，大小为【3 3】，无参数'sobel'Sobel horizontal edge-emphasizing filter用于边缘提取，无参数9. filter2J = filter2(h,I);使用指定的滤波器h对I进行滤波，结果保存在J中10.bwarea函数功能：计算二值图像中对象的总面积。调用格式：total = bwarea(BW)估算二值图像BW中对象的总面积。 返回的total是一个标量， 它的值大致地反映了和图像中on像素的个数。由于对于不同像素类型， 度量标准不同， 因此结果可能并不十分精确。BW可以是数值类型（整型、浮点型）或者逻辑类型。对于数值类型， 像素值不为0被视为on。返回值total是double类型的。11.sum功能：函数求和sum(x,2)表示矩阵x的横向相加，求每行的和，结果是列向量。而缺省的sum(x)就是竖向相加，求每列的和，结果是行向量。A>0的结果是得到一个逻辑矩阵，大小跟原来的A一致，A中大于零的元素的位置置为1，小于等于零的位置置为0。所以横向求和以后，就是求A中每行大于零的元素个数。12. round功能：四舍五入调用格式：Y = round(X) 在matlab中round也是一个四舍五入函数。五、 实验步骤1.载入车牌图像：I=imread('car1.jpg');figure(1),imshow(I);title('original image')；%将车牌的原图显示出来，结果如下：2.将彩图转换为灰度图并绘制直方图：I1=rgb2gray(I);%将彩图转换为灰度图figure(2),subplot(1,2,1),imshow(I1);title('gray image');figure(2),subplot(1,2,2),imhist(I1);title('灰度图直方图');%绘制灰度图的直方图结果如下所示：3. 用roberts算子进行边缘检测：I2=edge(I1,'roberts',0.18,'both');%选择阈值0.18，用roberts算子进行边缘检测figure(3),imshow(I2);title('roberts operator edge detection image')；结果如下：4.图像实施腐蚀操作：se=1;1;1;I3=imerode(I2,se);%对图像实施腐蚀操作，即膨胀的反操作figure(4),imshow(I3);title('corrosion image');5.平滑图像se=strel('rectangle',25,25);%构造结构元素以正方形构造一个seI4=imclose(I3,se);% 图像聚类、填充图像figure(5),imshow(I4);title('smothing image');结果如下所示：6. 删除二值图像的小对象 I5=bwareaopen(I4,2000);% 去除聚团灰度值小于2000的部分figure(6),imshow(I5);title('remove the small objects'); %用imshow函数显示滤波后图像结果如下所示 ：7.车牌定位y,x,z=size(I5);%返回I5各维的尺寸，存储在x,y,z中myI=double(I5);%将I5转换成双精度tic %tic表示计时的开始，toc表示计时的结束 Blue_y=zeros(y,1);%产生一个y*1的零阵 for i=1:y for j=1:x if(myI(i,j,1)=1) %如果myI(i,j,1)即myI的图像中坐标为(i,j)的点值为1，即该点为车牌背景颜色蓝色 %则Blue_y(i,1)的值加1 Blue_y(i,1)= Blue_y(i,1)+1;%蓝色像素点统计 end end end temp MaxY=max(Blue_y);%Y方向车牌区域确定 %temp为向量yellow_y的元素中的最大值，MaxY为该值的索引 PY1=MaxY; while (Blue_y(PY1,1)>=5)&&(PY1>1) PY1=PY1-1; end PY2=MaxY; while (Blue_y(PY2,1)>=5)&&(PY2<y) PY2=PY2+1; end IY=I(PY1:PY2,:,:); %行方向车牌区域确定 % X方向 % Blue_x=zeros(1,x);%进一步确定x方向的车牌区域 for j=1:x for i=PY1:PY2 if(myI(i,j,1)=1) Blue_x(1,j)= Blue_x(1,j)+1; end end end PX1=1; while (Blue_x(1,PX1)<3)&&(PX1<x) PX1=PX1+1; end PX2=x; while (Blue_x(1,PX2)<3)&&(PX2>PX1) PX2=PX2-1; end PX1=PX1-1;%对车牌区域的校正 PX2=PX2+1; dw=I(PY1:PY2-8,PX1:PX2,:); t=toc; figure(7),subplot(1,2,1),imshow(IY),title('Line direction areas');%行方向车牌区域确定figure(7),subplot(1,2,2),imshow(dw),title('positioning color images');%定位后的车牌区域如下所示：8.字符分割与识别1) 车牌的进一步处理对分割出的彩色车牌图像进行灰度转换、二值化、均值滤波、腐蚀膨胀以及字符分割以从车牌图像中分离出组成车牌号码的单个字符图像，对分割出来的字符进行预处理（二值化、归一化），然后分析提取，对分割出的字符图像进行识别给出文本形式的车牌号码。代码如下：imwrite(dw,'dw.jpg');%将彩色车牌写入dw文件中a=imread('dw.jpg');%读取车牌文件中的数据b=rgb2gray(a);%将车牌图像转换为灰度图imwrite(b,'gray licence plate.jpg');%将灰度图像写入文件中figure(8);subplot(3,2,1),imshow(b),title('车牌灰度图像')g_max=double(max(max(b);g_min=double(min(min(b);T=round(g_max-(g_max-g_min)/3); % T 为二值化的阈值m,n=size(b);d=(double(b)>=T); % d:二值图像imwrite(d,'binary licence plate.jpg');subplot(3,2,2),imshow(d),title('before filtering binary licence plate')%均值滤波前% 滤波h=fspecial('average',3);%建立预定义的滤波算子，average为均值滤波，模板的尺寸为3*3d=im2bw(round(filter2(h,d);%使用指定的滤波器h对h进行d即均值滤波imwrite(d,'after average licence plate.jpg');subplot(3,2,3),imshow(d),title('after average licence plate')% 某些图像进行操作% 膨胀或腐蚀% se=strel('square',3); % 使用一个3X3的正方形结果元素对象对创建的图像进行膨胀% 'line'/'diamond'/'ball'.se=eye(2); % eye(n) returns the n-by-n identity matrix 单位矩阵m,n=size(d);%返回矩阵b的尺寸信息， 并存储在m,n中if bwarea(d)/m/n>=0.365 %计算二值图像中对象的总面积与整个面积的比是否大于0.365 d=imerode(d,se);%如果大于0.365则图像进行腐蚀elseif bwarea(d)/m/n<=0.235 %计算二值图像中对象的总面积与整个面积的比是否小于0.235 d=imdilate(d,se);%如果小于则实现膨胀操作endimwrite(d,'expansion or corrosion the licence plate.jpg');subplot(3,2,4),imshow(d),title('expansion or corrosion the licence plate')；运行结果如下所示：2) 字符分割在汽车牌照自动识别过程中，字符分割有承前启后的作用。它在前期牌照定位的基础上进行字符的分割，然后再利用分割的结果进行字符识别。字符识别的算法很多，因为车牌字符间间隔较大，不会出现字符粘连情况，所以此处采用的方法为寻找连续有文字的块，若长度大于某阈值，则认为该块有两个字符组成，需要分割。一般分割出来的字符要进行进一步的处理，以满足下一步字符识别的需要。但是对于车牌的识别，并不需要太多的处理就已经可以达到正确识别的目的。在此只进行了归一化处理，然后进行后期处理。% 寻找连续有文字的块，若长度大于某阈值，则认为该块有两个字符组成，需要分割%首先创建子函数qiege与getword，而后调用子程序，将车牌的字符分割开并且进行归一化处理d=qiege(d);m,n=size(d);subplot(3,2,5),imshow(d),title(n)k1=1;k2=1;s=sum(d);j=1;while j=n while s(j)=0 j=j+1; end k1=j; while s(j)=0 && j<=n-1 j=j+1; end k2=j-1; if k2-k1>=round(n/6.5) val,num=min(sum(d(:,k1+5:k2-5); d(:,k1+num+5)=0; % 分割 endend% 再切割d=qiege(d);% 切割出 7 个字符y1=10;y2=0.25;flag=0;word1=;while flag=0 m,n=size(d); left=1;wide=0; while sum(d(:,wide+1)=0 wide=wide+1; end if wide<y1 % 认为是左侧干扰 d(:,1:wide)=0; d=qiege(d); else temp=qiege(imcrop(d,1 1 wide m); m,n=size(temp); all=sum(sum(temp); two_thirds=sum(sum(temp(round(m/3):2*round(m/3),:); if two_thirds/all>y2 flag=1;word1=temp; % WORD 1 end d(:,1:wide)=0;d=qiege(d); endend% 分割出第二个字符word2,d=getword(d);% 分割出第三个字符word3,d=getword(d);% 分割出第四个字符word4,d=getword(d);% 分割出第五个字符word5,d=getword(d);% 分割出第六个字符word6,d=getword(d);% 分割出第七个字符word7,d=getword(d);figure(9);subplot(2,7,1),imshow(word1),title('1');subplot(2,7,2),imshow(word2),title('2');subplot(2,7,3),imshow(word3),title('3');subplot(2,7,4),imshow(word4),title('4');subplot(2,7,5),imshow(word5),title('5');subplot(2,7,6),imshow(word6),title('6');subplot(2,7,7),imshow(word7),title('7');m,n=size(word1);% 商用系统程序中归一化大小为 40*20,此处演示word1=imresize(word1,40 20);word2=imresize(word2,40 20);word3=imresize(word3,40 20);word4=imresize(word4,40 20);word5=imresize(word5,40 20);word6=imresize(word6,40 20);word7=imresize(word7,40 20);subplot(2,7,8),imshow(word1),title('1');subplot(2,7,9),imshow(word2),title('2');subplot(2,7,10),imshow(word3),title('3');subplot(2,7,11),imshow(word4),title('4');subplot(2,7,12),imshow(word5),title('5');subplot(2,7,13),imshow(word6),title('6');subplot(2,7,14),imshow(word7),title('7');imwrite(word1,'1.jpg');imwrite(word2,'2.jpg');imwrite(word3,'3.jpg');imwrite(word4,'4.jpg');imwrite(word5,'5.jpg');imwrite(word6,'6.jpg');imwrite(word7,'7.jpg');运行结果如下：9.车牌识别：模板匹配是图象识别方法中最具代表性的基本方法之一，它是将从待识别的图象或图象区域f(i,j)中提取的若干特征量与模板T(i,j)相应的特征量逐个进行比较，计算它们之间规格化的互相关量，其中互相关量最大的一个就表示期间相似程度最高，可将图象归于相应的类。也可以计算图象与模板特征量之间的距离，用最小距离法判定所属类。此处采用相减的方法来求得字符与模板中哪一个字符最相似，然后找到相似度最大的输出。汽车牌照的字符一般有七个，大部分车牌第一位是汉字，通常代表车辆所属省份，紧接其后的为字母与数字。车牌字符识别与一般文字识别在于它的字符数有限，汉字共约50多个，大写英文字母26个，数字10个。为了实验方便，结合本次设计所选汽车牌照的特点，只建立了7个数字26个字母与10个数字的模板。其他模板设计的方法与此相同。首先取字符模板，接着依次取待识别字符与模板进行匹配，将其与模板字符相减，得到的0越多那么就越匹配。把每一幅相减后的图的0值个数保存，即为识别出来的结果。识别的流程图如下所示：建立自动识别的代码表读取分割出来的字符第一个字符与模板中的汉字模板进行匹配第二个字符与模板中的字母模板进行匹配待识别字符与模板字符相减，值越小相似度越大，找到最小的一个即为匹配的最好的识别完成，输出此模板对应值后5个字符与模板中的字母与数字模板进行匹配源代码如下：liccode=char('0':'9' 'A':'Z' '苏豫陕鲁京辽浙'); %建立自动识别字符代码表 SubBw2=zeros(40,20);l=1;for I=1:7 ii=int2str(I); t=imread(ii,'.jpg'); SegBw2=imresize(t,40 20,'nearest'); SegBw2=double(SegBw2)>20; if l=1 %第一位汉字识别 kmin=37; kmax=43; elseif l=2 %第二位 AZ 字母识别 kmin=11; kmax=36; else l>=3 %第三位以后是字母或数字识别 kmin=1; kmax=36; end for k2=kmin:kmax fname=strcat('字符模板',liccode(k2),'.jpg'); SamBw2 = imread(fname); SamBw2=double(SamBw2)>1; for i=1:40 for j=1:20 SubBw2(i,j)=SegBw2(i,j)-SamBw2(i,j); end end % 以上相当于两幅图相减得到第三幅图 Dmax=0; for k1=1:40 for l1=1:20 if ( SubBw2(k1,l1) > 0 | SubBw2(k1,l1) <0 ) Dmax=Dmax+1; end end end Error(k2)=Dmax; end Error1=Error(kmin:kmax); MinError=min(Error1); findc=find(Error1=MinError); Code(l*2-1)=liccode(findc(1)+kmin-1); Code(l*2)=' ' l=l+1;endfigure(10),imshow(dw),title ('车牌号码:', Code,'Color','b');通过以上的方法，我对另外一幅图像进行了检测，也有较好的识别效果。下面是对另一幅车牌照的检测，结果如下所示：六、 思考题1.扫描仪是图像信号输入设备。它对原稿进行光学扫描，然后将光学图像传送到光电转换器中变为模拟电信号，又将模拟电信号变换成为数字电信号，最后通过计算机接口送至计算机中。在扫描仪获取图像的过程中，有两个元件起到关键作用。一个是CCD，它光信号转换成为电信号；另一个是A/D变换器，它将模拟电信号变为数字电信号。2.在字符图像预处理中采用了字符图像倾斜校正、滤波、灰度化、二值化和归一化等图像预处理方法。3.字符分割的方法有python 、vb、javascript、asp ：splitphp是explode。附录资料：matlab绘图指令大全绘图指令1 二维曲线图1.1 绘制折线图plot指令图例Y=1,3,6,5,9,0,2;plot(Y);X=0: pi/10: pi*2;Y=sin(X);plot(X,Y);X=0: pi/10: pi*2;Y1=sin(X);Y2=cos(X);Plot(X,Y1,X,Y2);调整坐标范围：axisaxis(0,300,0,2)1.2 绘制自定义函数DrawCircle.mfunction DrawCircle(Point,Radius) Hold on t=0: pi/10: 2*pi; x=Point(1)+ Radius*cos(t); y=Point(2)+ Radius*sin(t); plot(x,y);DrawCircle(10 10,1)DrawCircle(20 10,2)DrawCircle(10 20,3)1.3 绘制符号函数显函数ezplot('sin(x)',0,2*pi)隐函数ezplot('x2+y2-10',-5,5,-6,6)参数方程ezplot('cos(t)3','sin(t)3',0,2*pi)1.4 绘制自定义函数function y=myf1(x) y=sqrt(100-x2);fplot('myf1',-15 15)fplot('sin(x) cos(x) myf1(x)',-15 15)1.5 图形修饰 设置颜色 y m c r g b w k 设置线型 - : -. - 设置标记 . o x + * 指令图例Y=1,3,6,5,9,0,2;plot(Y, 'r-+');X=0: pi/10: pi*2;Y=sin(X);plot(X,Y, 'b-.');X=0: pi/10: pi*2;Y1=sin(X); Y2=cos(X);plot(X,Y1,'r+-', X,Y2,'b-*'); 在指定坐标处，书写文字：text(3.5, 0.6, '曲线比较');x=1.6*pi, 1.6*pi; y=-0.3, 0.8;s='曲线cos' '曲线sin' text(x,y,s);1.6 更多类型的二维图指令图例bar直方图X=0:pi/10:2*pi;Y=sin(X);bar(X,Y);polar极坐标图T=0: pi/10: 4*pi;R=T;polar(T, R);误差棒棒图X=0:pi/10:2*pi;Y=sin(X);e=0.2*rand(size(X);errorbar(X,Y,e);火柴杆图X=0:pi/10:2*pi; Y=sin(X);stem(X,Y);stairs楼梯图X=0:pi/10:2*pi; Y=sin(X);stairs(X,Y);多边形填色图X=1,2,3,4,5; Y=3,5,2,1,6;fill(X,Y,'r');hold on; % 保持图形plot(X,Y,'o')1.7 数值函数的二维图 可用于绘图，更可用于采样取点。 fplot('0.5*cos(x)',-pi,pi) % 绘图X,Y = fplot('0.5*cos(x)',-pi,pi); % 返回点坐标fplot('cos(x)',-pi,pi,'r-+'); % 观察点的位置控制采样点的密度fplot('cos(x)',-pi,pi,'r-+',0.05);fplot('cos(x)',-pi,pi,'r-+',0.1); 可绘制系统函数，也可绘制自定义函数的图形。2 三维曲线图2.1 三维曲线plot3指令图例X=0: 0.1: 8*pi;Y=sin(X);Z=cos(X); plot3(X,Y,Z,'r');X=0: 0.1: 8*pi;Y=sin(X);Z1=cos(X);