模式识别应用车牌识别PPT学习教案.pptx

《模式识别应用车牌识别PPT学习教案.pptx》由会员分享，可在线阅读，更多相关《模式识别应用车牌识别PPT学习教案.pptx（32页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、会计学 1模式识别应用(yngyng)车牌识别第一页，共32 页。模式识别系统的组成：模式识别系统的组成：信息 信息(xnx)(xnx)获取 获取 预处理 预处理特征提取和选择 特征提取和选择 分类器设计和分类决策 分类器设计和分类决策第 1 页/共 32 页第二页，共32 页。信息获取机器识别：计算机获取模式信息即实现观察对象的数字化表达。待识别的样本大都是非电信息，例如语音信号、待识别文本(wnbn)、图像等，这就需要将这些以各种不同形式表现的信息通过传感器转换成电信号。如用话筒将声音信号转换成电信号。景物信息在摄像机靶面成像并转换成二维的像素矩阵，每个像素（矩阵元素）的电信号与物体表面反

2、射的光强或颜色信息呈现函数关系。第 2 页/共 32 页第三页，共32 页。预处理预处理主要是指去除所获取信息中的噪声，增强有用的信息，及一切必要的使信息纯化的处理过程。图像信息的预处理：几何校正、图像增强、图像还原等。例如，从图像中将汽车车牌的号码识别出来，就需要先将车牌从图像中找出来，再对车牌进行划分，将每个数字分别(fnbi)划分开。做到这一步以后，才能对每个数字进行识别。以上工作都应该在预处理阶段完成。第 3 页/共 32 页第四页，共32 页。v 原 始 数 据 是 由 所 使 用 的 测 量 仪 器(yq)或 传 感 器 获 取 的，这 些 数据组成的空间叫测量空间。v 样本是用特

3、征进行描述的，识别与训练都是在特征空间中进行的。v 特 征 提 取 模 块 将 原 始 测 量 数 据 转 换 成 能 反 映 事 物 本 质、有 效 方 式表示的信息，从而使分类器能根据这些信息决定样本的类别。v 特 征 提 取 模 块 的 功 能 是：对 所 获 取 的 信 息 实 现 从 测 量 空 间 到 特 征空间的转换。v 通 常 用 于 描 述 模 式 性 质 的 特 征 很 多，需 要 从 一 组 特 征 中 挑 选 出 一些最有效的特征以降低特征空间维数，即特征选择。特征提取和选择(xunz)第 4 页/共 32 页第五页，共32 页。分类决策模式识别系统工作有两个过程，一是

4、样本训练，二是分类决策。样本训练：在已确定的特征空间(kngjin)中，对作为训练样本的数据进行特征提取与选择，得到它们在特征空间(kngjin)的分布，依据这些分布决定分类器的具体参数。分类决策：分类器在分界形式及其具体参数都确定后，对待分类样本进行分类决策的过程。第 5 页/共 32 页第六页，共32 页。n n 分类决策是对事物辨识的最后一步。分类决策是对事物辨识的最后一步。n n 识别事物（决策）的基本方法：同一类事物之间属性应比较近似，识别事物（决策）的基本方法：同一类事物之间属性应比较近似，而不同类事物之间的属性之间应差异较大。这种现象表现在特征 而不同类事物之间的属性之间应差异较

5、大。这种现象表现在特征空间的分布中往往表现出同类事物的特征向量聚集在一起，聚集 空间的分布中往往表现出同类事物的特征向量聚集在一起，聚集在一个相对集中的区域，而不同事物则分别占据不同的区域。因 在一个相对集中的区域，而不同事物则分别占据不同的区域。因此，如果待识别的事物的特征向量出现在某一类事物经常出现或 此，如果待识别的事物的特征向量出现在某一类事物经常出现或可能出现的区域内，该事物就被识别为该类事物。可能出现的区域内，该事物就被识别为该类事物。n n 决策依据：在特征空间中哪个区域是某类事物典型所在区域需要 决策依据：在特征空间中哪个区域是某类事物典型所在区域需要用数学式子划定，这样一来，

6、满足这种数学式子与否就成为分类 用数学式子划定，这样一来，满足这种数学式子与否就成为分类决策的依据。如何确定这些数学式子就是分类器设计 决策的依据。如何确定这些数学式子就是分类器设计(shj)(shj)的 的任务，而一旦这种数学式子确定后，分类决策的方法也就确定了。任务，而一旦这种数学式子确定后，分类决策的方法也就确定了。第 6 页/共 32 页第七页，共32 页。汽车(qch)车牌识别系统第 7 页/共 32 页第八页，共32 页。汽车(qch)车牌识别系统v 图像(t xin)输入v 车牌提取（牌照定位与分割）v 车牌字符识别第 8 页/共 32 页第九页，共32 页。汽车车牌识别(shb

7、i)图像采集v 地感线圈感应(gnyng)压力；v 40ms 后进入最佳识别区；v 触发相机拍照第 9 页/共 32 页第十页，共32 页。汽车车牌识别图像(t xin)采集第 10 页/共 32 页第十一页，共32 页。n n 首先，从摄像头取得彩色的包含 首先，从摄像头取得彩色的包含(bohn)(bohn)车牌的图 车牌的图像。在摄像机前方的检测点安装传感器，当汽车通 像。在摄像机前方的检测点安装传感器，当汽车通过检测点时，传感器向主机发出信号，系统自动摄 过检测点时，传感器向主机发出信号，系统自动摄下车辆的图像，并将图像输入计算机。下车辆的图像，并将图像输入计算机。v 这是在一个收费站前

8、拍摄的交费车辆的照片，在收费站的车牌识别系统中，车辆是静止的，因此不用进行针对运动(yndng)模糊等的预处理。第 1 1 页/共 32 页第十二页，共32 页。v 车牌定位是在包含(bohn)车辆的图像中找到牌照区域的位置，并把牌照区域分割出来，得到牌照图像。也可称这部分为牌照定位与分割。牌照定位决定其后的车牌字符识别，因此牌照定位是识别系统的关键。汽车车牌识别车牌定位(dngwi)与分割第 12 页/共 32 页第十三页，共32 页。经过大量实验数据发现，车辆(chling)牌照一般具有以下特征:目前车辆(chling)牌照的具体排列格式是由一个省份汉字(军警牌则为其他字)后跟字母或阿拉伯

9、数字组成的7 个字序列。除第一个汉字外，字母或数字的笔画在竖直方向都是连通的。标准车牌的具体排列格式是:X1X2X3X4X5X6X7X1 是各省、直辖市的简称或军警（多数为红色）、外交标志（例如：大使馆车辆(chling)白底黑字）X2 是英文字母X3X4 是英文字母或阿拉伯数字X5X6X7 是阿拉伯数字。第 13 页/共 32 页第十四页，共32 页。n n(2)(2)车辆牌照区域牌底与牌字颜色相差较大，边缘非常丰富。车辆牌照区域牌底与牌字颜色相差较大，边缘非常丰富。n n(3)(3)车辆牌照子图像区域长高比例一定，车牌原始尺寸每个字宽 车辆牌照子图像区域长高比例一定，车牌原始尺寸每个字宽

10、45mm 45mm，字高，字高90mm 90mm，间隔符宽，间隔符宽10mm 10mm，每个单元间隔，每个单元间隔12mm 12mm。n n 根据汽车牌照的特点，需要充分利用这些 根据汽车牌照的特点，需要充分利用这些(zhxi)(zhxi)特征，并结合 特征，并结合一系列图像处理，对车辆牌照进行定位与分割。一系列图像处理，对车辆牌照进行定位与分割。三个主要步骤：特征提取：灰度化、灰度拉伸、边缘检测(jin c)粗略定位精细定位第 14 页/共 32 页第十五页，共32 页。车牌特征提取的第一步 灰度化 为了便于后续的快速图像处理，以及对不同颜色的车辆(chling)牌照进行统一处理，需要把摄像

11、头拍到的含车辆(chling)的图像由24 位真彩色转化成灰度图。一般采用现行标准的平均值法:其中:g 表示灰度化后的灰度值：R、G、B 分别(fnbi)表示原真彩色图中的红、绿、蓝分量。第 15 页/共 32 页第十六页，共32 页。车牌特征提取的第二步 灰度拉伸 对灰度化的图像进行对比度拉伸，把感兴趣的灰度范围拉开，使得该范围内的像素亮的更亮、暗的更暗，使图像的边缘更加凸显。灰度拉伸可以(ky)使牌照区域的笔画特征更明显，有益于下一步的边缘检测。假 设 原 图 像 的 灰 度 分 布(fnb)函 数 为f(x，y)，像 素 灰 度 分布(fnb)范 围 为 a,b。根 据 图 像 处 理

12、的 需 要，将 其 灰 度 范 围变 换 到 a,b，增 强 后 图 像 的 灰 度 分 布(fnb)函 数 为g(x，y)，则g(x，y)和f(x，y)之间存在如下关系:第 16 页/共 32 页第十七页，共32 页。如果图像的灰度范围超出了a，b，但绝大多数像素的灰度落在区间a，b 内，只有很少部分的像素灰度分布在小于a 和大于b 的区间内，此时(csh)可以采用一种称作“截取式线性变换”的变换方法，其变换式如下:第 17 页/共 32 页第十八页，共32 页。车牌特征提取的第三步 边缘检测 边缘检测对于车牌区域的分割有重要的作用。经过边缘检测之后的图像由各个物体的轮廓线组成，由于(yuy

13、)车辆牌照是边缘丰富的子区域，车牌的笔画轮廓凸现，而车体上其他部分的轮廓线特征并不突出。在车牌识别系统中，可以采用如下的算子来提取边缘:H1、H2 分别是水平(shupng)和垂直方向的算子。第 18 页/共 32 页第十九页，共32 页。v 粗略定位主要利用的信息是车牌部分的纹理分布，主要利用的是水平和竖直两个方向上的边缘。在车牌部分，边缘分布比较密集，可以利用这一点提取出候选的车牌区域，在图中用(zhngyng)方框标出。车牌粗略(cl)定位第 19 页/共 32 页第二十页，共32 页。v 之后输出的就是候选的车牌位置，这些位置中，只有一个是真正的车牌。而究竟哪一个是对的，要到字符识别阶

14、段才能(cinng)有结果。v 粗略定位的结果往往不是很准，可以利用颜色的连续性信息(xnx)对定位的结果进行修正。车牌精细(jngx)定位第 20 页/共 32 页第二十一页，共32 页。字符特征提取训练：字符识别分类器识别：车牌的具体内容汽车(qch)车牌识别字符识别第 21 页/共 32 页第二十二页，共32 页。v 字符分割要把车牌中的一个个字符逐一切分开，这样才能在下一步的识别中对每一个字符分别处理。分割的方法可以利用灰度图像往竖直方向的投影。在有数字或字符的部分，这个投影值应该比较大，而在字符之间的间隙处，投影的累计值就几乎为零了。利用这个特征，可以很好地将字符分割开来。v 同时，

15、还需要得到对这个区域是不是车牌区域作个评价，如果划分结果比较合理，划分出的每个字符的宽度都差不多，且符合车牌特征，那么说明这个区域比较像车牌。如果字体(zt)太宽或者不符合车牌特征，说明是其它的字符。字符(zf)分割第 22 页/共 32 页第二十三页，共32 页。n n 在牌照识别中，需要利用光学字符识别 在牌照识别中，需要利用光学字符识别(OCR)(OCR)技术识别出牌 技术识别出牌照图像 照图像(t xin(t xin)中的印刷体汉字、英文字母和阿拉伯数字，中的印刷体汉字、英文字母和阿拉伯数字，得到车牌号码。可以根据目前标准车牌中字符的具体排列顺 得到车牌号码。可以根据目前标准车牌中字符

16、的具体排列顺序，设计不同的分类器。序，设计不同的分类器。n n 印刷体汉字 印刷体汉字(包括各省、直辖市的简称或军警 包括各省、直辖市的简称或军警)；n n 英文字母 英文字母(26(26 个大写字母 个大写字母)；n n 阿拉伯数字为 阿拉伯数字为0 0，1 1，9 9。24字符 字符(z f)(z f)特征提取 特征提取第 23 页/共 32 页第二十四页，共32 页。25n n 光学字符识别先要使识别系统学习待辩识字符的特征，光学字符识别先要使识别系统学习待辩识字符的特征，然后再利用这些先验知识对输入图像进行判决，得到 然后再利用这些先验知识对输入图像进行判决，得到字符的识别结果。字符的

17、识别结果。n n 字符的特征：字符的特征：n n 平面上的点阵位置特征：像素 平面上的点阵位置特征：像素(xin(xin s)s)灰度特征 灰度特征（不好）（不好）n n 频率特征：跳变统计特征 频率特征：跳变统计特征n n 投影特征：灰度统计特征 投影特征：灰度统计特征n n 语义特征：结构特征 语义特征：结构特征n n 几种目前常采用的特征：几种目前常采用的特征：HOG HOG、Haar Haar、LBP LBP字符(z f)特征提取（续）第 24 页/共 32 页第二十五页，共32 页。26n n LBP LBP（LocalBinaryPattern LocalBinaryPattern

18、，局部二值模式）是一种用，局部二值模式）是一种用来 来(ynli)(ynli)描述图像局部纹理特征的算子；具有旋转不 描述图像局部纹理特征的算子；具有旋转不变性和灰度不变性等显著的优点。变性和灰度不变性等显著的优点。字符(z f)特征提取（续）第 25 页/共 32 页第二十六页，共32 页。27n n LBP LBP 特征的描述：特征的描述：n n 定义：在 定义：在33 33 的窗口内，以窗口中心像素为阈值，将相邻的 的窗口内，以窗口中心像素为阈值，将相邻的8 8 个 个像素的灰度值与其进行比较，若周围像素值大于中心像素值，像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的

19、位置被标记为 则该像素点的位置被标记为1 1，否则为，否则为0 0。这样，。这样，33 33 邻域 邻域(ln(ln y)y)内的 内的8 8 个点经比较可产生 个点经比较可产生8 8 位二进制数（通常转换为十进制数 位二进制数（通常转换为十进制数即 即LBP LBP 码，共 码，共256 256 种），即得到该窗口中心像素点的 种），即得到该窗口中心像素点的LBP LBP 值，并 值，并用这个值来反映该区域的纹理信息。用这个值来反映该区域的纹理信息。n n 字符(z f)特征提取（续）灰度不变性第 26 页/共 32 页第二十七页，共32 页。28n n 基本的 基本的LBP LBP 算子有

20、两个缺陷：算子有两个缺陷：n n 只覆盖了一个固定半径范围内的小区域，不能满足不同尺寸和频率纹理的需要 只覆盖了一个固定半径范围内的小区域，不能满足不同尺寸和频率纹理的需要;n n 不具有旋转不变性。不具有旋转不变性。n n 圆形 圆形LBP LBP 特征：特征：n n 将 将33 33 邻域扩展到任意邻域 邻域扩展到任意邻域n n 用圆形邻域代替 用圆形邻域代替(dit)(dit)了正方形邻域 了正方形邻域n n 允许在半径为 允许在半径为R R 的圆形邻域内有任意多个像素点。的圆形邻域内有任意多个像素点。字符(z f)特征提取（续）第 27 页/共 32 页第二十八页，共32 页。29n

21、n 改进的 改进的LBP LBP 特征具有 特征具有(jyu)(jyu)灰度不变性和旋转不变性。灰度不变性和旋转不变性。字符(z f)特征提取（续）第 28 页/共 32 页第二十九页，共32 页。30n n LBP LBP 特征提取步骤：特征提取步骤：n n 将检测窗口划分为一定大小的小区域（将检测窗口划分为一定大小的小区域（cell cell），例如），例如1616 1616；n n 对于每个 对于每个cell cell 中的每个像素，计算其 中的每个像素，计算其LBP LBP 值；值；n n 计算每个 计算每个cell cell 的直方图，即每个 的直方图，即每个LBP LBP 值出现的

22、频率；并对该直方图 值出现的频率；并对该直方图进行归一化处理；进行归一化处理；n n 将每个 将每个cell cell 的统计直方图进行连接成为一个特征向量，也就是 的统计直方图进行连接成为一个特征向量，也就是(jish)(jish)整幅图的 整幅图的LBP LBP 纹理特征向量。纹理特征向量。字符(z f)特征提取（续）第 29 页/共 32 页第三十页，共32 页。模板(mbn)匹配ANNSVM字符识别第 30 页/共 32 页第三十一页，共32 页。需要考虑(kol)的情况n n 车牌区域上下两行字符：车牌区域上下两行字符：n n 先横向投影再纵向投影；先横向投影再纵向投影；n n 两种车牌：蓝底白字（暗背景亮目标）两种车牌：蓝底白字（暗背景亮目标）n n 黄底黑字（亮背景暗目标）黄底黑字（亮背景暗目标）n n 边缘投影图中，波峰波谷 边缘投影图中，波峰波谷(bg(bg)位置不同。位置不同。第 31 页/共 32 页第三十二页，共32 页。