第十一章-数字图像处理应用优秀PPT.ppt

一、火焰图像检测系统结构一、火焰图像检测系统结构一、火焰图像检测系统结构一、火焰图像检测系统结构(一一)系统结构系统结构 图图11111 1为为200MW200MW火焰图像检测系统结构成图。火焰图像检测系统结构成图。图111 系统构成 系统主要组成有：系统主要组成有：1.1.火焰图像传感器火焰图像传感器 2.2.视频安排器视频安排器 3.3.视频切换矩阵视频切换矩阵 4.4.画面分割器画面分割器 5.5.上位机工程师站上位机工程师站 6.6.下位机工作站下位机工作站 7.7.录像机等录像机等 (二二二二)系统功能系统功能系统功能系统功能 系统具有的主要功能：系统具有的主要功能：系统具有的主要功能：系统具有的主要功能：1.1.炉膛火焰的实时监视功能炉膛火焰的实时监视功能炉膛火焰的实时监视功能炉膛火焰的实时监视功能 2.2.灭火爱护功能灭火爱护功能灭火爱护功能灭火爱护功能 3.3.实时诊断功能实时诊断功能实时诊断功能实时诊断功能 4.4.故障记录与追忆等主要功能故障记录与追忆等主要功能故障记录与追忆等主要功能故障记录与追忆等主要功能 二、火焰检测算法二、火焰检测算法二、火焰检测算法二、火焰检测算法（1 1）图像特征分析）图像特征分析图114 着火图像 图115 熄火图像 有两种灭火状况：一是断粉熄火有两种灭火状况：一是断粉熄火 另一种是喷粉灭火另一种是喷粉灭火 传感器故障时，整个图像特征与黑区的特性一传感器故障时，整个图像特征与黑区的特性一样。样。（2 2）特征提取）特征提取）特征提取）特征提取 设置如图设置如图设置如图设置如图11118 8示的三个特征提取区域，在示的三个特征提取区域，在示的三个特征提取区域，在示的三个特征提取区域，在相应区域内提取火焰燃烧的特征参数。相应区域内提取火焰燃烧的特征参数。相应区域内提取火焰燃烧的特征参数。相应区域内提取火焰燃烧的特征参数。区域区域区域区域A A设置原则是：一般状况下，火焰的黑龙设置原则是：一般状况下，火焰的黑龙设置原则是：一般状况下，火焰的黑龙设置原则是：一般状况下，火焰的黑龙区、初燃区和燃烧区都落在该区域内。区、初燃区和燃烧区都落在该区域内。区、初燃区和燃烧区都落在该区域内。区、初燃区和燃烧区都落在该区域内。图118 特征提取区域（3 3）RBF RBF神经网络神经网络神经网络神经网络 RBF RBF神经网络输入层到隐含层的映射具有特神经网络输入层到隐含层的映射具有特神经网络输入层到隐含层的映射具有特神经网络输入层到隐含层的映射具有特征聚类功能，因此征聚类功能，因此征聚类功能，因此征聚类功能，因此RBFRBF神经网络在分类实力和学神经网络在分类实力和学神经网络在分类实力和学神经网络在分类实力和学习速度上优于其它神经网络，故接受该神经网络习速度上优于其它神经网络，故接受该神经网络习速度上优于其它神经网络，故接受该神经网络习速度上优于其它神经网络，故接受该神经网络进行着火判别。进行着火判别。进行着火判别。进行着火判别。RBF RBF神经网络为三层前向网络，隐含层径向神经网络为三层前向网络，隐含层径向神经网络为三层前向网络，隐含层径向神经网络为三层前向网络，隐含层径向基函数接受高斯函数，其第基函数接受高斯函数，其第基函数接受高斯函数，其第基函数接受高斯函数，其第j j元的输出元的输出元的输出元的输出 与输入与输入与输入与输入向量向量向量向量 的关系为：的关系为：的关系为：的关系为：输出层为输出层为2 2个神经元，其输出个神经元，其输出 （）与隐）与隐含层输出含层输出 （）的关系为）的关系为:网络志向输出状态（网络志向输出状态（1,01,0）为着火；（）为着火；（0,00,0）为）为熄火；（熄火；（0,10,1）为灭火；（）为灭火；（1,11,1）为故障。）为故障。其次节其次节 燃烧稳定性判别燃烧稳定性判别一、燃烧稳定性特征一、燃烧稳定性特征一、燃烧稳定性特征一、燃烧稳定性特征 彩彩彩彩色色色色火火火火焰焰焰焰图图图图像像像像的的的的G G色色色色度度度度图图图图像像像像的的的的差差差差分分分分图图图图像像像像能能能能较较较较好好好好地反映出未燃区域变更，其地反映出未燃区域变更，其地反映出未燃区域变更，其地反映出未燃区域变更，其G G色度值的差分图像色度值的差分图像色度值的差分图像色度值的差分图像 定义为：定义为：定义为：定义为：用用 表示在表示在 时间间隔内的火焰时间间隔内的火焰G G色度图像色度图像的相对变更量，其定义为的相对变更量，其定义为:其中其中 为比例因子为比例因子,作用有作用有:一突出变更量一突出变更量 二调整参数与语言的模糊关系二调整参数与语言的模糊关系 二、判别方法二、判别方法二、判别方法二、判别方法 燃燃燃燃烧烧烧烧稳稳稳稳定定定定性性性性判判判判别别别别方方方方法法法法如如如如图图图图11111212所所所所示示示示，接接接接受受受受了模糊模式识别方法进行燃烧稳定性判。了模糊模式识别方法进行燃烧稳定性判。了模糊模式识别方法进行燃烧稳定性判。了模糊模式识别方法进行燃烧稳定性判。图1112 燃烧稳定性判别方法 用一个差分图像相对变更量来判别燃烧稳定用一个差分图像相对变更量来判别燃烧稳定性，其效果不志向。而用二个差分图像相对变更性，其效果不志向。而用二个差分图像相对变更 量来进行燃烧稳定性判别可有效克服燃烧波动的量来进行燃烧稳定性判别可有效克服燃烧波动的随机影响，提高燃烧稳定性判别正确率。此外采随机影响，提高燃烧稳定性判别正确率。此外采 样图像的间隔样图像的间隔 也是影响判别的一个重要因素。也是影响判别的一个重要因素。大，采样图像失去反映燃烧稳定性信息；大，采样图像失去反映燃烧稳定性信息；太太小，未燃区域变更不明显，简洁误判。小，未燃区域变更不明显，简洁误判。在在 确定条件下，燃烧稳定性与差分图像相确定条件下，燃烧稳定性与差分图像相对变更量在概念层上的关系用语言描述如下：对变更量在概念层上的关系用语言描述如下：假如假如 大，且大，且 大，则不稳定燃烧；大，则不稳定燃烧；假如假如 大，且大，且 中，则不稳定燃烧；中，则不稳定燃烧；假如假如 中，且中，且 大，则不稳定燃烧；大，则不稳定燃烧；其它状况下，为稳定燃烧。其它状况下，为稳定燃烧。第三节第三节 二维温度场测量二维温度场测量一、测量机理一、测量机理一、测量机理一、测量机理（一）（一）（一）（一）CCDCCD摄像机摄像机摄像机摄像机 CCD CCD成像是一个光电转换过程，在志向状况成像是一个光电转换过程，在志向状况成像是一个光电转换过程，在志向状况成像是一个光电转换过程，在志向状况下，面阵下，面阵下，面阵下，面阵CCDCCD器件在像点器件在像点器件在像点器件在像点 处的输出电流处的输出电流处的输出电流处的输出电流 与该点光照度与该点光照度与该点光照度与该点光照度 的关系为：的关系为：的关系为：的关系为：当物距远大于镜头焦距当物距远大于镜头焦距f f时，像点时，像点 的光照的光照度度 与该点与该点CCDCCD所能接收到的相应物体亮度所能接收到的相应物体亮度 的关系为的关系为:在在CCDCCD摄像机中除了对摄像机中除了对CCDCCD器件输出电流信号器件输出电流信号放大之外，还进行了放大之外，还进行了 校正以满足图像显示要求。校正以满足图像显示要求。因此摄像机在像点因此摄像机在像点 的实际输出电压的实际输出电压 与该与该点所对应的曝光量关系为点所对应的曝光量关系为:（二）（二）（二）（二）志向温度模型志向温度模型志向温度模型志向温度模型 在正常曝光范围内，温度小于在正常曝光范围内，温度小于在正常曝光范围内，温度小于在正常曝光范围内，温度小于3000K3000K时，由时，由时，由时，由WeinWein定律可以得到定律可以得到定律可以得到定律可以得到:上式可整理得到彩色上式可整理得到彩色CCDCCD摄像机的三色测温摄像机的三色测温公式：公式：二、实际测温模型二、实际测温模型二、实际测温模型二、实际测温模型 彩彩彩彩色色色色CCDCCD摄摄摄摄像像像像机机机机的的的的RGBRGB重重重重量量量量输输输输出出出出电电电电压压压压、经经经经过过过过图图图图像像像像采采采采样样样样后后后后与与与与数数数数字字字字图图图图像像像像RGBRGB重重重重量量量量的的的的灰灰灰灰度度度度值值值值近近近近似似似似为为为为线线线线性性性性关关关关系系系系，于于于于是是是是温温温温度度度度与与与与图图图图像像像像灰灰灰灰度度度度值值值值也也也也存存存存在在在在如如如如下下下下非线性函数关系：非线性函数关系：非线性函数关系：非线性函数关系：BP BP神经网络具有自学习和靠近随意有界连续神经网络具有自学习和靠近随意有界连续非线性函数的实力。所以利用非线性函数的实力。所以利用BPBP神经网络来构造神经网络来构造一个一个“黑箱黑箱”，并通过神经网络的自学习来靠近，并通过神经网络的自学习来靠近温度与灰度值温度与灰度值 的函数关系，其网络输入为的函数关系，其网络输入为RGBRGB重量的灰度值，输出层为一个神经元，表示重量的灰度值，输出层为一个神经元，表示测量温度。测量温度。所接受的所接受的BPBP神经网络结构如图神经网络结构如图11111616所示：所示：图1116 神经网络结构 三、测量结果三、测量结果三、测量结果三、测量结果 神经网络的学习误差的定义为：神经网络的学习误差的定义为：第四节第四节 苹果坏损自动检测与分类苹果坏损自动检测与分类一、图像处理系统一、图像处理系统一、图像处理系统一、图像处理系统 苹果光学反射特性主要有如下性质：在近红苹果光学反射特性主要有如下性质：在近红外波段外波段7507501100nm1100nm内，同一品种苹果绿色、红内，同一品种苹果绿色、红色、黄绿色部分的反射系数基本相等，非坏损部色、黄绿色部分的反射系数基本相等，非坏损部分反射系数比坏损部分反射系数大。另外在波段分反射系数比坏损部分反射系数大。另外在波段750880nm750880nm之间非坏损部分反射系数可认为是一之间非坏损部分反射系数可认为是一常数。常数。二、图像预处理二、图像预处理二、图像预处理二、图像预处理(一一一一)均值滤波均值滤波均值滤波均值滤波 苹果一些非坏损区域灰度值有不规则的小波苹果一些非坏损区域灰度值有不规则的小波苹果一些非坏损区域灰度值有不规则的小波苹果一些非坏损区域灰度值有不规则的小波动，这些现象可认为是由于光电子散粒噪声、矩动，这些现象可认为是由于光电子散粒噪声、矩动，这些现象可认为是由于光电子散粒噪声、矩动，这些现象可认为是由于光电子散粒噪声、矩阵式阵式阵式阵式CCDCCD器件对光敏感性不一样以及苹果本身表器件对光敏感性不一样以及苹果本身表器件对光敏感性不一样以及苹果本身表器件对光敏感性不一样以及苹果本身表面状况微小变更所造成的。面状况微小变更所造成的。面状况微小变更所造成的。面状况微小变更所造成的。图1122 苹果图像图1123 图像在坏损处（横截面）灰度分布 图1124 滤波后图像在坏损处（横截面）灰度分布(二二二二)图像增加图像增加图像增加图像增加 通过增加光照强度等外部条件增大坏报与非通过增加光照强度等外部条件增大坏报与非通过增加光照强度等外部条件增大坏报与非通过增加光照强度等外部条件增大坏报与非坏损灰度对比度，但是在实际中增加光照强度可坏损灰度对比度，但是在实际中增加光照强度可坏损灰度对比度，但是在实际中增加光照强度可坏损灰度对比度，但是在实际中增加光照强度可确定程度上增大坏损与非坏损灰度对比度，但并确定程度上增大坏损与非坏损灰度对比度，但并确定程度上增大坏损与非坏损灰度对比度，但并确定程度上增大坏损与非坏损灰度对比度，但并非是线性关系；另外光照强度的增加还受非是线性关系；另外光照强度的增加还受非是线性关系；另外光照强度的增加还受非是线性关系；另外光照强度的增加还受CCDCCD摄摄摄摄像机光响应特性条件的限制。因此通过软件方法像机光响应特性条件的限制。因此通过软件方法像机光响应特性条件的限制。因此通过软件方法像机光响应特性条件的限制。因此通过软件方法来增大坏损与非坏报灰度差值，以利于坏损边缘来增大坏损与非坏报灰度差值，以利于坏损边缘来增大坏损与非坏报灰度差值，以利于坏损边缘来增大坏损与非坏报灰度差值，以利于坏损边缘的检测。的检测。的检测。的检测。设对于相邻的两像素，在果形表面正常的状设对于相邻的两像素，在果形表面正常的状况下，可认为两相邻点的光照强度、形态因子相况下，可认为两相邻点的光照强度、形态因子相等。于是两相邻像素灰度差值为：等。于是两相邻像素灰度差值为：图像增加后的两相邻像素灰度差值为：图像增加后的两相邻像素灰度差值为：三、坏损检测三、坏损检测三、坏损检测三、坏损检测（一）特征分析（一）特征分析（一）特征分析（一）特征分析图像灰度分布具有如下特征：图像灰度分布具有如下特征：图像灰度分布具有如下特征：图像灰度分布具有如下特征：(1)(1)当苹果图像中无坏损和花萼或果梗时，在志向状当苹果图像中无坏损和花萼或果梗时，在志向状当苹果图像中无坏损和花萼或果梗时，在志向状当苹果图像中无坏损和花萼或果梗时，在志向状况下由苹果边缘至中心区域灰度值呈单调上升趋况下由苹果边缘至中心区域灰度值呈单调上升趋况下由苹果边缘至中心区域灰度值呈单调上升趋况下由苹果边缘至中心区域灰度值呈单调上升趋势，其等灰度曲线近似圆形。势，其等灰度曲线近似圆形。势，其等灰度曲线近似圆形。势，其等灰度曲线近似圆形。(2)(2)图像有坏损时，坏损区域的灰度值较相邻的非坏图像有坏损时，坏损区域的灰度值较相邻的非坏图像有坏损时，坏损区域的灰度值较相邻的非坏图像有坏损时，坏损区域的灰度值较相邻的非坏损区域灰度值小，且其差值较大损区域灰度值小，且其差值较大损区域灰度值小，且其差值较大损区域灰度值小，且其差值较大(3)(3)由于噪声的影响，在苹果正常部分其灰度值也有由于噪声的影响，在苹果正常部分其灰度值也有由于噪声的影响，在苹果正常部分其灰度值也有由于噪声的影响，在苹果正常部分其灰度值也有一些小的浅洼区，但是这些洼区的深度较坏损部一些小的浅洼区，但是这些洼区的深度较坏损部一些小的浅洼区，但是这些洼区的深度较坏损部一些小的浅洼区，但是这些洼区的深度较坏损部分所对应的洼区要浅。分所对应的洼区要浅。分所对应的洼区要浅。分所对应的洼区要浅。（二）坏损点检测（二）坏损点检测（二）坏损点检测（二）坏损点检测 坏损点检测规则分以下几种状况：坏损点检测规则分以下几种状况：坏损点检测规则分以下几种状况：坏损点检测规则分以下几种状况：（1 1）当相邻比较像素）当相邻比较像素）当相邻比较像素）当相邻比较像素PIPI不是坏损点时不是坏损点时不是坏损点时不是坏损点时（2 2）当相邻比较像素）当相邻比较像素）当相邻比较像素）当相邻比较像素PIPI是首次可疑下降点时是首次可疑下降点时是首次可疑下降点时是首次可疑下降点时（3 3）当相邻比较像素）当相邻比较像素）当相邻比较像素）当相邻比较像素PIPI是第是第是第是第2 2可疑下降点时可疑下降点时可疑下降点时可疑下降点时（4 4）当相邻比较像素）当相邻比较像素）当相邻比较像素）当相邻比较像素PIPI是第是第是第是第3 3可疑下降点时可疑下降点时可疑下降点时可疑下降点时（5 5）当相邻比较像素）当相邻比较像素）当相邻比较像素）当相邻比较像素PIPI是第是第是第是第4 4可疑下降点时可疑下降点时可疑下降点时可疑下降点时（6 6）当相邻比较像素）当相邻比较像素PIPI是第是第5 5可疑下降点时可疑下降点时（7 7）当相邻比较像素）当相邻比较像素PIPI是第是第1 1可疑上升点时可疑上升点时（8 8）当相邻比较像素）当相邻比较像素PIPI是第是第2 2可疑上升点时可疑上升点时（9 9）当相邻比较像素）当相邻比较像素PIPI是第是第3 3可疑上升点时可疑上升点时（1010）当相邻比较像素）当相邻比较像素PIPI是第是第4 4可疑上升点时可疑上升点时（1111）当相邻比较像素）当相邻比较像素PIPI是下降坏损点时是下降坏损点时（1212）当相邻比较像素）当相邻比较像素PIPI是上升坏损点时是上升坏损点时 上述条件都不满足，则检测点上述条件都不满足，则检测点P P作为上升坏损作为上升坏损点处理。上述预估值是指与坏损边缘点相邻的且点处理。上述预估值是指与坏损边缘点相邻的且在同一判别方向上的苹果非坏损处的灰度值的预在同一判别方向上的苹果非坏损处的灰度值的预估值。在苹果图像中如无坏损和果梗、花萼时，估值。在苹果图像中如无坏损和果梗、花萼时，其灰度值的空间分布可用下式近似表示：其灰度值的空间分布可用下式近似表示：（三）坏损区域判别（三）坏损区域判别 首先，将检测出的坏损点依据坏损点标记使首先，将检测出的坏损点依据坏损点标记使图像中的坏损点汇聚成若干个不相联的可疑坏损图像中的坏损点汇聚成若干个不相联的可疑坏损区域。区域。定义区域的最小深度为：定义区域的最小深度为：当当 阈值，且区域面积阈值，且区域面积 阈值时，该阈值时，该区域初步判定为坏损区域。区域初步判定为坏损区域。为了避开将果梗区和花萼区判为坏损区域，为了避开将果梗区和花萼区判为坏损区域，接受如下判别方法：（设可疑坏损区域所在的图接受如下判别方法：（设可疑坏损区域所在的图像为像为F1(F1(或或F3)F3)）(1)(1)当可疑坏损区域当可疑坏损区域 的面积大于阈值的面积大于阈值 时，需进时，需进行下面判别，否则为坏损区域。行下面判别，否则为坏损区域。(2)(2)在在F3(F3(或或F1)F1)中无可疑坏损区域，假如中无可疑坏损区域，假如 的面积大的面积大于阈值于阈值 ，并且其形心靠近图像处理窗口的顶部，并且其形心靠近图像处理窗口的顶部，则进行第则进行第(3)(3)判别，否则可疑坏损区域判别，否则可疑坏损区域 是坏损区是坏损区域。域。(3)(3)假如形心位于接近图像处理窗口的顶部边缘，假如形心位于接近图像处理窗口的顶部边缘，则则 为果梗区域或花萼区域。否则为果梗区域或花萼区域。否则F2F2中的苹果图中的苹果图像上部的边缘作始终线拟合像上部的边缘作始终线拟合 (如图如图11112828所示所示)。当拟合直线的斜率大于。当拟合直线的斜率大于 ，则为，则为 果梗区果梗区域或花萼区域；否则域或花萼区域；否则 为坏损区域。为坏损区域。图1128边缘直线拟合 （4 4）在）在F3F3或或(F1)(F1)中有可疑坏损区域中有可疑坏损区域 ，当其相应，当其相应的形心满足下列条件之一的形心满足下列条件之一 则则 和和 为果梗区和花萼区，否则都为坏损区为果梗区和花萼区，否则都为坏损区域。域。（四）结果（四）结果（四）结果（四）结果 坏损点单调检测法能有效地检测出坏损。系坏损点单调检测法能有效地检测出坏损。系统对阈值参数选择不是很敏感，即鲁棒性较强。统对阈值参数选择不是很敏感，即鲁棒性较强。在参数选择得当的条件下，坏损检测与判别方法在参数选择得当的条件下，坏损检测与判别方法能以较高的正确率将坏损检出。能以较高的正确率将坏损检出。四、缺陷分类四、缺陷分类四、缺陷分类四、缺陷分类（一）（一）缺陷特征参数缺陷特征参数 圆形因子圆形因子 定义为：定义为：长形因子长形因子L(B)L(B)定义为：定义为：区域宽度区域宽度W(B)W(B)定义：设区域在定义：设区域在 方向上获得最方向上获得最大大 投影长度，区域在方向上的投影长度则为区域投影长度，区域在方向上的投影长度则为区域宽度，其为：宽度，其为：（二）分类方法（二）分类方法（二）分类方法（二）分类方法 缺陷分类是一个多模式分类问题，利用二叉缺陷分类是一个多模式分类问题，利用二叉缺陷分类是一个多模式分类问题，利用二叉缺陷分类是一个多模式分类问题，利用二叉树（决策）方法可把一个困难多模式分类问题化树（决策）方法可把一个困难多模式分类问题化树（决策）方法可把一个困难多模式分类问题化树（决策）方法可把一个困难多模式分类问题化为多级多个二类模式分类问题。如图为多级多个二类模式分类问题。如图为多级多个二类模式分类问题。如图为多级多个二类模式分类问题。如图11113131所示所示所示所示的缺陷分类方法。的缺陷分类方法。的缺陷分类方法。的缺陷分类方法。图1131 缺陷分类方法 （三）分类结果（三）分类结果（三）分类结果（三）分类结果（1 1）深度分类深度分类 由于缺陷区域深度不仅与面积有关，还与缺由于缺陷区域深度不仅与面积有关，还与缺陷在苹果图像上位置有关系，因此需求出区域在陷在苹果图像上位置有关系，因此需求出区域在图像上的相对位置，其为：图像上的相对位置，其为：对于深度分类接受三层对于深度分类接受三层BPBP神经网络，输入到神经网络，输入到神经网络的特征参数有：神经网络的特征参数有：1.1.区域最小深度区域最小深度 2.2.区域面积区域面积 3.3.区域相对坐标区域相对坐标 （2 2）宽度、深度、面积分类）宽度、深度、面积分类）宽度、深度、面积分类）宽度、深度、面积分类 长形宽度、深度、面积分类接受三层长形宽度、深度、面积分类接受三层长形宽度、深度、面积分类接受三层长形宽度、深度、面积分类接受三层BPBP神经神经神经神经网络，输入到神经网络的特征参数为：网络，输入到神经网络的特征参数为：网络，输入到神经网络的特征参数为：网络，输入到神经网络的特征参数为：1.1.宽度因子宽度因子宽度因子宽度因子 2.2.区域最小深度区域最小深度区域最小深度区域最小深度 3.3.区域相对坐标区域相对坐标区域相对坐标区域相对坐标 输出为一个节点。输出为一个节点。输出为一个节点。输出为一个节点。（3 3）总体分类结果）总体分类结果）总体分类结果）总体分类结果 表面缺陷表现形式和在图像上位置的离散性表面缺陷表现形式和在图像上位置的离散性表面缺陷表现形式和在图像上位置的离散性表面缺陷表现形式和在图像上位置的离散性和随机性，特殊是缺陷特征的明显性是影响分类和随机性，特殊是缺陷特征的明显性是影响分类和随机性，特殊是缺陷特征的明显性是影响分类和随机性，特殊是缺陷特征的明显性是影响分类正确率重要缘由。此外学习样本的多样性、丰富正确率重要缘由。此外学习样本的多样性、丰富正确率重要缘由。此外学习样本的多样性、丰富正确率重要缘由。此外学习样本的多样性、丰富程度和网络获得学问的程度也对分类正确率有重程度和网络获得学问的程度也对分类正确率有重程度和网络获得学问的程度也对分类正确率有重程度和网络获得学问的程度也对分类正确率有重要影响。要影响。要影响。要影响。