2022年多传感器信息融合技术在图像处理中的应用 .pdf

多传感器信息融合技术在图像信息处理中的应用作者姓名：胡秋立专业：自动化检测与自动化装置学号： 2009020128 摘要多传感器信息融合实际上是对人脑综合处理复杂问题的一种功能模拟，它在图像信息处理中的应用表现在充分地利用各个源图像的资源信息。通过对各种传感器及其观测信息的合理支配与使用，将各种传感器在空间和时间上的互补和冗余信息依据某种优化准则组合起来，产生对观测环境的一致性解释和描述。关键词：多传感器、图像信息融合、图像配准SummaryMulti-sensor information fusion is actually an integrated complex issues of human brain as a function of simulation, during the image information processing,it reflects the full use of each source image of the resource information.According the observations on a variety of sensor information and reasonable disposal use of the various sensors,to combine the complementary and redundant information in space and time based on a optimization criterion,produce the observed consistency of interpretation and description of the environment. Keywords:Multi-sensor, image fusion, image registration 1.引言多传感器信息融合技术在图像信息处理中有着广泛的应用，图像信息的处理过程实际上就是对人脑处理图像信息的一种功能模拟，这里通过多种传感器所获取的源图像信息的提取和合成， 从而获得对同一场景目标更为准确、更为全面、 更为可靠的图像描述。迄今为止，这项技术的应用已经相当广泛，在军事领域， 民用领域发挥着不容忽视的作用，在解决探测、跟踪以及目标识别等问题上都具有很多的性能优点。1 图像信息融合技术是图像信息处理与分析的重要方法之一，它的基本目标是通过组合获得比任何单个数据源更准确的信息，可以在像素级、特征级、决策级三个层次上进行。在图像处理领域， 像素级融合用在多传感器图像分析，如多波段遥感图像的分类；特征级融合用在图像符号化， 如基于边缘检测和区域分割的图像分割技术；决策级融合主要用于图像目标的自动识别研究，如对直线和区域的综合分析等。2 2.图像融合方法常用的融合方法主要有以下几种，其中前四种是空间域方法，后两种是变换域方法：2.1 加权融合和主成分分析最直接的融合方法就是对源图像进行加权平均作为融合结果。加权平均提高了融合图像的信噪比， 但削弱了图像的对比度，在一定程度上使图像边缘、轮廓变得模糊。加权平均方法具有算法简单、 融合速度快的优点，但在多数应用场合该方法往往难以取得令人满意的效果。主成分分析的方法就是把多波段的图像信息，综合在一幅图像上，而且对融合图像来说，各波段的信息所做出的贡献能最大限度的表现出来，为此，需对源图像各波段像素值进行加名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 5 页 - - - - - - - - - 权线性变换，以产生新的像素值。2 2.2 假彩色图像融合假彩色融合方法是在人眼对颜色的分辨率远远超过对灰度等级的分辨率这一视觉特性的基础上提出的融合方法。通过某种彩色化处理技术将蕴藏在原始图像灰度等级中的细节信息以彩色的方式来表征，可以使人类视觉系统对图像的细节有更丰富的认识。一般是通过彩色映射的方法将输入图像映射到一个色彩空间中，得到一幅假彩色融合图像。在图像处理中常用的有两种彩色坐标系：一种是由红（R） 、绿（ G）和蓝（ B）三原色构成的RGB 彩色空间；另一种是由亮度I、色调 H 及饱和度 S 三个变量构成的IHS 彩色空间。 IHS 变换就是RCB 空间与 IHS 空间之间的变换，从RGB 空间到 IHS 空间的变换成为IHS 反变换。3 2.3 Brovey变换法Brovey 变换是基于色度的一种颜色变换，并且比 RGB 到 IHS 的变换更简单。 如果需要，Brovey 变换也可应用于单个波段。它建立在如下亮度调节的基础上：其中 I=(R+C+B)/3 ，R、G、B 多光谱图像的红、绿、蓝波段。P 是已经配准好的更高空间分辨率的数据。3 Brovey 变换可用来融合具有不同空间特征和光谱特征的图像。但是，如果亮度替换 （或调节）图像（即全色波段）的光谱范围与3 个空间分辨率较低波段的光谱范围不同，那么RGB 到 Brovey 变换可能引起色彩畸变。Brovey 变换是为了从视觉上提高图像直方图低端和高端的对比度而提出的（即，提供阴影、水和高反射区如城区的对比）。所以，如果原始图像中的辐射信息较为重要而需要保留时，就不能使用Brovey 变换。但是，对于生成直方图中低高端具有较高对比度的RGB 图像以及生成视觉效果满意的图像而言，这是个不错的方法。2.4 基于调制的图像融合调制是指一种信号的某项参数随另一种信号变化而变化。用于图像融合上的调制手段一般适用于两幅图像的融合处理，具体操作一般是将一幅图像进行归一化处理，然后将归一化的结果与另一图像相乘，最后重新量化后进行显示。用于图像融合上的调制技术一般可分为对比度调制技术和灰度调制技术。3 2.5 基于金字塔变换的图像融合基于金字塔变换的图像融合方法的基本思想是首先对源图像不断地滤波，形成一个塔式分解结构， 在塔的每一层用相应的融合规则对这一层的数据进行融合处理，从而得到一个合成的塔式结构， 然后对合成的塔式结构进行重构，得到合成图像。 将其用于图像融合处理中，可以在不同尺度、 不同空间分辨率上有针对性地突出各图像的重要特征和细节信息，从而达到更优的融合效果，图像的多分辨塔式分解是将图像分解到一系列的频率通道中，减少了融合图像时的拼接痕迹。其中， 拉普拉斯式分解在多个尺度上表示了图像的边缘信息；对比度塔式分解在多个尺度上表示了图像对比度信息。然而，这些图像的塔式分解均是图像的冗余分解，分解后的数据有冗余性和相关性，图像分解后的数据比原来图像增加了约三分之一以上，并且无方向性。 当要融合的多传感器图像差别很大时，这种相关性就很容易引起算法的不稳定。2 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 5 页 - - - - - - - - - 2.6 基于小波变换的图像融合小波变换的融合方法是类似于金字塔变换的图像处理方法，就是对源图像进行小波变换，将其分解在不同频段的不同特征域上，然后在不同的特征域内进行融合，构成新的小波金字塔结构， 再用小波逆变换得到融合图像的过程。小波变换具有变焦性、信息保持性和小波基选择的灵活性等优点。经小波变换可将图像分解为一些具有不同空间分辨率、频率特性和方向特性的子图像。它的高频特征， 相当于高、低双频滤波器，能够将一信号分解为低频图像和高频细节（纹理）图像，同时又不失原图像所包含的信息。因而可以用于以非线性的对数映射方式融合不同类型的图像数据，使融合后的图像即保留原高分辨率遥感图像的结构信息，又融合了多光谱图像丰富的光谱信息，提高图像的解译能力和分类精度。3.图像配准3.1 多传感器图像配准融合原理所谓图像融合是指综合两个或者多个源图像的信息，以获取对同一场景的更为精确、全面、可靠的图像中的目标描述。图像融合充分利用了多个源图像中的冗余信息和互补信息，提高了系统的性能。3.2 图像配准方法3.2.1相关方法互相关是基本的统计配准方法。它在模糊识别， 模板匹配等领域中被广泛使用，其本身不是图像配准的完整方法，而是相似性度量或匹配程度的表征，但在很多配准算法里都用相关作为基本的相似度量工具，并且还有一些算法如序列相关法，是相关法在图像配准上的修正应用。1 3.2.2傅立叶变换法傅立叶变换有几种属性可被用来进行图像配准。图像的旋转、 平移、 比例变化都能在傅立叶变换频域中反映出来。使用频域方法的好处是对噪声干扰有一定的抵抗能力，同时傅立叶变换可以采用快速傅立叶变换的方法提高执行速度。1 3.2.3基于特征的方法在无法对图像变形简单建模的情况下，经常采用这类方法进行配准，它利用图像中的边缘目标的显著点等来确定配准的控制点。一旦确定了足够的控制点对其它点进行配准几何变换的参数就可计算出来进行图像配准的几何变换参数需根据控制点来计算，控制点的精确度对最终配准的精确度会有很大的影响。实际中， 常需要将对控制点的检测精度提高到象素内部即达到亚象素级，这样在图像融合时可实现较高的精度。4 4.多种图像融合的层次和模型4.1 图像信息融合层次图像信息融合按信息抽象程度的不同可分为三个从低到高的层次象素级融合、目标级即特征级融合、决策级融合。图4.1 给出三个层次的特点和关系。图 4.1 多传感器图像信息融合层次名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 5 页 - - - - - - - - - 图像融合从配准的图像出发经过特征提取属性判决而得融合结果。象素级融合在低层次上进行， 直接对配准后的不同传感器图像数据进行融合根据融合的结果提取特征。特征级融合在中间层次上进行，对特征提取后获得的特征信息如边沿、轮廓等进行融合，根据融合的结果描述属性。 决策级融合在高层次上进行，对目标属性的描述信息进行融合根据融合的结果解释图像。三个层次中，像素级融合准确性最高能够提供其它层次上的融合所不具备的细节信息。但因为其需要处理的数据量大，所以对于计算机的运算速度和内存容量要求较高。决策级的融合在高层次上进行，所需要处理的数据量小，且比较适合于多类不同传感器。但它由于比较抽象和模糊， 精度可能较差。 特征级的融合介于两者之间，但在每个层次上还可以使用不同的结构模型，包括不同的策、不同的模块、不同的数据流向。4 4.2 图像信息融合模型4.2.1图像信息融合的功能模型根据融合的功能层次可以5 级融合模型： 检测判断融合、 测量位置融合、 目标属性融合、态势评估、威胁估计。图4.2.1 是信息融合功能模型框图。图 4.2.1 信息融合功能模型框图检测判决融合是直接在不同平台的多传感器分布检测系统中检测判别的，是在信号层上进行的融合。测量位置融合是直接在雷达传感器的观测报告或测量点迹和雷达传感器状态估计上进行融合，包括时间和空间上的融合。目标属性融合包括决策级融合，特征级融合和像素级融合。态势估计是对战场上战斗力量分配情况的评价过程。威胁估计在态势估计的基础上对作战意图作出指示与告警，并定量表示敌方作战能力，估计敌方企图。4.2.2图像信息融合结构模型结构模型主要有集中式结构和分布式结构，如图4.2.2 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 5 页 - - - - - - - - - （F:融合节点， S：传感器数据，C：信息用户）图 4.2.2 信息融合系统结构模型框图集中式结构， 将不同传感器的检测报告传送到每个平台的融合中心，进行数据配准、 点迹相关、复合跟踪和综合显示。分布式结构， 信息融合在每个平台或每层分别进行，并将自己的融合结果传送给其他平台或高层平台，进行进一步融合。早期的融合系统一般采用集中式分布结构，其优点是：结构简明、设计容易、处理简单。但是系统鲁棒性差， 中心融合节点一旦损坏，整个系统就不能正常工作，同时对数据通信带宽要求较高。 分布式结构是目前的研究热点，它具有系统的生存能力强，节点之间通信量相对较小等多种优点。5.多图像信息融合研究热点与发展多传感器图像信息融合领域有以下几个研究热点及发展趋势。图像配准方法的研究仍在继续深入。 在已提出了许多确定控制点的技术，包括利用网格相关匹配、区域重心、封闭轮廓的形心非封闭边缘的曲率极大点等方法的基础上，亚象素级的配准也得到深入研究。图像融合方法正在更多地结合新的理论和工具。除了已经提出的变换融合法、小波变换融合法、主分量分析法等外借助纹理特征的融合法，借助神经网络的融合法等还在不断提出。融合层次逐渐提高。 与图像技术总的发展趋势相对应图像信息融合也逐渐向高层发展决策级的融合和基于融合结果的目标识别、场景解释、 行为规划得到了广泛关注应用领域更加广泛。多传感器融合的应用已扩展到许多领域，所要满足的要求也越来越多。如由重叠图像重构场景保持图像和中等分辨率成像光谱仪器时空和频谱特征的融合保持光谱平衡的融合，保持信息的融合，利用融合来增强散焦图像等等。5 参考文献1刘卫光 .图像信息融合与识别M .电子工业出版社,2008:19-22 2那彦 ,焦李成 .基于多分辨分析理论的图像融合方法M. 西安电子科技大学出版社,2007: 3沈佳 .图像的像素级融合的常用算法J.技术与市场2009,12(16):15 4靳国栋 ,闫成新 .多传感器数据融合及其在图像信息处理中的应用J.2003,20(4) 5柴勇 ,何友 ,曲长文 .遥感图像融合最新进展与展望J.舰船电子工程2009,29(8) 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 5 页 - - - - - - - - -