2022年遥感影像融合 .pdf

1第六章 遥感图像融合6.1 概述6.2 基于光谱 /彩色域变换的融合6.3 基于代数运算的融合6.4 基于空间域信号分解和重构的融合6.5 融合效果评价6.1 概述基本概念z融合 Fusion/Merge指采集并集成各种信息源、多媒体和多格式信息，从而生成完整、准确、及时和有效的综合信息的过程。z同一地区内的 遥感数据之间的融合遥感数据与非遥感数据之间的融合6.1 概述z 数据融合的概念始于70年代。进入 20世纪 90年代以后，随着多种遥感卫星的发射成功，从不同遥感平台获得的不同空间分辨率、光谱分辨率、时间分辨率的遥感影像形成了多级分辨率的影像金字塔序列，给遥感用户提供了从粗到精、从多光谱到高光谱的多种遥感数据源。融合的发展在一定程度上解决了多种数据源综合分析的问题。Spatial ResolutionzThe spatial resolution specifies the pixel size of satellite images covering the earth surface.zHigh spatial resolution: 0.6 - 4 mMedium spatial resolution: 4 - 30 mLow spatial resolution: 30 - 1000 mSpectral ResolutionzIn the first instance, a sensors spectral resolution specifies the number of spectral bands in which the sensor can collect reflected radiance. But the number of bands is not the only important aspect of spectral resolution. The position of bands in the electromagnetic spectrum is important, too.zHigh spectral resolution: - 220 bandsMedium spectral resolution: 3 - 15 bandsLow spectral resolution: - 3 bandsTemporal ResolutionzThe temporal resolution specifies the revisiting frequency of a satellite sensor for a specific location.zHigh temporal resolution: 16 days名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 10 页 - - - - - - - - - 2Landsat 系列16 daysETM+705kmOperating1999. 4.15NASALANDSAT-716 daysETM-1993.10.51993.10. 5NASALANDSAT-616 daysMSS/TM705kmOperating1984. 3. 1 NASALANDSAT-516 daysMSS/TM705km2001.6.151982. 7.16NASALANDSAT-418 daysRBV/MSS915km1983.3.311978. 3. 5 NASALANDSAT-318 daysRBV/MSS915km1982.2.251975. 1.22NASALANDSAT-218 daysRBV/MSS915km1978.1.6 1972. 7.23NASALANDSAT-1Recurrent periodSensorAltitudeDate of terminationDate of launchLaunched by其性能作了重大改进2002.5Spot 5卫星作了一些改进1998.3Spot 4运行 4年后在 1997年 11月由于事故停止运行1993.9Spot 3至今还在运行1990.1Spot 2目前仍在运行，但从2002年 5月起停止接收其影像1986.2Spot 1状态发射时间名称Satellite Pour lObservationde la Terre )IKONOS Satellite System: Sensor CharacteristicsPanchromatic, blue, green, red, near IRImage Bands11-bits per pixelDynamic RangeApproximately 3 days at 40 latitudeRevisit TimeNominally 10:30 AM solar timeEquator Crossing Time11.3 kilometers at nadir; 13.8 kilometers at 26 off-nadirImage Swath1.0 meter panchromatic;4.0 meters multispectralResolution 26 Off-Nadir0.82 meters panchromatic; 3.2 meters multispectralResolution at Nadir681 kilometersAltitude98.1 degree, sun synchronousOrbitOver 7 yearsOperational Life24 September 1999Launch DateQuickBirdis a high resolution satellite owned and operated by DigitalGlobe.QuickBirdSatellite Sensor CharacteristicsPan: 450-900 nmBlue: 450-520 nmGreen: 520-600 nmRed: 630-690 nmNear IR: 760-900 nmImage BandsPan: 61 cm (nadir) to 72 cm (25 off-nadir)MS: 2.44 m (nadir) to 2.88 m (25off-nadir)Resolution11 bitsDigitization16.5 Km x 16.5 Km at nadirSwath Width1-3.5 days, depending on latitude (30 off-nadir)Revisit Time10:30 AM (descending node)Equator Crossing Time97.2, sun-synchronousOrbit Inclination450 KmOrbit AltitudeOctober 18, 2001Launch Date名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 10 页 - - - - - - - - - 3重访时间(天幅宽 (km)空间分辨率 (m)光谱范围 ( m )波段号有效载荷平台58902580.630.69B07宽视场成像仪(WFI)104272.360.50.8B06高分辨率相机(HR)200.510.73B05200.770.89B04200.630.69B03200.520.59B0226113200.450.52B01CCD 相机CBERS-02BCBERS-02B 卫星有效载荷主要技术指标高光谱遥感实用型模块化成像光谱仪OMIS推扫型成像光谱仪PHIPushbroomHyperspectarlImagerzSpectral coverage:-VIS to NIR (450-850nm) z Spectral bands: 244z Spectral resolution: 5nmz Spectral sampling interval: 1.9nmz FOV: 21 (0.36rad)z IFOV: 1.5 mradz Pixels per line: 376z Digitization:12 bitsz Sensor weight: 9kgHyperion HyperspectralImager/EO-1z 2000 年11月卫星发射成功z 在0.42.5m 共有 220波段 :-可见光近红外(400-1000nm)60波段，-短波红外 (900-2500nm)160波段z 扫描带宽： 7.5kmz 空间分辨率： 30米航天成像光谱仪系统-中国环境与减灾小卫星星座（HJ-1A ）名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 10 页 - - - - - - - - - 4多源遥感数据的特点9冗余性 降低误差和不确定性9互补性 提高结果的可信度9合作性 提高协调能力遥感数据融合目的遥感数据融合目的9突出有用的专题数据，消除或抑制无关的数据，以改善目标识别的图像环境。9多种遥感数据各具有一定的空间分辨率、波谱分辨率与时间分辨率，各有其主要的应用对象和特色，同时又有其在实际应用中的局限性。如果将各种遥感数据进行融合与综合分析，便可弥补单一数据的不足，以达到多种数据源的相互补充、相互印证。这样，不仅扩大了各数据的应用范围，而且大大提高了分析精度。9数据融合的数据源可以是多种的，其融合并非几种数据的简单叠加，往往可以得到原来几种单个数据所不能提供的新数据。所以，数据融合十分有助于地学分析提取特定的数据，有助于更可靠地阐述自然环境各要素的相互关系、赋存与演变规律，满足地学分析及各种专题研究的需要。因此，数据融合方法具有广泛的实用意义。它是遥感地学分析中很重要的一种手段，也是目前遥感应用分析的前沿。消除冗余信息互补信息协调(1)起初是进行 同种遥感数据 多波段、多时相的数据融合，以提高遥感解译能力和进行动态分析。(2)后来发展到 不同类型遥感数据的融合，如陆地卫星与气象卫星、陆地卫星MSS与航天飞机成象雷达SIRA 、陆地卫星MSS与海洋卫星侧视雷达SAR，以及陆地卫星MSS与RBV 等，以扩大应用范围，提高分析精度，获得更好的遥感应用效果。(3)与此同时，人们越来越感到由于遥感本身以及实际应用中的局限性，要真正认识事物，并非遥感独家所能完成。它需要其它学科的支持，只有遥感与非遥感数据的融合，如与气象、水文数据，与重力、磁力等地球物理增息，与地球化学勘探数据，与专题地图数据，以及与数字地形模型（DTM ）等数据融合，进行综合分析，才能更好地发挥作用。遥感数据融合的发展历程9 充分认识研究对象的地学规律。9 充分了解每种融合数据的特点和适用性。9 几何配准，即解决遥感图像的几何畸变, 解决空间配准问题。9 充分考虑到不同遥感数据之间波谱数据的相关性引起的有用数据的增加以及噪声误差的增加，因此对多种遥感数据作出合理的选择。 - 选择适当的融合算法遥感数据融合技术关键只有对地学规律、遥感影像成像机理、遥感影像特征等三者有深刻的认识，并把它们有机地结合起来，数据融合才能达到更好地效果。融合方法： 按照信息抽象程度可以分为像素层、特征层和决策层。像素级融合优点：z保留了尽可能多的信息，具有最高精度，三级融合层中为研究最成熟的一级，已经成了丰富的融合算法。局限性：1）效率低下。由于处理的传感器数据量大，所以处理时间较长，实时性差2）对参与融合遥感影像配准精度要求很高。特征级融合：特征级融合是一种中等水平的融合。决策级融合：决策级融合是最高水平的融合。遥感数据融合算法融合方法： 按照信息抽象程度可以分为像素层、特征层和决策层。像素级融合：三级融合层中为研究最成熟的一级，已经成了丰富的融合算法。特征级融合：特征级融合是一种中等水平的融合。9首先是将各遥感影像数据进行特征提取，提取的特征信息应是原始信息的充分表示量或充分统计量，然后按特征信息对多源数据进行分类、聚集和综合，产生特征矢量，而后采用一些基于特征级融合方法融合这些特征矢量，作出基于融合特征矢量的属性说明。决策级融合：决策级融合是最高水平的融合。9在这一级别中，首先对每一数据进行属性说明，然后对其结果加以融合，得到目标或环境的融合属性说明。融合的结果为指挥、控制、决策提供依据。9决策级融合的优点时具有很强的容错性，很好的开放性，处理时间短、数据要求低、分析能力强。而由于对预处理及特征提取有较高要求，所以决策级融合的代价较高。遥感数据融合算法名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 10 页 - - - - - - - - - 5三级融合层次的特点融合框架 信息损失 实时性 精度 容错性 抗干扰力 工作量 融合水平像素级小 差 高 差 差 小 低 特征级 中 中 中 中 中 中 中 决策级 大 优 低 优 优 大 高 ?融合技术是假设同一天内或在很短的时间间隔内获得的不同影像数据之间是兼容的，同时影像可以进行相互配准。?融合前必须对影像进行校正，使它们具有相同的几何特征，同时还必须确保在空间上配准的。?数据融合的基本任务就是用高分辨率影像的空间细节代替某一多光谱波段的低分辨率空间细节，然后应用某种技术由于融合而丢失的多光谱影像中的光谱信息。多源遥感数据融合内容：它包括（ 1）空间配准 和（ 2）内容融合 两个方面，从而在统一地理坐标系统下，构成一组新的空间数据、一种新的合成影像。数据融合的类型 /Pixel-Basedz 基于光谱 /彩色域变换的融合IHS 变换PCA 变换z 基于代数运算的融合z 基于空间域信号分解和重构的融合6.2 基于光谱 /彩色域变换的融合1）IHS变换2）PCA变换它是把多光谱影像转换到某个特征空间，找到与全色波段相关程度最高的新波段，把新波段的光谱分配到高分辨率的全色波段影像上。IHS 变换?3个波段合成的 RGB颜色空间是一个对物体颜色属性描述系统，而 IHS色度空间提取出物体的亮度I，色度 H，饱和度 S。?RGB颜色空间和 IHS色度空间有着精确的转换关系。?以TM和SAR为例，变换思路是把TM图像的 3个波段合成的RGB假彩色图像变换到IHS色度空间，然后用SAR图像代替其中的 I值，再变换到 RGB颜色空间，形成新的影像。基于Maxwell 三角形模型的 IHS融合方法HS1()3,1, ifmin(,)3(),1, ifmin(,)3(),1, ifmin(,)3()IRGBGBBHSBR G BIBIBRRHSRR G BIBIRGGHSGR G BIGI=+-=-=-=-=-=-=-名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 10 页 - - - - - - - - - 6基于 IHS变换的数据融合步骤：1）RGB到IHS：将 RGB色彩空间中的 3个低空间分辨率波段变换成 HIS色彩空间的 3个波段；2）对比度操作：对高空间分辨率的影像进行对比度拉伸，从而使其与亮度 I影像具有相同的方差和均值；3）替换：使用拉伸的高空间分辨率影像来替换亮度I影像；4）IHS到RGB：利用 IHS 逆变换将修改的HIS数据转换回 RGB色彩空间。利用拉伸后的高空间分辨率影像代替亮度影像的理由是：这两种影像具有近似一致的光谱特征。TM 和SPOT影像数据融合TM 影像有 7个波段，光谱数据丰富，特别是5和 7波段。 SPOT数据就没有，但SPOT数据分辨率高，全色波段可达10m，比 TM的30m和 SPOT多光谱传感器的20m都高，两者融合既可以提高新图像的空间分辨率又可以保持较丰富的光谱数据。融合后的图像既保留了SPOT的空间分辨率，又保留了TM 的光谱分辨率。SPOTTM742 与SPOT融合缺点： 对多光谱的低空间分辨率RGB组合选择比较麻烦。如 TM/ETM+ 的 RGB组合多大 20种。6.2 基于光谱 /彩色域变换的融合1）IHS变换2）PCA变换它是把多光谱影像转换到某个特征空间，找到与全色波段相关程度最高的新波段，把新波段的光谱分配到高分辨率的全色波段影像上。主成分变换 PCA2f1f2f1f2g1g基于PCA 变换的数据融合 步骤：1）对原始的低分辨率影像先进行主成分分析；2）将高分辨率影像进行拉伸，使得它与第一主成分的均值和方差相接近；3）用拉伸后的高分辨率影像替换低分辨率影像的第一主成分影像；4）再把该影像变回到原来的形式。基于 PCA变换的融合方法，其关键在于多光谱影像的第一主成分中通常包含了原始多波段影像90%以上的亮度信息。数据融合的类型 /Pixel-Basedz基于光谱 /彩色域变换的融合分量替换z基于代数运算的融合比值法融合模型乘法融合模型z基于空间域信号分解和重构的融合名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 10 页 - - - - - - - - - 76.3 基于代数运算的融合z 比值法融合模型（Brovey Transform , BT）z 乘法融合模型（ Multiplication Transform , MT）比值法融合模型（Brovey Transform，BT ）又称色彩标准化（Color Normalized ）变换融合MSFPMSMSMSMSFPMSMSMSMSFPMSMSMSRRIRGBGGIRGBBBIRGB?=?+?=?+?=?+?它将参与 RGB组合的每个波段与该组合波段总和做比值计算进行正规化，以保持低分辨率影像的光谱分辨率，然后将比值结果乘以高分辨率波段的亮度以获取高频空间信息。融合结果影像的红、绿、蓝波段影像低分辨率多光谱影像的红、绿、蓝波段影像高分辨率全色影像特点： 该算法采用乘法能反映低分辨率和高分辨率影像的混和信息。为了避免生产后影像的亮度值过大采用开平方。优点： 能对任意波段融合，算法简单缺点： 光谱保真度不好1,2,3,newmmnewiihihiBB BiBBB=L,（波段）多波段影像中的任意一个波段数值高分辨率遥感信息融合以后的波段数据乘法融合模型MT（Multiplication Transform）变换采用乘法融合运算，即把一个多光谱像元与相应的高分辨率影像的像元进行相乘。其算法公式为：数据融合的类型 /Pixel-Basedz基于光谱 /彩色域变换的融合z基于代数运算的融合z基于空间域信号分解和重构的融合高通滤波变换（High Pass Filter, HPT ）基于平滑滤波的亮度调节SFIM Smoothing Filter-based Intensity Modulation Transform小波变换6.4 基于空间域信号分解和重构的融合空间域处理方法是提取高分辨率影像的高频变化信息，再将提取出的 高频信息 引到到低分辨率的多光谱影像中的方法。如高通滤波技术HPF，利用高通滤波将高分辨率影像中的高频信息提取出来，这些高频信息正是包含地面空间细节程度的信息。该高频信息被引入到低分辨率影像具有补偿空间分辨率的作用，即保留了低分辨率影像的亮度值，又融合了高分辨率影像的空间细节。高通滤波（加法）融合算法HPF（High-Pass Filter ）变换该算法采用高通滤波融合算法，算法公式为：()newmiihBBHP B=+融合结果影像第i波段原始多光谱影像第i波段原始高分辨率影像对原始影像进行高通滤波操作名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 7 页，共 10 页 - - - - - - - - - 8zHPF算法是将原始高空间分辨率影像中的高频信息（细节、边缘）提取出来叠加到原始多光谱影像中，从而获取融合影像的方法。z运用高通滤波器对原始高分辨率影像进行滤波处理，消除绝大部分的低频信息；z把滤波结果影像与多光谱影像进行合成，形成具有高频信息的多光谱融合影像。()newmiihBBHP B=+特点：高通滤波融合实现简单；对多光谱波段数没有限制；采用此方法的融合光谱畸变较小，但是其空间分辨率的改善程度也相对较小，并且会丢失影像中的纹理信息。SFIM （Smoothing Filter-based Intensity Modulation ）融合算法SFIM 即基于平滑滤波的亮度调节，其融合算法为：特点：该算法可以视为在低分辨率影像中仅引入了高分辨率影像的纹理信息，它能很好保持低分辨率影像的光谱特性。优点： 能对任意波段融合，光谱保真度好缺点： 融合效果中存在“ 胡椒面现象 ”mnewihimeanBBBB=全色影像通过均值滤波去掉其原全色影像的光谱和空间细节信息后得到的低频纹理信息影像小波变换小波变换（ Wavelet transform, WT ）是一种新兴的数学分析方法，已经受到了广泛的重视。小波变换是一种全局变换，在时间域和频率域同时具有良好的定位能力，对高频分量采用逐渐精细的时域和空域步长，可以聚焦到被处理图像的任何细节，从而被誉为“ 数学显微镜 ” 。WT 方法首先对 参与融合的遥感图像数据进行小波正变换，将图像分解为高频信息和低频信息。分别抽取来自高空间分辨率影像分解后的高频信息和低空间分辨率的低频信息进行小波逆变换，生成融合图像。特点： 可以对任意波段融合缺点： 小波基选择比较麻烦，融合速度不理想小波变换示意图见下图20 40 60 80 1001202040608010012020 40 60 80 1001202040608010012020 40 60 80 10012020406080100120L L3HL3L H3HH3HL2L H2HH2H L1L H1H H1全色与多光谱数据融合结果全色波段影像多波段影像小波融合Brovey融合IHS 融合主成分融合融合结果细节反映小波融合Brovey 融合IHS 融合主成分融合全色波段影像多波段影像名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 8 页，共 10 页 - - - - - - - - - 9SPOT5 全色与 TM不同融合方法比较SPOT5小波融合TMPCA融合IHS 融合Brovey 融合小波融合在保持光谱特征方面具有很强的优势z评价融合影像的质量是遥感图像融合的一个重要步骤。z评价融合效果主要包括定性和定量 评价两种。z定性评价，即主观评价，离不开视觉评价，可以从配准、融合结果影像的整体亮度、色彩、反差、清晰度、及融合结果影像的纹理、地物边缘、是否有蒙雾或马赛克等现象出现等方面做出判定，直观地得到影像空间解像力、清晰度等方面的差异。6.5 融合效果评价z内容：从配准、融合结果影像的整体亮度、色彩、反差、清晰度、及融合结果影像的纹理、地物边缘、是否有蒙雾或马赛克等现象出现等方面做出判定，直观地得到影像空间解像力、清晰度等方面的差异。z优点：操作简单、效率高，可以有效剔除一些质量差的影像，避免无谓的工作。z缺点：该判定结果会因为观察人员的素质、经验、水平的不同以及外部环境的影响而产生较大的差异。定性评价z客观评价方法主要采用定量的评价指标对影像进行分析，由此获取对融合效果好坏的判定。z主要方法：（1）单幅影像统计特征的评定方法（2）融合影像与标准参考影像关系的评定方法（3）融合影像与源影像关系的评定方法定量评价z信息熵zEntropy用来表示任何一种能量在空间的均匀分布程度。能量分布越均匀，熵越大。融合后的影像的信息熵越大，则影像中偏离影像直方图高峰灰度区的大小越大，所有灰度值出现的概率趋于相等，融合影像携带的信息量越大，信息越丰富。单幅影像统计特征的评定方法20( ) log( )niEP iP i= -某像素属性值 i在影像中出现的概率灰度值范围（一般为0255）z平均梯度z平均梯度可敏感反映出影像对微小细节反差的表达能力。在影像中，某个方向的灰度级变化率大，则它的梯度就大。用平均梯度值来衡量影像的清晰度，能够反映出影像中微小细节反差和纹理的变换特征。1/ 222,1112mni jijijiiffGxymn=?=+?单幅影像统计特征的评定方法影像像素 ( i , j ) 的灰度值m、n：影像的宽和高名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 9 页，共 10 页 - - - - - - - - - 10z标准差z灰度平均值即影像亮度均值，一个适中的亮度均值可以反映出影像的效果比较理想。z标准差是影像灰度值相对于均值的分散度的测定，值越大则影像的灰度范围越分散，影像的反差越大，得到的影像的信息量越大。21111() ,1nniiiixxnn=-=-单幅影像统计特征的评定方法影像第 i个像素的灰度值影像中像素的总数z空间频率z空间频率反映了一幅影像空间的整体活跃程度。RF：空间行频率；CF：空间列频率；SF：整体空间频率值2,1122,1 ,21221()1()mnijijijmnijijijR FffmnC FffmnS FR FC F-=-=-=-=+ 单幅影像统计特征的评定方法影像像素 ( i , j ) 的灰度值影像的宽和高z此类方法主要是通过比较融合影像与标准参考影像之间的关系，来评价融合影像的质量以及融合效果的好坏。由于在使用中需要标准参考影像，而在遥感影像融合的实际应用中，标准参考影像不一定都能得到，因此此类方法的使用受到一定的限制。z均方要误差 RMSE、信噪比 SNR、峰值信噪比 PSNR (Peak Signal to Noise Ratio)()()()2,112,11,21 0 lgm axm in10 lgmnijijmnijijijijijfSNRrfffP SN RRM SE=-=融合影像与标准参考影像关系的评定方法融合影像与源影像关系的评定方法联合熵三幅影像灰度的联合概率密度1212122000( , , )log( , , )nnnFA AFA AFA AijkUEpi j kpi j k= -灰度值范围（一般为0255）光谱扭曲度,111mni ji jijDxxmn=-原始影像对应像素(i , j )的灰度值融合结果影像中像素(i , j )的灰度值影像的宽和高融合影像与源影像关系的评定方法偏差指数,11,1mni ji jiji jxxDIm nx=-=原始影像对应像素(i , j )的灰度值融合结果影像中像素(i , j )的灰度值影像的宽和高未变像素百分比100%xUmn=m、n：影像的宽和高；x：融合前后像素值未改变的像素的个数。,1122,11()()() ()mni ji jijmni ji jijxxxxxxxx=-=-融合影像与源影像关系的评定方法相关系数原始影像对应像素(i , j )的灰度值融合结果影像中像素(i , j )的灰度值影像的宽和高融合影像像素灰度均值原始影像像素灰度均值名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 10 页，共 10 页 - - - - - - - - -