中南大学生物医学工程研究所 图像配准.pptx

图图 像像 配配 准准中南大学生物医学工程中南大学生物医学工程(gngchng)研究所研究所第一页，共55页。2 *图像配准的用途(yngt)意义n图像配准（或图像匹配）是评价两幅或多幅图像的相似性图像配准（或图像匹配）是评价两幅或多幅图像的相似性以确定同名点的过程。图像配准算法就是设法建立两幅图以确定同名点的过程。图像配准算法就是设法建立两幅图像之间的对应关系像之间的对应关系,确定相应几何变换参数确定相应几何变换参数,对两幅图像中对两幅图像中的一幅进行几何变换的方法。的一幅进行几何变换的方法。n图像配准是图像分析和处理的基本图像配准是图像分析和处理的基本(jbn)(jbn)问题。它在航空问题。它在航空影像自动制图、图像三维重构、计算机视觉、遥感融合、影像自动制图、图像三维重构、计算机视觉、遥感融合、模式识别、医学图像处理、影像分析等领域都有重要应用。模式识别、医学图像处理、影像分析等领域都有重要应用。中南大学生物医学工程(gngchng)研究所 图像配准第二页，共55页。3 *图像(t xin)配准参考(cnko)图像（主图像）待配准图像（辅图像）配准图像中南大学生物医学工程(gngchng)研究所 图像配准第三页，共55页。4 *用词(yn c)说明n各种图像配准的文献都会出现各种图像配准的文献都会出现“配准、匹配、几何校正配准、匹配、几何校正”三个词，它们的含义比较相似。三个词，它们的含义比较相似。n一般两幅图像之间用一般两幅图像之间用“配准（配准（register,registration）”；寻找；寻找同名特征同名特征(点点)的过程叫的过程叫“匹配（匹配（match,matching）”;根据根据主辅图像之间的几何变换关系，对辅图像进行主辅图像之间的几何变换关系，对辅图像进行(jnxng)逐逐像素处理变为配准图像的过程叫做像素处理变为配准图像的过程叫做“几何校正（几何校正（geometric correction）”。中南大学生物医学工程(gngchng)研究所 图像配准第四页，共55页。5 *配准方法(fngf)分类n按照按照(nzho)配准算法所利用的图像信息，可以分为基于配准算法所利用的图像信息，可以分为基于区域的方法和基于特征的方法区域的方法和基于特征的方法。基于区域的匹配主要是模。基于区域的匹配主要是模板匹配和基于相位（频率）的匹配方法；基于特征的匹配板匹配和基于相位（频率）的匹配方法；基于特征的匹配包括基于特征点集的匹配和基于线特征（图像中边缘信息）包括基于特征点集的匹配和基于线特征（图像中边缘信息）的匹配算法。的匹配算法。n按自动化程度可以分为人工、半自动和全自动三种类型按自动化程度可以分为人工、半自动和全自动三种类型。中南大学生物医学工程(gngchng)研究所 图像配准第五页，共55页。6 *模板(mbn)匹配n模板匹配法是在一幅影像中选取一个的影像窗口作模板，模板匹配法是在一幅影像中选取一个的影像窗口作模板，大小通常为大小通常为55或或77，然后通过相关函数的计算来找到它，然后通过相关函数的计算来找到它在搜索图中的坐标位置。设模板在搜索图中的坐标位置。设模板T放在搜索图放在搜索图S上平移，模上平移，模板覆盖板覆盖(fgi)下的那块搜索图叫做子图下的那块搜索图叫做子图Si,j，子图的中心，子图的中心点在点在S图中的坐标图中的坐标(i,j)，叫参考点。，叫参考点。中南大学生物医学工程(gngchng)研究所 图像配准第六页，共55页。7 *相似性测度(c du)n用以下测度来衡量用以下测度来衡量T和和Si,j的相似程度：的相似程度：n根据施瓦兹不等式，根据施瓦兹不等式，并且在，并且在 n 比值比值(bzh)为常数时取极大值为为常数时取极大值为1。但实际上两幅不同。但实际上两幅不同图像的图像的P值介于值介于0和和1之间，很难达到理想值。根据经验取之间，很难达到理想值。根据经验取某个阈值某个阈值P0，如果，如果P P0，则匹配成功；，则匹配成功；P P0，则匹配，则匹配失败。失败。中南大学生物医学工程(gngchng)研究所 图像配准第七页，共55页。8 *金字塔模板(mbn)匹配n为了加快搜索速度，很多影像匹配为了加快搜索速度，很多影像匹配方法使用金字塔影像。方法使用金字塔影像。n对影像进行一次采样率为对影像进行一次采样率为1/n(n=2,3)的重采样，即把影像的的重采样，即把影像的每每nn个像素变为一个像素，这样个像素变为一个像素，这样就得到一对就得到一对(y du)长、宽都为原长、宽都为原来来1/n的影像，把它作为金字塔的的影像，把它作为金字塔的第二层。第二层。n再对第二层用同样方法进行一次采再对第二层用同样方法进行一次采样率为样率为1/n的重采样，又得到第三的重采样，又得到第三层（顶层）。层（顶层）。n原始影像作为金字塔影像的底层。原始影像作为金字塔影像的底层。中南大学生物医学工程(gngchng)研究所 图像配准第八页，共55页。9 *金字塔影像(yn xin)匹配的步骤n第一步：顶层的匹配，得到一个第一步：顶层的匹配，得到一个(y)平移初始值平移初始值。n第二步：根据平移初始值乘以第二步：根据平移初始值乘以n得到第二层平移量初始值，得到第二层平移量初始值，在它在它mm个像元的邻域内进行模板匹配。个像元的邻域内进行模板匹配。n第三步：根据第二层匹配值乘以第三步：根据第二层匹配值乘以n得到第三层平移量初始值，得到第三层平移量初始值，再进行一次模板匹配。再进行一次模板匹配。n如果影像尺寸不是特别大，可以只用两层金字塔。如果影像尺寸不是特别大，可以只用两层金字塔。中南大学生物医学工程(gngchng)研究所 图像配准第九页，共55页。10 *基于(jy)特征的配准算法n 基于特征的算法基于特征的算法(feature-based matching)先提取图像显先提取图像显著特征，再进行特征匹配，大大著特征，再进行特征匹配，大大(d d)压缩了图像信息的压缩了图像信息的数据量，同时保持了图像的位移、旋转、比例方面的特征，数据量，同时保持了图像的位移、旋转、比例方面的特征，故在配准时计算量小，速度较快、鲁棒性好。当两幅图像故在配准时计算量小，速度较快、鲁棒性好。当两幅图像之间的线性位置关系不明确时，应使用基于特征的匹配。之间的线性位置关系不明确时，应使用基于特征的匹配。n一般来说特征匹配算法可分为四步一般来说特征匹配算法可分为四步:n1.特征提取特征提取;n2.特征描述特征描述;n3.特征匹配；特征匹配；n4.非特征像素之间的匹配。非特征像素之间的匹配。中南大学生物医学工程(gngchng)研究所 图像配准第十页，共55页。11 *基于特征(tzhng)的配准步骤n在特征匹配前，首先要从两幅图像中提取灰度变化明显的在特征匹配前，首先要从两幅图像中提取灰度变化明显的点、线等特征形成特征集。点、线等特征形成特征集。n在两幅图像对应的特征集中利用特征匹配算法尽可能的将在两幅图像对应的特征集中利用特征匹配算法尽可能的将存在匹配关系的特征对选择出来存在匹配关系的特征对选择出来(ch li)。n通过特征建立两幅图像之间的多项式变换关系，达到以点通过特征建立两幅图像之间的多项式变换关系，达到以点代面的效果。代面的效果。n对于非特征像素点，利用上述多项式变换关系来进行几何对于非特征像素点，利用上述多项式变换关系来进行几何校正，从而实现两幅图像之间逐像素的配准。校正，从而实现两幅图像之间逐像素的配准。中南大学生物医学工程(gngchng)研究所 图像配准第十一页，共55页。12 *人工(rngng)匹配步骤n1.人工人工(rngng)选取控制点选取控制点n2.多项式匹配多项式匹配中南大学生物医学工程(gngchng)研究所 图像配准第十二页，共55页。13 *用遥感软件(run jin)进行几何校正 遥感软件的几何校正功能是利用地面控制点遥感软件的几何校正功能是利用地面控制点(Ground Control Point,GCP)进行的几何校正，它通常用多项式来进行的几何校正，它通常用多项式来近似描述遥感图像的几何畸变过程，并利用控制点求得近似描述遥感图像的几何畸变过程，并利用控制点求得这个几何畸变模型，然后利用此模型进行几何校正，这这个几何畸变模型，然后利用此模型进行几何校正，这种校正不考虑畸变的具体原因种校正不考虑畸变的具体原因(yunyn)，而只考虑如何，而只考虑如何利用畸变模型来校正图像。利用畸变模型来校正图像。中南大学生物医学工程(gngchng)研究所 图像配准第十三页，共55页。14 *校正(jiozhng)步骤 几何精校正一般可分为几何精校正一般可分为(fn wi)(fn wi)以下四个步骤：以下四个步骤：1.1.建立原始图像与校正后图像的坐标系。建立原始图像与校正后图像的坐标系。2.2.确定控制点对。确定控制点对。3.3.选择畸变数学模型，比如一次、二次、三次多项式。选择畸变数学模型，比如一次、二次、三次多项式。4.4.几何校正的精度分析。几何校正的精度分析。中南大学生物医学工程(gngchng)研究所 图像配准第十四页，共55页。15 *中南大学生物医学工程(gngchng)研究所 图像配准第十五页，共55页。16 *半自动匹配(ppi)n1.用户先把主辅图像进行预处理，先进行重采样、旋转、用户先把主辅图像进行预处理，先进行重采样、旋转、去除噪声等，使两幅影像的分辨率、角度等基本一致后，去除噪声等，使两幅影像的分辨率、角度等基本一致后，再进行配准。再进行配准。n2.用户先指定三个控制点，程序根据用户先指定三个控制点，程序根据(gnj)三个控制点算三个控制点算出主辅图像旋转、平移和尺度差异，再用金字塔模板匹配出主辅图像旋转、平移和尺度差异，再用金字塔模板匹配方法进行配准。方法进行配准。中南大学生物医学工程(gngchng)研究所 图像配准第十六页，共55页。17 *全自动匹配(ppi)n不需要用户事先提供任何信息，单纯依据两幅图像自身的不需要用户事先提供任何信息，单纯依据两幅图像自身的信息进行信息进行(jnxng)匹配计算。由于主辅图像之间存在旋转、匹配计算。由于主辅图像之间存在旋转、平移和尺度差异，如何找到初始定位信息是其难点。平移和尺度差异，如何找到初始定位信息是其难点。n方法多种多样。包括直方图匹配、方法多种多样。包括直方图匹配、Hu不变矩、金字塔模板不变矩、金字塔模板匹配、小波匹配、小波Gabor 算子、基于空间变换的方法等。将在后算子、基于空间变换的方法等。将在后面特征点匹配部分讲述。面特征点匹配部分讲述。中南大学生物医学工程(gngchng)研究所 图像配准第十七页，共55页。18 *基于TIN的图像(t xin)配准算法流程 中南大学生物医学工程(gngchng)研究所 图像配准第十八页，共55页。19 *特征(tzhng)类型n灰度特征灰度特征(tzhng)点。点。Moravec算子、算子、Forstner算子与算子与Hannah算子。算子。n角点。角点。SUSAN算子算子,Harris算子，王算子，沈俊算子。算子，王算子，沈俊算子。n边缘特征边缘特征(tzhng)（线型）。（线型）。Canny算子算子,Marr算子。算子。n纹理特征纹理特征(tzhng)。灰度共生矩阵，小波。灰度共生矩阵，小波Gabor算子。算子。中南大学生物医学工程(gngchng)研究所 图像配准第十九页，共55页。20 *Moravec算子(sun z)nMoravec算子是利用灰度方差提取特征点的算子，它在四算子是利用灰度方差提取特征点的算子，它在四个主要方向上，选择具有最大个主要方向上，选择具有最大-最小灰度方差的点作为特最小灰度方差的点作为特征点。其步骤为：征点。其步骤为：n 1 计算各像元的兴趣值（计算各像元的兴趣值（Interest Value）。在以像素为中）。在以像素为中心心ww的影像窗口的影像窗口(chungku)中（如中（如55的窗口的窗口(chungku)），计算图中所示四个方向相邻像素灰度差），计算图中所示四个方向相邻像素灰度差的平方和：的平方和：中南大学生物医学工程(gngchng)研究所 图像配准第二十页，共55页。21 *Moravec算子(sun z)取其中最小者作为取其中最小者作为(zuwi)该像素的兴趣值：该像素的兴趣值：V=minV1，V2，V3，V4中南大学生物医学工程(gngchng)研究所 图像配准第二十一页，共55页。22 *n给定一经验阈值，将兴趣值大于该阈值的点（即窗口的给定一经验阈值，将兴趣值大于该阈值的点（即窗口的中心点）作为候选点。阈值的选择应以候选点中包括所中心点）作为候选点。阈值的选择应以候选点中包括所需要的主要特征点而又不含过多的非特征点为原则需要的主要特征点而又不含过多的非特征点为原则(yunz)(yunz)。n取候选点中的极值点作为特征点。在一定大小的窗口内取候选点中的极值点作为特征点。在一定大小的窗口内,将候选点中兴趣值不是最大者均去掉，仅留下一个兴趣将候选点中兴趣值不是最大者均去掉，仅留下一个兴趣值最大者，该像素即为一个特征点。值最大者，该像素即为一个特征点。n如果两个特征点之间的距离过短，则去掉其中一个。否如果两个特征点之间的距离过短，则去掉其中一个。否则，在影像校正时，三角形边长过短将使解算出来的仿则，在影像校正时，三角形边长过短将使解算出来的仿射变换参数出现错误。射变换参数出现错误。中南大学生物医学工程(gngchng)研究所 图像配准第二十二页，共55页。23 *角点提取(tq)-SUSAN算子nSUSAN 算法是由英国牛津大学的算法是由英国牛津大学的S.M.Smith,J.M.Brady 首先提出首先提出(t ch)的的,它主要是用来计算图像中的角点特征的。它主要是用来计算图像中的角点特征的。SUSAN 算法的特点算法的特点:n1.对角点的检测比对边缘检测的效果要好对角点的检测比对边缘检测的效果要好,适用于基于角点适用于基于角点匹配的图像配准匹配的图像配准;n2.无需梯度运算无需梯度运算,保证了算法的效率保证了算法的效率;n3.具有积分特性具有积分特性(在一个模板内计算在一个模板内计算SUSAN 面积面积),这样就使这样就使得得SUSAN 算法在抗噪和计算速度方面有较大的改进。算法在抗噪和计算速度方面有较大的改进。中南大学生物医学工程(gngchng)研究所 图像配准第二十三页，共55页。24 *SUSAN 算法算法(sun f)n用一个一定半径的圆模板放置在图像上（如图）。如果用一个一定半径的圆模板放置在图像上（如图）。如果(rgu)模板上存在一区域，使该区域上对应图像的每一像模板上存在一区域，使该区域上对应图像的每一像素处的灰度值与圆心的灰度值相同（或相近），那么就定素处的灰度值与圆心的灰度值相同（或相近），那么就定义该区域为核值相似区，即义该区域为核值相似区，即USAN，其中像素的个数定义，其中像素的个数定义为这个模板的面积。为这个模板的面积。中南大学生物医学工程(gngchng)研究所 图像配准第二十四页，共55页。25 *中南大学生物医学工程(gngchng)研究所 图像配准第二十五页，共55页。26 *SUSAN 算法(sun f)的基本原理n图像上每一点都有一个邻近的具有相似图像上每一点都有一个邻近的具有相似(xin s)灰度值的灰度值的局部区域是局部区域是SUSAN 算法的基础。这个局部区域或算法的基础。这个局部区域或USAN 包包含了许多关于图像结构的信息。含了许多关于图像结构的信息。nSUSAN 算法的基本原理是：在每个像素移动一个小的圆形算法的基本原理是：在每个像素移动一个小的圆形模板以检测局部信息，并利用预先设定的亮度阈值比较模模板以检测局部信息，并利用预先设定的亮度阈值比较模板核及其周围像素的亮度值，亮度值相同或相近的为一个板核及其周围像素的亮度值，亮度值相同或相近的为一个USAN，最后通过面积最小的，最后通过面积最小的USAN 检测角点。检测角点。中南大学生物医学工程(gngchng)研究所 图像配准第二十六页，共55页。27 *边缘(binyun)特征提取n“基于TIN的多源影像几何配准”没有使用边缘提取算子，所以这里不介绍(jisho)其算法。（a）原图(yun t)（b）Marr算子结果 （c）Canny算子结果中南大学生物医学工程研究所 图像配准第二十七页，共55页。28 *纹理(wnl)特征n纹理是用来识别目标的重要方法，它是图像中一个很重要纹理是用来识别目标的重要方法，它是图像中一个很重要而又难以描述的特性，至今还没有而又难以描述的特性，至今还没有(mi yu)公认的定义。公认的定义。有些图像在局部区域内呈现不规则性，而在整体上表现出有些图像在局部区域内呈现不规则性，而在整体上表现出某种规律性。习惯上把这种局部不规则而宏观有规律的特某种规律性。习惯上把这种局部不规则而宏观有规律的特性称之为纹理。以纹理特性为主导的图像，常称为纹理图性称之为纹理。以纹理特性为主导的图像，常称为纹理图像，如木材纹理、皮肤纹理、织物纹理等。通过对物体纹像，如木材纹理、皮肤纹理、织物纹理等。通过对物体纹理特征的提取，可以对图像进行分类、配准等操作。理特征的提取，可以对图像进行分类、配准等操作。中南大学生物医学工程(gngchng)研究所 图像配准第二十八页，共55页。29 *n局部不规律，整体具有一定规律性的特性。局部不规律，整体具有一定规律性的特性。n基本单元基本单元(dnyun)的重复性的重复性n粗糙性粗糙性n方向性方向性中南大学生物医学工程(gngchng)研究所 图像配准第二十九页，共55页。30 *提取(tq)纹理特征的方法n灰度共生灰度共生(gngshng)(gngshng)矩阵。矩阵。n基于小波的基于小波的GaborGabor算子。算子。中南大学生物医学工程(gngchng)研究所 图像配准第三十页，共55页。31 *直方图匹配(ppi)中南大学生物医学工程(gngchng)研究所 图像配准第三十一页，共55页。32 *Hu不变矩 n1962年年Hute提出提出Hu不变矩，它对于匹配影像之间的平移、旋转不变矩，它对于匹配影像之间的平移、旋转和大小尺度变化具有和大小尺度变化具有(jyu)自适应性自适应性，但它只适用于相似变换，但它只适用于相似变换，不适于仿射变换。不适于仿射变换。Hu最初用以下最初用以下7个不变矩公式来描述目标特个不变矩公式来描述目标特征征:中南大学生物医学工程(gngchng)研究所 图像配准第三十二页，共55页。33 *但实际上大部分文献但实际上大部分文献(wnxin)(wnxin)都采用都采用6 6个无量纲、消误差的组合个无量纲、消误差的组合不变矩不变矩 ：中南大学生物医学工程(gngchng)研究所 图像配准第三十三页，共55页。34 *点模式匹配n模式识别中的点模式匹配，使用特征点集中点与点之间的模式识别中的点模式匹配，使用特征点集中点与点之间的位置关系进行匹配，较少（或没有）利用图像灰度、纹理位置关系进行匹配，较少（或没有）利用图像灰度、纹理(wnl)和边缘信息，所以它对图像之间的旋转、灰度、纹和边缘信息，所以它对图像之间的旋转、灰度、纹理理(wnl)、分辨率等差异不敏感，能够匹配不同传感器的、分辨率等差异不敏感，能够匹配不同传感器的图像，且能进行图像之间的全自动配准。图像，且能进行图像之间的全自动配准。n匹配两个特征点集的实质是找到它们的同构子集。匹配两个特征点集的实质是找到它们的同构子集。n要用到较多的数学知识。要用到较多的数学知识。中南大学生物医学工程(gngchng)研究所 图像配准第三十四页，共55页。35 *点模式匹配nPengyu Hong等用图论的方法，把两点集看作两个无向图，等用图论的方法，把两点集看作两个无向图，然后提取它们的同构子图，但其算法复杂，只能用于匹配然后提取它们的同构子图，但其算法复杂，只能用于匹配简单图片（如商标），对于复杂图片计算量过大。简单图片（如商标），对于复杂图片计算量过大。n罗纲等以传统的罗纲等以传统的Umeyama 点集相关度量为基础点集相关度量为基础,结合结合(jih)Procrustes正规化方法正规化方法,通过引入加权矩阵得到新的相通过引入加权矩阵得到新的相关度量函数关度量函数,解决了传统方法要求点集维数相同的缺点，经解决了传统方法要求点集维数相同的缺点，经过迭代运算过迭代运算,可对存在几何失真可对存在几何失真,且维数不同的两点集进行精且维数不同的两点集进行精确配准，但计算量较大。确配准，但计算量较大。中南大学生物医学工程(gngchng)研究所 图像配准第三十五页，共55页。36 *n张立华等将待匹配的两个二维点集分别转化成为一个张立华等将待匹配的两个二维点集分别转化成为一个n维空维空间中的向量间中的向量,对这两个向量中的各元素进行对这两个向量中的各元素进行(jnxng)简单简单的排序来解决点集匹配问题。的排序来解决点集匹配问题。n田原等通过建立一种图像点集间距离的描述方法，提出基田原等通过建立一种图像点集间距离的描述方法，提出基于点集不变性匹配的目标检测与识别方法。于点集不变性匹配的目标检测与识别方法。n舒丽霞等用舒丽霞等用Hausdorff 距离对两特征点集进行距离对两特征点集进行(jnxng)匹匹配配,得到点集间的仿射变换关系。得到点集间的仿射变换关系。n孙焘等对主辅图像的特征点集分别进行孙焘等对主辅图像的特征点集分别进行(jnxng)Whitening变换变换,将点集间的一般仿射变换问题转将点集间的一般仿射变换问题转换为刚性变换问题。换为刚性变换问题。中南大学生物医学工程(gngchng)研究所 图像配准第三十六页，共55页。37 *n桑农等以四元组代替点对进行桑农等以四元组代替点对进行(jnxng)点特征松弛匹配算点特征松弛匹配算法，提出了基于点特征的具有旋转与比例不变松弛匹配算法，提出了基于点特征的具有旋转与比例不变松弛匹配算法，但是该算法在匹配迭代过程中必须对所有实时图中的法，但是该算法在匹配迭代过程中必须对所有实时图中的点特征进行点特征进行(jnxng)一次比例与旋转变换一次比例与旋转变换,这在一定程度这在一定程度上影响了匹配速度。上影响了匹配速度。n陈志刚等以六元组为基础构建三角形陈志刚等以六元组为基础构建三角形,利用三角形在平移、利用三角形在平移、比例放大和旋转变换后与原三角形相似的特性将其引入到比例放大和旋转变换后与原三角形相似的特性将其引入到基本点特征松弛匹配算法中基本点特征松弛匹配算法中,提出一种比例与旋转不变点特提出一种比例与旋转不变点特征松弛匹配算法。征松弛匹配算法。中南大学生物医学工程(gngchng)研究所 图像配准第三十七页，共55页。38 *不规则三角网n不规则三角网不规则三角网（triangulated irregular network，TIN)在地形在地形图的制作中被广泛使用。图的制作中被广泛使用。绘制等高线时，先用测绘制等高线时，先用测量点构造量点构造TIN，然后，然后(rnhu)再根据再根据TIN内内插等高线。插等高线。中南大学生物医学工程(gngchng)研究所 图像配准第三十八页，共55页。39 *不规则三角网nTIN的优点：能真实反映地形变化，相比的优点：能真实反映地形变化，相比grid，数据量很小。，数据量很小。在地形变化较大、特征点多的区域，三角网密集在地形变化较大、特征点多的区域，三角网密集(mj)，能，能很好地反映地形变化；而在开阔、平坦的区域，特征点少，很好地反映地形变化；而在开阔、平坦的区域，特征点少，三角网稀疏，不会造成大量的冗余数据，也不会无谓地增三角网稀疏，不会造成大量的冗余数据，也不会无谓地增加计算量。加计算量。TIN用于图像配准时，同样具有这一优点。用于图像配准时，同样具有这一优点。中南大学生物医学工程(gngchng)研究所 图像配准第三十九页，共55页。40 *Delaunay三角网nDelaunay三角网常常被用于三角网常常被用于TIN的生成。的生成。Delaunay三角网三角网为相互邻接且互不重叠为相互邻接且互不重叠(chngdi)的三角形的集合，每一三的三角形的集合，每一三角形的外接圆内不包含其它的点。角形的外接圆内不包含其它的点。中南大学生物医学工程(gngchng)研究所 图像配准第四十页，共55页。41 *构构TIN的基本的基本(jbn)原则原则 nTIN是惟一的。即对于同样是惟一的。即对于同样(tngyng)的点集，所构三角网的点集，所构三角网应该只有一种；应该只有一种；n力求最佳的三角形几何形状，每个三角形尽量接近等边形力求最佳的三角形几何形状，每个三角形尽量接近等边形状；状；n保证最邻近的点构成三角形，即三角形的边长之和最小。保证最邻近的点构成三角形，即三角形的边长之和最小。中南大学生物医学工程(gngchng)研究所 图像配准第四十一页，共55页。42 *小面元微分(wi fn)校正法n在主辅图像中用匹配好的特征在主辅图像中用匹配好的特征(tzhng)点集构造点集构造TIN。n可以看作三角网把从影像微分成很多微小的面元，每个三可以看作三角网把从影像微分成很多微小的面元，每个三角形就是一个很小的面元，在这个面元内，可以只考虑影角形就是一个很小的面元，在这个面元内，可以只考虑影像的一次形变。以从影像中的各个三角形为单位，对三角像的一次形变。以从影像中的各个三角形为单位，对三角形内各个点进行几何校正，从而对整幅从影像进行校正。形内各个点进行几何校正，从而对整幅从影像进行校正。这种几何校正方法叫做小面元微分校正法。这种几何校正方法叫做小面元微分校正法。n对于山区遥感影像，多项式校正方法的精度不够，必须采对于山区遥感影像，多项式校正方法的精度不够，必须采用小面元微分校正的方法用小面元微分校正的方法，其几何校正误差可以控制在个，其几何校正误差可以控制在个像素以内。像素以内。中南大学生物医学工程(gngchng)研究所 图像配准第四十二页，共55页。43 *小面元微分(wi fn)校正法步骤n下面以影像中任一三角形下面以影像中任一三角形W为例说明影像几何校正的原理。为例说明影像几何校正的原理。辅影像中三角形辅影像中三角形W的三个角点为的三个角点为a,b,c，它们，它们(t men)在主在主影像中对应的点为影像中对应的点为A,B,C,它们它们(t men)的坐标分别为的坐标分别为 ，n 。把。把W看作小面元，则有仿射变换：看作小面元，则有仿射变换：中南大学生物医学工程(gngchng)研究所 图像配准第四十三页，共55页。44 *n其中其中 是仿射变换参数。是仿射变换参数。n把把 ，代入方程可以得到仿射代入方程可以得到仿射变换参数。变换参数。n先根据主影像大小生成一幅和主影像坐标一致的配准影像，因为还没先根据主影像大小生成一幅和主影像坐标一致的配准影像，因为还没有输入任何值，所以是空白影像。有输入任何值，所以是空白影像。n配准影像中三角形配准影像中三角形W内任何一个像素，都可以通过方程组解算出它在内任何一个像素，都可以通过方程组解算出它在辅影像中对应的的同名点像素坐标辅影像中对应的的同名点像素坐标(行列行列(hng li)值值)。n同名点坐标是小数，必须经过插值计算，得到配准点同名点坐标是小数，必须经过插值计算，得到配准点DN值。值。中南大学生物医学工程(gngchng)研究所 图像配准第四十四页，共55页。45 *插值方法(fngf)n最邻近法最邻近法n立方卷积法立方卷积法n双线性法双线性法n双线性插值法公式双线性插值法公式(gngsh)如下：如下：中南大学生物医学工程(gngchng)研究所 图像配准第四十五页，共55页。46 *n查找三角形内各像素点计算量较大，本文作者通过试验发查找三角形内各像素点计算量较大，本文作者通过试验发现，用三角形外接矩形内所有像素点代替三角形内像素点现，用三角形外接矩形内所有像素点代替三角形内像素点进行计算，可使计算速度提高进行计算，可使计算速度提高4倍左右，而校正效果倍左右，而校正效果(xiogu)相差不大。相差不大。中南大学生物医学工程(gngchng)研究所 图像配准第四十六页，共55页。47 *试验(shyn)n主图像为主图像为2002年年7月月9日武汉市日武汉市ETM+图像的第图像的第4波段波段(近红外近红外波段，分辨率，大小波段，分辨率，大小50004000)，辅图像为，辅图像为1978年年10月月16日日的的MSS-5(红光波段，分辨率红光波段，分辨率57m，大小，大小35503880)，两幅图，两幅图像的色调像的色调(s dio)反差很大（如图）。反差很大（如图）。中南大学生物医学工程(gngchng)研究所 图像配准第四十七页，共55页。48 *MODIS影像(yn xin)的小面元校正nEOS/MODIS卫星接收系统提供卫星接收系统提供(tgng)的的1B级影像中级影像中,图像图像信息和经纬度信息是分离的信息和经纬度信息是分离的,而且经线、纬线呈不规则的曲而且经线、纬线呈不规则的曲线。要使用这些数据线。要使用这些数据,通常要先设法把每点的经纬度信息经通常要先设法把每点的经纬度信息经过投影计算，转换到用户所需的坐标系统中。过投影计算，转换到用户所需的坐标系统中。n借助遥感软件进行几何校正，处理过程中需要多次人机交借助遥感软件进行几何校正，处理过程中需要多次人机交互互,因此处理人员必须在计算机前守候因此处理人员必须在计算机前守候,浪费大量的时间。浪费大量的时间。n用用IDL(Interactive Data Language)语言开发了一个基于三语言开发了一个基于三角网的小面元几何校正程序角网的小面元几何校正程序,它具备批处理功能它具备批处理功能,处理过程中处理过程中不需人工干预不需人工干预,而且用户可以自定义处理范围和波段，使而且用户可以自定义处理范围和波段，使MODIS数据预处理变得非常方便。数据预处理变得非常方便。中南大学生物医学工程(gngchng)研究所 图像配准第四十八页，共55页。49 *MODIS校正前后(qinhu)的影像 纬度 经度(jngd)原始影像 校正影像中南大学生物医学工程(gngchng)研究所 图像配准第四十九页，共55页。50 *中南大学生物医学工程(gngchng)研究所 图像配准第五十页，共55页。51 *基于(jy)三角网的小面元几何校正n如果逐点投影计算一幅如果逐点投影计算一幅(y f)大小为大小为541619680的的MODIS影像影像,其计算量非常大，用普通其计算量非常大，用普通PC机要计算十几天。所以机要计算十几天。所以现有的几何校正算法都用现有的几何校正算法都用“以点代面以点代面”的思想，采用多项的思想，采用多项式或三角网的方法。式或三角网的方法。n基于三角网的小面元几何校正，其实质在于以点代面进行基于三角网的小面元几何校正，其实质在于以点代面进行几何校正，先对三角形三个顶点进行投影计算，然后根据几何校正，先对三角形三个顶点进行投影计算，然后根据三角形顶点建立三角形校正前后之间的仿射变换关系。三角形顶点建立三角形校正前后之间的仿射变换关系。中南大学生物医学工程(gngchng)研究所 图像配准第五十一页，共55页。52 *控制点选取(xunq)n在输入影像及其对应的经纬度数据中在输入影像及其对应的经纬度数据中,按固定的行列间隔选按固定的行列间隔选取控制点取控制点,并用数组记录下所有控制点的像素并用数组记录下所有控制点的像素(xin s)坐坐标（行和列）和大地坐标标（行和列）和大地坐标(B,L)。控制点数据与波段无关控制点数据与波段无关,只和分辨率有关只和分辨率有关,所以一轨所以一轨MODIS数据只需针对数据只需针对250m、500m和和1000m影像选取三组控制点数据。影像选取三组控制点数据。n控制点投影变换。把大地坐标（经纬度）转换为平面坐标。控制点投影变换。把大地坐标（经纬度）转换为平面坐标。中南大学生物医学工程(gngchng)研究所 图像配准第五十二页，共55页。53 *n因为控制点是按固定的行列间隔选取的，所以控制点构成因为控制点是按固定的行列间隔选取的，所以控制点构成规则的网格规则的网格(wn)。规则网格。规则网格(wn)的对角线把网格的对角线把网格(wn)划分为规则三角网（如图）。划分为规则三角网（如图）。n然后用小面元校正算法逐个三角形进行几何校正，从而完然后用小面元校正算法逐个三角形进行几何校正，从而完成对整幅影像的校正。成对整幅影像的校正。中南大学生物医学工程(gngchng)研究所 图像配准第五十三页，共55页。54 *n基于以上算法基于以上算法,用用IDL编写编写(binxi)的程序可以批处理多的程序可以批处理多个个MODIS数据文件。作者在数据文件。作者在PC机（机（Pentium 2.4G CPU,1G 内存）上处理内存）上处理2个个250m波段数据（只处理湖北省境内）波段数据（只处理湖北省境内）,只只需秒需秒。n作为比对，作为比对，ENVI必须先处理整幅影像，然后再裁切湖北省必须先处理整幅影像，然后再裁切湖北省内数据，所以其内存占用率很高，共需要内数据，所以其内存占用率很高，共需要20分钟左右，并分钟左右，并且处理过程要人机交互，也就是说必须至始至终守在计算且处理过程要人机交互，也就是说必须至始至终守在计算机前面。机前面。n在校正后的影像中随机选取在校正后的影像中随机选取20-30个控制点，通过用更高分个控制点，通过用更高分辨率的辨率的ETM+图像图像(28.5m)进行比对，其误差都控制在个像进行比对，其误差都控制在个像素以内。素以内。中南大学生物医学工程(gngchng)研究所 图像配准第五十四页，共55页。55 *谢谢 谢谢 大大 家家！中南大学生物医学工程(gngchng)研究所 图像配准第五十五页，共55页。