医学图像处理图像配准.pptx

会计学1医学图像处理医学图像处理(t xin ch l)图像配准图像配准第一页，共47页。n n主要内容主要内容(nirng)：n n1图像配准概述；图像配准概述；n n2 基于特征的图像配准方法；基于特征的图像配准方法；n n3基于模板的图像配准方法；基于模板的图像配准方法；n n4MATLAB图像配准；图像配准；第九章第九章 图像图像(t xin)配准配准2023/2/6 21:03第1页/共47页第二页，共47页。n n主要内容：主要内容：n n1图像配准概述；图像配准概述；n n2 基基于于(jy)特特征征的的图图像像配配准准方法；方法；n n3基基于于(jy)模模板板的的图图像像配配准准方法；方法；n n4MATLAB图像配准；图像配准；第九章第九章 图像图像(t xin)配准配准2023/2/6 21:03第2页/共47页第三页，共47页。图像配准概述图像配准概述(i sh)图像配图像配准的定义准的定义 问问问问题题题题的的的的提提提提出出出出(t(t ch)ch)：临临临临床床床床上上上上需需需需要要要要对对对对同同同同一一一一个个个个病病病病人人人人进进进进行行行行多多多多种种种种模模模模式式式式（CTCT、MRIMRI、PETPET）或或或或者者者者同同同同一一一一模模模模式式式式的的的的多多多多次次次次成成成成像像像像，并并并并同同同同时时时时从从从从几几几几幅幅幅幅图图图图像获取信息，进行综合分析；像获取信息，进行综合分析；像获取信息，进行综合分析；像获取信息，进行综合分析；前前前前提提提提条条条条件件件件：解解解解决决决决两两两两幅幅幅幅或或或或多多多多幅幅幅幅图图图图像像像像对对对对应应应应成成成成像像像像空空空空间间间间位位位位置置置置的的的的严严严严格格格格对对对对齐齐齐齐问问问问题，即确定同一对象在不同图像中的对应点：题，即确定同一对象在不同图像中的对应点：题，即确定同一对象在不同图像中的对应点：题，即确定同一对象在不同图像中的对应点：第3页/共47页第四页，共47页。图像图像(t xin)配准概述配准概述图像图像(t xin)配准的定义配准的定义 图图图图像像像像配配配配准准准准（Image Image RegistrationRegistration）：对对对对一一一一幅幅幅幅图图图图像像像像寻寻寻寻求求求求一一一一种种种种（或或或或一一一一系系系系列列列列）空空空空间间间间变变变变换换换换，使使使使它它它它与与与与另另另另一一一一幅幅幅幅图图图图像像像像上上上上的的的的对对对对应应应应点点点点达达达达到到到到空空空空间间间间上上上上的的的的一一一一致致致致。这这这这种种种种一一一一致致致致是是是是指指指指对对对对象象象象上上上上所所所所有有有有点点点点（或或或或至至至至少少少少所所所所有有有有感感感感兴兴兴兴趣趣趣趣点点点点）在在在在两两两两张张张张已已已已配配配配准准准准图图图图像像像像上上上上有有有有着相同的空间位置。着相同的空间位置。着相同的空间位置。着相同的空间位置。各各各各种种种种图图图图像像像像配配配配准准准准的的的的文文文文献献献献都都都都会会会会出出出出现现现现“配配配配准准准准、匹匹匹匹配配配配(p(p pi)pi)、几几几几何何何何校校校校正正正正”三三三三个词，它们的含义比较相似。个词，它们的含义比较相似。个词，它们的含义比较相似。个词，它们的含义比较相似。第4页/共47页第五页，共47页。图像配准概述图像配准概述(i sh)图像配图像配准的定义准的定义 图图图图像像像像配配配配准准准准举举举举例例例例：对对对对图图图图B B寻寻寻寻求求求求一一一一种种种种(y(y zhzh n n)空空空空间间间间变变变变换换换换，使使使使它它它它与与与与图图图图A A上上上上的的的的对对对对应应应应点点点点达达达达到到到到空空空空间间间间上上上上的的的的一一一一致致致致。图图图图B B经经经经空空空空间间间间变变变变换换换换后后后后得得得得到到到到图图图图C C，在在在在图图图图A A和和和和图图图图C C中中中中相相相相同同同同对对对对象象象象有有有有着着着着相相相相同同同同的的的的空空空空间间间间位位位位置置置置。称称称称图图图图A A和和和和图图图图C C为为为为已已已已配配配配准准准准的的的的图图图图像像像像，可可可可以以以以进行进一步的综合分析。进行进一步的综合分析。进行进一步的综合分析。进行进一步的综合分析。图图A A图图B B图图C C第5页/共47页第六页，共47页。图像配准概述图像配准概述(i sh)图像配图像配准的定义准的定义 图像图像图像图像(t xin(t xin)配准举例：配准举例：配准举例：配准举例：1 12 23 3第6页/共47页第七页，共47页。图像配准概述图像配准概述(i sh)图像配图像配准的定义准的定义 图像图像图像图像(t xin(t xin)配准举例：配准举例：配准举例：配准举例：第7页/共47页第八页，共47页。图像图像(t xin)配准概述配准概述医学图像医学图像(t xin)配准的类型配准的类型 同一对象（患者）的图像配准：同一对象（患者）的图像配准：同一对象（患者）的图像配准：同一对象（患者）的图像配准：不同对象间的图像配准：不同对象间的图像配准：不同对象间的图像配准：不同对象间的图像配准：将将将将被被被被试试试试的的的的图图图图像像像像与与与与典典典典型型型型正正正正常常常常人人人人相相相相同同同同(xin(xin tntn)部部部部位位位位的的的的图图图图像像像像或或或或标标标标准准准准图图图图谱谱谱谱进进进进行行行行对对对对比比比比，以以以以确确确确定定定定被被被被试试试试者者者者是是是是否否否否正正正正常常常常。如如如如有有有有异异异异常常常常，还还还还要要要要与与与与一一一一些些些些疾病的典型图像对比，确定患者是否属于同类。疾病的典型图像对比，确定患者是否属于同类。疾病的典型图像对比，确定患者是否属于同类。疾病的典型图像对比，确定患者是否属于同类。第8页/共47页第九页，共47页。图像配准概述图像配准概述(i sh)图像配准的图像配准的常用方法常用方法 基基基基于于于于特特特特征征征征的的的的图图图图像像像像配配配配准准准准方方方方法法法法：先先先先提提提提取取取取图图图图像像像像显显显显著著著著特特特特征征征征，如如如如灰灰灰灰度度度度变变变变化化化化明明明明显显显显的的的的点点点点、线线线线等等等等特特特特征征征征，通通通通过过过过特特特特征征征征集集集集的的的的映映映映射射射射建建建建立立立立两两两两幅幅幅幅图图图图像像像像之之之之间间间间的的的的空空空空间间间间变变变变换换换换关关关关系系系系。原原原原则则则则上上上上该该该该方方方方法法法法可可可可用用用用于于于于配准任何模式的图像；最常用的是特征点法；配准任何模式的图像；最常用的是特征点法；配准任何模式的图像；最常用的是特征点法；配准任何模式的图像；最常用的是特征点法；基基基基于于于于模模模模板板板板的的的的图图图图像像像像配配配配准准准准方方方方法法法法：在在在在一一一一幅幅幅幅图图图图像像像像中中中中选选选选取取取取一一一一个个个个子子子子图图图图像像像像窗窗窗窗口口口口作作作作为为为为模模模模板板板板，大大大大小小小小通通通通常常常常为为为为5555或或或或7777，然然然然后后后后让让让让该该该该模模模模板板板板在在在在另另另另一一一一幅幅幅幅图图图图像像像像中中中中移移移移动动动动，通通通通过过过过计计计计算算算算相相相相关关关关函函函函数数数数来来来来找找找找到到到到模模模模板板板板在在在在搜搜搜搜索索索索图图图图中中中中的的的的坐坐坐坐标标标标位位位位置置置置。该该该该方方方方法法法法主主主主要要要要(zh(zh yo)yo)用用用用于于于于单单单单模模模模图图图图象象象象配配配配准准准准，特特特特别别别别是是是是用用用用于于于于对改变较小的图像序列进行配准；对改变较小的图像序列进行配准；对改变较小的图像序列进行配准；对改变较小的图像序列进行配准；第9页/共47页第十页，共47页。n n主要内容主要内容(nirng)：n n1图像配准概述；图像配准概述；n n2 基于特征的图像配准方法；基于特征的图像配准方法；n n3基于模板的图像配准方法；基于模板的图像配准方法；n n4MATLAB图像配准；图像配准；第九章第九章 图像图像(t xin)配准配准2023/2/6 21:03第10页/共47页第十一页，共47页。基于特征的图像配准方法基于特征的图像配准方法(fngf)步骤步骤一般来说特征匹配算法可分为四步：一般来说特征匹配算法可分为四步：一般来说特征匹配算法可分为四步：一般来说特征匹配算法可分为四步：特特特特征征征征提提提提取取取取：从从从从两两两两幅幅幅幅图图图图像像像像中中中中提提提提取取取取灰灰灰灰度度度度变变变变化化化化明明明明显显显显的的的的点点点点、线线线线等等等等特特特特征形成特征集；征形成特征集；征形成特征集；征形成特征集；特特特特征征征征空空空空间间间间映映映映射射射射：建建建建立立立立两两两两幅幅幅幅图图图图像像像像特特特特征征征征集集集集之之之之间间间间的的的的空空空空间间间间多多多多项项项项式式式式变变变变换关系；换关系；换关系；换关系；非非非非特特特特征征征征像像像像素素素素(xin(xin s)s)之之之之间间间间的的的的映映映映射射射射：利利利利用用用用上上上上述述述述多多多多项项项项式式式式变变变变换换换换关关关关系系系系对对对对于于于于非非非非特特特特征征征征像像像像素素素素(xin(xin s)s)点点点点进进进进行行行行空空空空间间间间变变变变换换换换，从从从从而而而而实实实实现两幅图像之间逐像素现两幅图像之间逐像素现两幅图像之间逐像素现两幅图像之间逐像素(xin(xin s)s)的空间映射；的空间映射；的空间映射；的空间映射；灰灰灰灰度度度度插插插插值值值值：由由由由于于于于空空空空间间间间映映映映射射射射得得得得到到到到的的的的坐坐坐坐标标标标值值值值不不不不一一一一定定定定为为为为整整整整数数数数，因因因因此需要进行灰度插值来确定这些坐标上的灰度值；此需要进行灰度插值来确定这些坐标上的灰度值；此需要进行灰度插值来确定这些坐标上的灰度值；此需要进行灰度插值来确定这些坐标上的灰度值；第11页/共47页第十二页，共47页。基于特征基于特征(tzhng)的图像配准方法的图像配准方法空间映射空间映射 设设设设f(x,f(x,y)y)是是是是待待待待与与与与图图图图像像像像G(x,G(x,y)y)配配配配准准准准的的的的图图图图像像像像；g(x,g(x,y)y)是是是是根根根根据据据据(gnj)G(gnj)G大大大大小小小小生成一幅和生成一幅和生成一幅和生成一幅和G G的坐标一致的空白图像；的坐标一致的空白图像；的坐标一致的空白图像；的坐标一致的空白图像；设两幅图像相同点对应的坐标之间的变换关系用下式描述：设两幅图像相同点对应的坐标之间的变换关系用下式描述：设两幅图像相同点对应的坐标之间的变换关系用下式描述：设两幅图像相同点对应的坐标之间的变换关系用下式描述：则则则则可可可可以以以以从从从从一一一一幅幅幅幅图图图图像像像像的的的的像像像像素素素素坐坐坐坐标标标标算算算算出出出出另另另另一一一一幅幅幅幅图图图图像像像像对对对对应应应应像像像像素素素素的的的的坐坐坐坐标标标标。因因因因此此此此存在两种空间映射方法：前向映射和后向映射；存在两种空间映射方法：前向映射和后向映射；存在两种空间映射方法：前向映射和后向映射；存在两种空间映射方法：前向映射和后向映射；第12页/共47页第十三页，共47页。基于基于(jy)特征的图像配准方法特征的图像配准方法空空间映射间映射 前向映射：由推出，逐点计算出前向映射：由推出，逐点计算出前向映射：由推出，逐点计算出前向映射：由推出，逐点计算出f f中中中中 每每每每个个个个像像像像素素素素对对对对应应应应于于于于g g中中中中的的的的坐坐坐坐标标标标，然然然然后后后后利利利利用用用用(lyng)(lyng)灰灰灰灰度度度度插插插插值值值值方方方方法法法法将将将将f f中中中中 每个像素的灰度值分配到它的每个像素的灰度值分配到它的每个像素的灰度值分配到它的每个像素的灰度值分配到它的4 4个最邻近像素上；个最邻近像素上；个最邻近像素上；个最邻近像素上；f(x,y)g(x,y)第13页/共47页第十四页，共47页。基于特征的图像配准方法基于特征的图像配准方法空间空间(kngjin)映射映射前向映射的缺陷：前向映射的缺陷：前向映射的缺陷：前向映射的缺陷：f f中的一些点可能中的一些点可能中的一些点可能中的一些点可能(knng)(knng)落在落在落在落在g g图像的坐标之外；图像的坐标之外；图像的坐标之外；图像的坐标之外；f f中中中中的的的的多多多多个个个个点点点点映映映映射射射射到到到到g g中中中中的的的的坐坐坐坐标标标标可可可可能能能能(knng)(knng)有有有有同同同同样样样样的的的的最最最最邻邻邻邻近像素，导致近像素，导致近像素，导致近像素，导致g g中一个像素的灰度值被计算多次；中一个像素的灰度值被计算多次；中一个像素的灰度值被计算多次；中一个像素的灰度值被计算多次；f(x,y)g(x,y)第14页/共47页第十五页，共47页。基于基于(jy)特征的图像配准方法特征的图像配准方法空空间映射间映射 后向映射：由，逐点计算出后向映射：由，逐点计算出后向映射：由，逐点计算出后向映射：由，逐点计算出g g中每个像素中每个像素中每个像素中每个像素(xin(xin s)s)对应于对应于对应于对应于 f f中中中中的的的的坐坐坐坐标标标标，然然然然后后后后利利利利用用用用灰灰灰灰度度度度插插插插值值值值方方方方法法法法计计计计算算算算出出出出g g中中中中每每每每个个个个像像像像素素素素(xin(xin s)s)的的的的灰灰灰灰度值；度值；度值；度值；后后后后向向向向映映映映射射射射比比比比前前前前向向向向映映映映射射射射更更更更实实实实用用用用，在在在在这这这这种种种种映映映映射射射射方方方方式式式式中中中中，输输输输出出出出g g的的的的每每每每一一一一个个个个像像像像素素素素(xin(xin s)s)灰灰灰灰度度度度值值值值都都都都一一一一次次次次性性性性由由由由f f中中中中4 4相相相相邻邻邻邻像像像像素素素素(xin(xin s)s)的的的的线线线线性性性性插插插插值值值值决决决决定。定。定。定。f(x,y)g(x,y)第15页/共47页第十六页，共47页。基于特征的图像配准方法基于特征的图像配准方法(fngf)空间映射空间映射 常见常见常见常见(chn(chn jin)jin)的空间映射关系的空间映射关系的空间映射关系的空间映射关系第16页/共47页第十七页，共47页。基于特征的图像配准方法基于特征的图像配准方法(fngf)空间映射空间映射 刚体变换：对象内部任意两点间的距离保持刚体变换：对象内部任意两点间的距离保持刚体变换：对象内部任意两点间的距离保持刚体变换：对象内部任意两点间的距离保持(b(b och)och)不变；不变；不变；不变；刚体变换可以分解为旋转和平移：刚体变换可以分解为旋转和平移：刚体变换可以分解为旋转和平移：刚体变换可以分解为旋转和平移：第17页/共47页第十八页，共47页。基于基于(jy)特征的图像配准方法特征的图像配准方法空空间映射间映射 仿仿仿仿射射射射变变变变换换换换(binhun)(binhun)：仿仿仿仿射射射射变变变变换换换换(binhun)(binhun)将将将将直直直直线线线线映映映映射射射射为为为为直线，并保持平行性；直线，并保持平行性；直线，并保持平行性；直线，并保持平行性；仿仿仿仿射射射射变变变变换换换换(binhun)(binhun)在在在在刚刚刚刚体体体体变变变变换换换换(binhun)(binhun)的的的的基基基基础础础础上上上上增增增增加加加加了尺度变换了尺度变换了尺度变换了尺度变换(binhun)(binhun)和错切变换和错切变换和错切变换和错切变换(binhun)(binhun)：第18页/共47页第十九页，共47页。基于特征的图像配准方法基于特征的图像配准方法空间空间(kngjin)映射映射 举举举举例例例例：假假假假设设设设你你你你有有有有2 2张张张张拍拍拍拍摄摄摄摄时时时时间间间间相相相相隔隔隔隔100100年年年年的的的的峡峡峡峡谷谷谷谷壁壁壁壁的的的的数数数数字字字字图图图图像像像像，并并并并且且且且你你你你希希希希望望望望通通通通过过过过相相相相减减减减的的的的处处处处理理理理来来来来判判判判断断断断由由由由于于于于风风风风化化化化作作作作用用用用而而而而产产产产生生生生的的的的地地地地貌貌貌貌变变变变化化化化。你你你你发发发发现现现现一一一一块块块块岩岩岩岩石石石石原原原原来来来来位位位位于于于于(303(303，467)467)，而而而而现现现现在在在在位位位位于于于于(316(316，440)440)；一一一一个个个个树树树树桩桩桩桩原原原原来来来来位位位位于于于于(298(298，277)277)，而而而而现现现现在在在在位位位位于于于于(311(311，200)200)。问问问问：两两两两幅幅幅幅图图图图像像像像有有有有没没没没有有有有(a)(a)尺尺尺尺寸寸寸寸缩缩缩缩放放放放(b)(b)旋旋旋旋转转转转(c)(c)平平平平移移移移(pn(pn y)y)？若若若若有有有有，有有有有多多多多少少少少？若若若若要要要要将将将将两两两两幅幅幅幅图图图图进进进进行行行行相相相相减减减减处处处处理理理理，写写写写出出出出第第第第二二二二幅幅幅幅图图图图像像像像所所所所要要要要做做做做的的的的几几几几何何何何变变变变换换换换。假假假假定定定定两两两两幅幅幅幅图图图图像像像像除除除除了了了了尺尺尺尺寸寸寸寸上上上上的的的的均均均均匀匀匀匀缩缩缩缩放放放放、旋转和平移旋转和平移旋转和平移旋转和平移(pn(pn y)y)外没有其他几何扭曲。外没有其他几何扭曲。外没有其他几何扭曲。外没有其他几何扭曲。第19页/共47页第二十页，共47页。基于特征的图像配准方法基于特征的图像配准方法(fngf)空间映射空间映射 解解解解：由由由由题题题题意意意意(t(t y)y)有有有有g(x1,g(x1,y1)=(303y1)=(303，467)467)，g(x2,g(x2,y2)=(298y2)=(298，277)277)；f(x1,y1)=(316f(x1,y1)=(316，440)440)，f(x2,y2)=(311 f(x2,y2)=(311，200)200)；第20页/共47页第二十一页，共47页。基于特征基于特征(tzhng)的图像配准方法的图像配准方法空间映射空间映射 解：原题转化为求解解：原题转化为求解解：原题转化为求解解：原题转化为求解(qi ji)(qi ji)变换矩阵：变换矩阵：变换矩阵：变换矩阵：解得：解得：解得：解得：第21页/共47页第二十二页，共47页。基于特征的图像配准方法基于特征的图像配准方法(fngf)空间映射空间映射 通通通通常常常常在在在在h1(x,h1(x,y)y)和和和和h2(x,h2(x,y)y)未未未未知知知知的的的的情情情情况况况况下下下下，可可可可用用用用求求求求对对对对应应应应(duyng)(duyng)特特特特征征征征点点点点集集集集(至少至少至少至少3 3对对对对)的仿射变换矩阵的方法来估计的仿射变换矩阵的方法来估计的仿射变换矩阵的方法来估计的仿射变换矩阵的方法来估计h1(x,y)h1(x,y)和和和和h2(x,y)h2(x,y)；在在在在更更更更复复复复杂杂杂杂的的的的情情情情况况况况下下下下(如如如如图图图图像像像像的的的的空空空空间间间间变变变变换换换换是是是是非非非非线线线线性性性性的的的的)，h1(x,y)h1(x,y)和和和和h2(x,y)h2(x,y)可用多项式来近似：可用多项式来近似：可用多项式来近似：可用多项式来近似：其中，式中其中，式中其中，式中其中，式中NN为多项式的次数，为多项式的次数，为多项式的次数，为多项式的次数，aijaij和和和和bijbij为各项待定系数。为各项待定系数。为各项待定系数。为各项待定系数。第22页/共47页第二十三页，共47页。基于特征的图像基于特征的图像(t xin)配准方法配准方法灰度插值灰度插值 经经经经过过过过空空空空间间间间变变变变换换换换得得得得到到到到的的的的坐坐坐坐标标标标值值值值通通通通常常常常不不不不为为为为整整整整数数数数，这这这这些些些些坐坐坐坐标标标标值值值值上上上上的的的的灰灰灰灰度度度度值值值值没没没没有定义，必须通过有定义，必须通过有定义，必须通过有定义，必须通过(tnggu)(tnggu)对其邻近像素的灰度值插值来得到：对其邻近像素的灰度值插值来得到：对其邻近像素的灰度值插值来得到：对其邻近像素的灰度值插值来得到：常用插值方法有：最近邻像素插值、双线性插值、三次立方插值；常用插值方法有：最近邻像素插值、双线性插值、三次立方插值；常用插值方法有：最近邻像素插值、双线性插值、三次立方插值；常用插值方法有：最近邻像素插值、双线性插值、三次立方插值；第23页/共47页第二十四页，共47页。基于特征基于特征(tzhng)的图像配准方法的图像配准方法灰度插值灰度插值 最最最最近近近近邻邻邻邻像像像像素素素素插插插插值值值值：在在在在待待待待求求求求像像像像素素素素的的的的四四四四邻邻邻邻点点点点中中中中，将将将将距距距距离离离离这这这这点点点点最最最最近近近近的的的的邻邻邻邻点点点点灰灰灰灰度度度度赋赋赋赋给给给给待待待待求求求求像像像像素素素素。该该该该方方方方法法法法最最最最简简简简单单单单，但但但但校校校校正正正正后后后后的的的的图图图图像像像像(t xin(t xin)有明显锯齿状，即存在灰度不连续性。有明显锯齿状，即存在灰度不连续性。有明显锯齿状，即存在灰度不连续性。有明显锯齿状，即存在灰度不连续性。f(x,y)g(x,y)第24页/共47页第二十五页，共47页。基于特征基于特征(tzhng)的图像配准方法的图像配准方法灰度插值灰度插值 双双双双线线线线性性性性插插插插值值值值：双双双双线线线线性性性性插插插插值值值值法法法法是是是是对对对对最最最最近近近近邻邻邻邻法法法法的的的的一一一一种种种种改改改改进进进进，即即即即根根根根据据据据待待待待求求求求像像像像素素素素的的的的四四四四个个个个邻邻邻邻近近近近(ln(ln jn)jn)点点点点的的的的灰灰灰灰度度度度值值值值，分分分分别别别别在在在在x x和和和和y y方方方方向向向向上上上上进进进进行行行行两两两两次次次次插插插插值值值值。最最最最后后后后形形形形成成成成的的的的插插插插值值值值函函函函数数数数为为为为一一一一双双双双曲曲曲曲抛抛抛抛物物物物面面面面方方方方程程程程：计计计计算算算算比比比比最最最最近近近近邻邻邻邻点点点点法法法法复复复复杂杂杂杂，但但但但没没没没有有有有灰灰灰灰度度度度不不不不连连连连续续续续性性性性的的的的缺缺缺缺点点点点，结结结结果果果果较令人满意。较令人满意。较令人满意。较令人满意。第25页/共47页第二十六页，共47页。基于特征基于特征(tzhng)的图像配准方法的图像配准方法灰度插值灰度插值 双线性插值算法：双线性插值算法：双线性插值算法：双线性插值算法：首先首先首先首先(sh(sh uxin)uxin)，在，在，在，在x x方向上作线性插值：方向上作线性插值：方向上作线性插值：方向上作线性插值：第26页/共47页第二十七页，共47页。基于基于(jy)特征的图像配准方法特征的图像配准方法灰灰度插值度插值 双线性插值算法双线性插值算法双线性插值算法双线性插值算法(sun f(sun f)：首先，在首先，在首先，在首先，在x x方向上作线性插值：方向上作线性插值：方向上作线性插值：方向上作线性插值：第27页/共47页第二十八页，共47页。基于特征的图像基于特征的图像(t xin)配准方法配准方法灰度插值灰度插值 双线性插值算法：双线性插值算法：双线性插值算法：双线性插值算法：然后然后然后然后(rnhu)(rnhu)，在，在，在，在y y方向上作线性插值：方向上作线性插值：方向上作线性插值：方向上作线性插值：第28页/共47页第二十九页，共47页。基于基于(jy)特征的图像配准方法特征的图像配准方法灰灰度插值度插值 双线性插值算法：双线性插值算法：双线性插值算法：双线性插值算法：最后最后最后最后(zuhu)(zuhu)，得到双线性插值公式：，得到双线性插值公式：，得到双线性插值公式：，得到双线性插值公式：第29页/共47页第三十页，共47页。基于基于(jy)特征的图像配准方法特征的图像配准方法灰灰度插值度插值 最近邻像素最近邻像素最近邻像素最近邻像素(xin(xin s)s)插值和双线性插值比较：插值和双线性插值比较：插值和双线性插值比较：插值和双线性插值比较：OriginalNearest NeighbourBilinear第30页/共47页第三十一页，共47页。基于基于(jy)特征的图像配准方法特征的图像配准方法灰灰度插值度插值 举举举举 例例例例：假假假假 设设设设 f(109f(109，775)=113775)=113，f(109f(109，776)=109776)=109，f(110f(110，775)=105775)=105，f(110f(110，776)=103776)=103，试试试试分分分分别别别别用用用用最最最最近近近近邻邻邻邻像像像像素素素素插插插插值值值值法法法法和和和和双双双双线线线线 性性性性 插插插插 值值值值 法法法法 求求求求 f(109.27f(109.27，775.44)775.44)，写写写写 出出出出 双双双双 线线线线 性性性性 插插插插 值值值值 变变变变 换换换换(binhun)(binhun)方程方程方程方程f(xf(x，y)=ax+by+cxy+dy)=ax+by+cxy+d，求出各参数的值；，求出各参数的值；，求出各参数的值；，求出各参数的值；答案：答案：答案：答案：最近邻像素插值：最近邻像素插值：最近邻像素插值：最近邻像素插值：f(109.27f(109.27，775.44)775.44)113113 双线性插值：双线性插值：双线性插值：双线性插值：f(109.27f(109.27，775.44)775.44)109109 f(x,y)=-8(x-109)-4(y-775)+2(x-109)(y-775)+113f(x,y)=-8(x-109)-4(y-775)+2(x-109)(y-775)+113第31页/共47页第三十二页，共47页。n n主要内容：主要内容：n n1图像配准概述；图像配准概述；n n2 基基于于(jy)特特征征的的图图像像配配准准方法；方法；n n3基基于于(jy)模模板板的的图图像像配配准准方法；方法；n n4MATLAB图像配准；图像配准；第九章第九章 图像图像(t xin)配准配准2023/2/6 21:03第32页/共47页第三十三页，共47页。基于模板的图像基于模板的图像(t xin)配准方法配准方法模板匹配模板匹配 模模模模板板板板匹匹匹匹配配配配法法法法：在在在在一一一一幅幅幅幅图图图图像像像像中中中中选选选选取取取取一一一一个个个个窗窗窗窗口口口口作作作作模模模模板板板板T T，然然然然后后后后将将将将模模模模板板板板在在在在另另另另一一一一幅幅幅幅图图图图像像像像中中中中平平平平移移移移，通通通通过过过过相相相相关关关关函函函函数数数数的的的的计计计计算算算算来来来来找找找找到到到到它它它它在在在在搜搜搜搜索索索索图图图图中中中中的的的的坐坐坐坐标标标标(zubio)(zubio)位位位位置置置置。模模模模板板板板覆覆覆覆盖盖盖盖下下下下的的的的那那那那块块块块搜搜搜搜索索索索图图图图叫叫叫叫做做做做子子子子图图图图Si,jSi,j，(i,j)(i,j)为子图的中心点在为子图的中心点在为子图的中心点在为子图的中心点在S S中的坐标中的坐标中的坐标中的坐标(zubio)(zubio)；模板匹配法采用使图像间相似性最大化的原理实现图像间的配准。模板匹配法采用使图像间相似性最大化的原理实现图像间的配准。模板匹配法采用使图像间相似性最大化的原理实现图像间的配准。模板匹配法采用使图像间相似性最大化的原理实现图像间的配准。用以下测度来衡量用以下测度来衡量用以下测度来衡量用以下测度来衡量T T和和和和Si,jSi,j的相似程度：的相似程度：的相似程度：的相似程度：第33页/共47页第三十四页，共47页。基于模板的图像配准方法基于模板的图像配准方法(fngf)模板匹配模板匹配 P P值值值值介介介介于于于于0 0和和和和1 1之之之之间间间间。根根根根据据据据经经经经验验验验取取取取某某某某个个个个阈阈阈阈值值值值P0P0，如如如如果果果果PP0PP0，则则则则匹匹匹匹配配配配成成成成功功功功；PP0PSave nz)File-Save Points Points toto WorkspaceWorkspace，则则则则工工工工作作作作空空空空间间间间自自自自动添加动添加动添加动添加input_pointsinput_points和和和和base_pointsbase_points两个变量；两个变量；两个变量；两个变量；第41页/共47页第四十二页，共47页。MATLAB图像配准图像配准基于基于(jy)特征特征的配准的配准第42页/共47页第四十三页，共47页。MATLAB图像配准图像配准 基于基于(jy)特征特征的配准的配准 由特征点集求空间变换由特征点集求空间变换由特征点集求空间变换由特征点集求空间变换cp2form()cp2form()语语语语法法法法：tform=cp2form(input_points,tform=cp2form(input_points,base_points,base_points,transform_type)transform_type)说说说说明明明明：input_pointsinput_points为为为为待待待待配配配配准准准准的的的的输输输输入入入入(shr)(shr)图图图图像像像像上上上上的的的的特特特特征征征征点点点点，base_pointsbase_points为为为为基基基基准准准准图图图图像像像像上上上上的的的的对对对对应应应应点点点点；transform_typetransform_type为为为为变变变变换换换换类型；类型；类型；类型；第43页/共47页第四十四页，共47页。MATLAB图像图像(t xin)配准配准基于基于特征的配准特征的配准例：根据控制点例：根据控制点例：根据控制点例：根据控制点(特征点特征点特征点特征点)对两幅图像对两幅图像对两幅图像对两幅图像(t xin(t xin)进行配准：进行配准：进行配准：进行配准：I=imread(cameraman.tif);I=imread(cameraman.tif);imshow(I);imshow(I);scale=0.6;scale=0.6;J=imresize(I,scale);J=imresize(I,scale);theta=30;theta=30;K=imrotate(J,theta);K=imrotate(J,theta);figure,imshow(K)figure,imshow(K)cpselect(K,I);cpselect(K,I);%交互式地确定特征点集交互式地确定特征点集交互式地确定特征点集交互式地确定特征点集t=cp2tform(input_points,base_points,linear conformal);t=cp2tform(input_points,base_points,linear conformal);recovered=imtransform(K,t);recovered=imtransform(K,t);figure,imshow(I)figure,imshow(I)title(I)title(I)figure,imshow(recovered)figure,imshow(recovered)title(recovered)title(recovered)第44页/共47页第四十五页，共47页。MATLAB图像图像(t xin)配准配准基于基于特征的配准特征的配准第45页/共47页第四十六页，共47页。n n重点重点n n基本基本(jbn)概念：图像配概念：图像配准、单模配准、多模配准、准、单模配准、多模配准、前向映射、后向映射、最近前向映射、后向映射、最近邻点插值、双线性插值；邻点插值、双线性插值；n n掌握图像的基本掌握图像的基本(jbn)几几何变换、双线性插值算法何变换、双线性插值算法n n了解了解n nMATLAB图像几何变换和图图像几何变换和图像配准像配准本章本章(bn zhn)小结：小结：2023/2/6 21:03第46页/共47页第四十七页，共47页。