医学图像处理 图像配准.pptx

《医学图像处理 图像配准.pptx》由会员分享，可在线阅读，更多相关《医学图像处理 图像配准.pptx（47页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、主要内容：1图像配准概述；2 基于特征的图像配准方法；3基于模板的图像配准方法；4MATLAB图像配准；第九章第九章 图像配准图像配准2023/4/14 17:32第1页/共47页主要内容：1图像配准概述；2 基于特征的图像配准方法；3基于模板的图像配准方法；4MATLAB图像配准；第九章第九章 图像配准图像配准2023/4/14 17:32第2页/共47页图像配准概述图像配准概述 图像配准的定义图像配准的定义 问问题题的的提提出出：临临床床上上需需要要对对同同一一个个病病人人进进行行多多种种模模式式（CTCT、MRIMRI、PETPET）或或者者同同一一模模式式的的多多次次成成像像，并并同同

2、时时从几幅图像获取信息，进行综合分析；从几幅图像获取信息，进行综合分析；前前提提条条件件：解解决决两两幅幅或或多多幅幅图图像像对对应应成成像像空空间间位位置置的的严严格对齐问题，即确定格对齐问题，即确定同一对象同一对象在在不同图像不同图像中的对应点：中的对应点：第3页/共47页图像配准概述图像配准概述 图像配准的定义图像配准的定义 图图像像配配准准（Image Image RegistrationRegistration）：对对一一幅幅图图像像寻寻求求一一种种（或或一一系系列列）空空间间变变换换，使使它它与与另另一一幅幅图图像像上上的的对对应应点点达达到到空空间间上上的的一一致致。这这种种一一

3、致致是是指指对对象象上上所所有有点点（或或至至少少所所有有感感兴兴趣趣点点）在在两两张张已已配配准准图图像像上上有有着着相相同同的空间位置。的空间位置。各各种种图图像像配配准准的的文文献献都都会会出出现现“配配准准、匹匹配配、几几何何校校正正”三个词，它们的含义比较相似。三个词，它们的含义比较相似。第4页/共47页图像配准概述图像配准概述 图像配准的定义图像配准的定义 图图像像配配准准举举例例：对对图图B B寻寻求求一一种种空空间间变变换换，使使它它与与图图A A上上的的对对应应点点达达到到空空间间上上的的一一致致。图图B B经经空空间间变变换换后后得得到到图图C C，在在图图A A和和图图C

4、 C中中相相同同对对象象有有着着相相同同的的空空间间位位置置。称称图图A A和图和图C C为已配准的图像，可以进行进一步的综合分析。为已配准的图像，可以进行进一步的综合分析。图A图B图C第5页/共47页图像配准概述图像配准概述 图像配准的定义图像配准的定义 图像配准举例图像配准举例：1 12 23 3第6页/共47页图像配准概述图像配准概述 图像配准的定义图像配准的定义 图像配准举例图像配准举例：第7页/共47页图像配准概述图像配准概述 医学图像配准的类型医学图像配准的类型 同一对象（患者）的图像配准：同一对象（患者）的图像配准：不同对象间的图像配准：不同对象间的图像配准：将将被被试试的的图图

5、像像与与典典型型正正常常人人相相同同部部位位的的图图像像或或标标准准图图谱谱进进行行对对比比，以以确确定定被被试试者者是是否否正正常常。如如有有异异常常，还还要要与与一一些些疾疾病病的的典典型型图图像像对对比，确定患者是否属于同类。比，确定患者是否属于同类。第8页/共47页图像配准概述图像配准概述 图像配准的常用方法图像配准的常用方法 基基于于特特征征的的图图像像配配准准方方法法：先先提提取取图图像像显显著著特特征征，如如灰灰度度变变化化明明显显的的点点、线线等等特特征征，通通过过特特征征集集的的映映射射建建立立两两幅幅图图像像之之间间的的空空间间变变换换关关系系。原原则则上上该该方方法法可可

6、用用于于配配准准任任何何模模式式的的图图像像；最最常常用用的的是是特特征征点法点法；基基于于模模板板的的图图像像配配准准方方法法：在在一一幅幅图图像像中中选选取取一一个个子子图图像像窗窗口口作作为为模模板板，大大小小通通常常为为5555或或7777，然然后后让让该该模模板板在在另另一一幅幅图图像像中中移移动动，通通过过计计算算相相关关函函数数来来找找到到模模板板在在搜搜索索图图中中的的坐坐标标位位置置。该该方方法法主主要要用用于于单单模模图图象象配配准准，特特别别是是用用于于对对改改变变较较小小的的图图像像序序列列进进行行配配准；准；第9页/共47页主要内容：1图像配准概述；2 基于特征的图像

7、配准方法；3基于模板的图像配准方法；4MATLAB图像配准；第九章第九章 图像配准图像配准2023/4/14 17:32第10页/共47页基于特征的图像配准方法基于特征的图像配准方法 步骤步骤一般来说特征匹配算法可分为四步：一般来说特征匹配算法可分为四步：特特征征提提取取：从从两两幅幅图图像像中中提提取取灰灰度度变变化化明明显显的的点点、线线等等特征形成特征形成特征集特征集；特特征征空空间间映映射射：建建立立两两幅幅图图像像特特征征集集之之间间的的空空间间多多项项式式变换关系；变换关系；非非特特征征像像素素之之间间的的映映射射：利利用用上上述述多多项项式式变变换换关关系系对对于于非非特特征征像

8、像素素点点进进行行空空间间变变换换，从从而而实实现现两两幅幅图图像像之之间间逐逐像素的空间映射；像素的空间映射；灰灰度度插插值值：由由于于空空间间映映射射得得到到的的坐坐标标值值不不一一定定为为整整数数，因此需要进行灰度插值来确定这些坐标上的灰度值；因此需要进行灰度插值来确定这些坐标上的灰度值；第11页/共47页基于特征的图像配准方法基于特征的图像配准方法 空间映射空间映射 设设f(x,y)是是待待与与图图像像G(xG(x,y)配配准准的的图图像像；g(xg(x,y)是是根据根据GG大小生成一幅和大小生成一幅和GG的坐标一致的空白图像；的坐标一致的空白图像；设设两两幅幅图图像像相相同同点点对对

9、应应的的坐坐标标之之间间的的变变换换关关系系用用下下式式描描述：述：则则可可以以从从一一幅幅图图像像的的像像素素坐坐标标算算出出另另一一幅幅图图像像对对应应像像素素的的坐坐标标。因因此此存存在在两两种种空空间间映映射射方方法法：前前向向映映射射和和后后向向映射映射；第12页/共47页基于特征的图像配准方法基于特征的图像配准方法 空间映射空间映射 前前向向映映射射：由由推推出出，逐逐点点计计算算出出f f中中每每个个像像素素对对应应于于g g中中的的坐坐标标，然然后后利利用用灰灰度度插插值值方方法法将将f f中中每个像素的灰度值分配到它的每个像素的灰度值分配到它的4 4个最邻近像素上；个最邻近像

10、素上；f(x,y)g(x,y)第13页/共47页基于特征的图像配准方法基于特征的图像配准方法 空间映射空间映射前向映射的前向映射的缺陷缺陷：f f中的一些点可能落在中的一些点可能落在g g图像的坐标之外；图像的坐标之外；f f中中的的多多个个点点映映射射到到g g中中的的坐坐标标可可能能有有同同样样的的最最邻邻近近像像素素，导致导致g g中一个像素的灰度值被计算多次；中一个像素的灰度值被计算多次；f(x,y)g(x,y)第14页/共47页基于特征的图像配准方法基于特征的图像配准方法 空间映射空间映射 后后向向映映射射：由由，逐逐点点计计算算出出g g中中每每个个像像素素对对应于应于f f中中的

11、的坐坐标标，然然后后利利用用灰灰度度插插值值方方法法计计算算出出g g中中每每个个像像素素的灰度值；的灰度值；后后向向映映射射比比前前向向映映射射更更实实用用，在在这这种种映映射射方方式式中中，输输出出g g的的每每一一个个像像素素灰灰度度值值都都一一次次性性由由f f中中4 4相相邻邻像像素素的的线线性性插值决定。插值决定。f(x,y)g(x,y)第15页/共47页基于特征的图像配准方法基于特征的图像配准方法 空间映射空间映射 常见的空间映射关系常见的空间映射关系第16页/共47页基于特征的图像配准方法基于特征的图像配准方法 空间映射空间映射 刚体变换刚体变换：对象内部任意两点间的距离保持不

12、变；：对象内部任意两点间的距离保持不变；刚体变换可以分解为旋转和平移：刚体变换可以分解为旋转和平移：第17页/共47页基于特征的图像配准方法基于特征的图像配准方法 空间映射空间映射 仿射变换仿射变换：仿射变换将直线映射为直线，并保持平行性；：仿射变换将直线映射为直线，并保持平行性；仿仿射射变变换换在在刚刚体体变变换换的的基基础础上上增增加加了了尺尺度度变变换换和和错错切切变变换：换：第18页/共47页基于特征的图像配准方法基于特征的图像配准方法 空间映射空间映射 举举例例：假假设设你你有有2 2张张拍拍摄摄时时间间相相隔隔100100年年的的峡峡谷谷壁壁的的数数字字图图像像，并并且且你你希希望

13、望通通过过相相减减的的处处理理来来判判断断由由于于风风化化作作用用而而产产生生的的地地貌貌变变化化。你你发发现现一一块块岩岩石石原原来来位位于于(303(303，467)467)，而而 现现 在在 位位 于于(316(316，440)440)；一一 个个 树树 桩桩 原原 来来 位位 于于(298(298，277)277)，而现在位于，而现在位于(311(311，200)200)。问问：两两幅幅图图像像有有没没有有(a)(a)尺尺寸寸缩缩放放(b)(b)旋旋转转(c)(c)平平移移？若若有有，有有多多少少？若若要要将将两两幅幅图图进进行行相相减减处处理理，写写出出第第二二幅幅图图像像所所要要做

14、做的的几几何何变变换换。假假定定两两幅幅图图像像除除了了尺尺寸寸上上的的均均匀匀缩缩放、旋转和平移外没有其他几何扭曲。放、旋转和平移外没有其他几何扭曲。第19页/共47页基于特征的图像配准方法基于特征的图像配准方法 空间映射空间映射 解解：由由 题题 意意 有有 g(xg(x1 1,y y1 1)=(303)=(303，467)467)，g(xg(x2 2,y y2 2)=(298)=(298，277)277)；f(xf(x1 1,yy1 1)=(316)=(316，440)440)，f(xf(x2 2,yy2 2)=(311)=(311，200)200)；第20页/共47页基于特征的图像配准

15、方法基于特征的图像配准方法 空间映射空间映射 解解：原题转化为求解变换矩阵：原题转化为求解变换矩阵：解得：解得：第21页/共47页基于特征的图像配准方法基于特征的图像配准方法 空间映射空间映射 通通常常在在h h1 1(x,(x,y)y)和和h h2 2(x,(x,y)y)未未知知的的情情况况下下，可可用用求求对对应应特特征征点点集集(至至少少3 3对对)的的仿仿射射变变换换矩矩阵阵的的方方法法来来估估计计h h1 1(x,(x,y)y)和和h h2 2(x,y)(x,y)；在在更更复复杂杂的的情情况况下下(如如图图像像的的空空间间变变换换是是非非线线性性的的)，h h1 1(x,y)(x,y

16、)和和h h2 2(x,y)(x,y)可用多项式来近似：可用多项式来近似：其中，式中其中，式中NN为多项式的次数，为多项式的次数，a aij ij和和b bij ij为各项待定系数。为各项待定系数。第22页/共47页基于特征的图像配准方法基于特征的图像配准方法 灰度插值灰度插值 经经过过空空间间变变换换得得到到的的坐坐标标值值通通常常不不为为整整数数，这这些些坐坐标标值值上上的的灰灰度度值值没没有有定定义义，必必须须通通过过对对其其邻邻近近像像素素的的灰灰度度值值插值来得到：插值来得到：常常用用插插值值方方法法有有：最最近近邻邻像像素素插插值值、双双线线性性插插值值、三三次次立方插值；立方插值

17、；第23页/共47页基于特征的图像配准方法基于特征的图像配准方法 灰度插值灰度插值 最最近近邻邻像像素素插插值值：在在待待求求像像素素的的四四邻邻点点中中，将将距距离离这这点点最最近近的的邻邻点点灰灰度度赋赋给给待待求求像像素素。该该方方法法最最简简单单，但但校校正正后的图像有明显锯齿状，即存在灰度不连续性。后的图像有明显锯齿状，即存在灰度不连续性。f(x,y)g(x,y)第24页/共47页基于特征的图像配准方法基于特征的图像配准方法 灰度插值灰度插值 双双线线性性插插值值：双双线线性性插插值值法法是是对对最最近近邻邻法法的的一一种种改改进进，即即根根据据待待求求像像素素的的四四个个邻邻近近点

18、点的的灰灰度度值值，分分别别在在x x和和y y方方向向上上进进行行两两次次插插值值。最最后后形形成成的的插插值值函函数数为为一一双双曲曲抛抛物物面面方方程程：计计算算比比最最近近邻邻点点法法复复杂杂，但但没没有有灰灰度度不不连连续续性性的缺点，结果较令人满意。的缺点，结果较令人满意。第25页/共47页基于特征的图像配准方法基于特征的图像配准方法 灰度插值灰度插值 双线性插值算法：双线性插值算法：首先，在首先，在x x方向上作线性插值：方向上作线性插值：第26页/共47页基于特征的图像配准方法基于特征的图像配准方法 灰度插值灰度插值 双线性插值算法：双线性插值算法：首先，在首先，在x x方向上

19、作线性插值：方向上作线性插值：第27页/共47页基于特征的图像配准方法基于特征的图像配准方法 灰度插值灰度插值 双线性插值算法：双线性插值算法：然后，在然后，在y y方向上作线性插值：方向上作线性插值：第28页/共47页基于特征的图像配准方法基于特征的图像配准方法 灰度插值灰度插值 双线性插值算法：双线性插值算法：最后，得到双线性插值公式：最后，得到双线性插值公式：第29页/共47页基于特征的图像配准方法基于特征的图像配准方法 灰度插值灰度插值 最近邻像素插值和双线性插值比较：最近邻像素插值和双线性插值比较：OriginalNearest NeighbourBilinear第30页/共47页基

20、于特征的图像配准方法基于特征的图像配准方法 灰度插值灰度插值 举举 例例：假假 设设 f(109f(109，775)=113775)=113，f(109f(109，776)=109776)=109，f(110f(110，775)=105775)=105，f(110f(110，776)=103776)=103，试试 分分 别别用用 最最 近近 邻邻 像像 素素 插插 值值 法法 和和 双双 线线 性性 插插 值值 法法 求求 f(109.27f(109.27，775.44)775.44)，写写 出出 双双 线线 性性 插插 值值 变变 换换 方方 程程 f(xf(x，y)=ax+by+cxy+d

21、y)=ax+by+cxy+d，求出各参数的值；，求出各参数的值；答案：答案：最近邻像素插值：最近邻像素插值：f(109.27f(109.27，775.44)775.44)113113双线性插值：双线性插值：f(109.27f(109.27，775.44)775.44)109109f(x,f(x,y)=-8(x-109)-4(y-775)+2(x-109)(y-y)=-8(x-109)-4(y-775)+2(x-109)(y-775)+113775)+113第31页/共47页主要内容：1图像配准概述；2 基于特征的图像配准方法；3基于模板的图像配准方法；4MATLAB图像配准；第九章第九章 图像

22、配准图像配准2023/4/14 17:32第32页/共47页基于模板的图像配准方法基于模板的图像配准方法 模板匹配模板匹配 模模板板匹匹配配法法：在在一一幅幅图图像像中中选选取取一一个个窗窗口口作作模模板板T T，然然后后将将模模板板在在另另一一幅幅图图像像中中平平移移，通通过过相相关关函函数数的的计计算算来来找找到到它它在在搜搜索索图图中中的的坐坐标标位位置置。模模板板覆覆盖盖下下的的那那块块搜搜索索图叫做子图图叫做子图S Si,ji,j，(i,j)(i,j)为子图的中心点在为子图的中心点在S S中的坐标；中的坐标；模模板板匹匹配配法法采采用用使使图图像像间间相相似似性性最最大大化化的的原原

23、理理实实现现图图像像间的配准。间的配准。用以下测度来衡量用以下测度来衡量T T和和S Si,ji,j的相似程度：的相似程度：第33页/共47页基于模板的图像配准方法基于模板的图像配准方法 模板匹配模板匹配 P P值值介介于于0 0和和1 1之之间间。根根据据经经验验取取某某个个阈阈值值P P0 0，如如果果PPPP0 0，则则匹匹配配成成功功；PPPSave File-Save Points Points to to WorkspaceWorkspace，则则工工作作空空间间自自动动添添加加input_pointsinput_points和和base_pointsbase_points两个变量

24、；两个变量；第41页/共47页MATLABMATLAB图像配准图像配准 基于特征的配准基于特征的配准第42页/共47页MATLABMATLAB图像配准图像配准 基于特征的配准基于特征的配准 由特征点集求空间变换由特征点集求空间变换cp2form cp2form()()语语法法：tform=cp2form(input_points,tform=cp2form(input_points,base_points,transform_type)base_points,transform_type)说说明明：input_pointsinput_points为为待待配配准准的的输输入入图图像像上上的的特特

25、征征点点，base_pointsbase_points为为 基基 准准 图图 像像 上上 的的 对对 应应 点点；transform_typetransform_type为变换类型为变换类型；第43页/共47页MATLABMATLAB图像配准图像配准 基于特征的配准基于特征的配准例例：根据控制点：根据控制点(特征点特征点)对两幅图像进行配准：对两幅图像进行配准：I=imread(cameraman.tif);I=imread(cameraman.tif);imshow(I);imshow(I);scale=0.6;scale=0.6;J=J=imresizeimresize(I,scale);

26、(I,scale);theta=30;theta=30;K=K=imrotateimrotate(J,theta);(J,theta);figure,imshow(K)figure,imshow(K)cpselectcpselect(K,I);(K,I);%交互式地确定特征点集交互式地确定特征点集t t=cp2tformcp2tform(input_points,base_points,linear(input_points,base_points,linear conformal);conformal);recovered=imtransform(K,t);recovered=imtrans

27、form(K,t);figure,imshow(I)figure,imshow(I)title(I)title(I)figure,imshow(recovered)figure,imshow(recovered)title(recovered)title(recovered)第44页/共47页MATLABMATLAB图像配准图像配准 基于特征的配准基于特征的配准第45页/共47页重点基本概念：图像配准、单模配准、多模配准、前向映射、后向映射、最近邻点插值、双线性插值；掌握图像的基本几何变换、双线性插值算法了解MATLAB图像几何变换和图像配准本章小结：2023/4/14 17:32第46页/共47页2023/4/14 17:32感谢您的观看。第47页/共47页