医学图像的配准与融合.ppt
《医学图像的配准与融合.ppt》由会员分享,可在线阅读,更多相关《医学图像的配准与融合.ppt(120页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、医学图像的配准与融合 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望第八章第八章 医学图像的配准与融合医学图像的配准与融合 8.6 图像融合概述图像融合概述 8.7 常用的图像融合方法常用的图像融合方法 8.8 图像融合效果的评价图像融合效果的评价 随着计算机技术的高速发展,医学成像技术日随着计算机技术的高速发展,医学成像技术日新月异,新月异,为临床医学提供了各种形态和功能的影像为临床医学提供了各种形态和功能的影像信息。信息。但是各种成像技术和检查方法都有它的优势
2、与但是各种成像技术和检查方法都有它的优势与不足,并非一种成像技术可以适用于人体所有器官不足,并非一种成像技术可以适用于人体所有器官的检查和疾病诊断,也不是一种成像技术能取代另的检查和疾病诊断,也不是一种成像技术能取代另一种成像技术,而是相辅相成、相互补充。一种成像技术,而是相辅相成、相互补充。8.1 8.1 应用背景介绍应用背景介绍根据医学图像所提供的信息内涵,分为两大类:根据医学图像所提供的信息内涵,分为两大类:l 解剖结构图像(解剖结构图像(CTCT、MRIMRI、B B超等)超等)l 功能图像(功能图像(SPECTSPECT、PETPET等)等)解剖图像以较高的分辨率提供了脏器的解剖形态
3、信息(功能解剖图像以较高的分辨率提供了脏器的解剖形态信息(功能图像无法提供脏器或病灶的解剖细节),但无法反映脏器的图像无法提供脏器或病灶的解剖细节),但无法反映脏器的功能情况。功能情况。功能图像分辨率较差,但它提供的脏器功能代谢信息是解剖功能图像分辨率较差,但它提供的脏器功能代谢信息是解剖图像所不能替代的;图像所不能替代的;8.1 8.1 应用背景介绍应用背景介绍n 目前这两类成像设备的研究都已取得了很大的进步,图像的目前这两类成像设备的研究都已取得了很大的进步,图像的空间分辨率和图像质量有很大的提高,但由于成像原理不同所空间分辨率和图像质量有很大的提高,但由于成像原理不同所造成的图像信息局限
4、性造成的图像信息局限性,使得单独使用某一类图像的效果并不理使得单独使用某一类图像的效果并不理想。想。n 因此,为了提高诊断正确率,需要综合利用患者的各种图像因此,为了提高诊断正确率,需要综合利用患者的各种图像信息。信息。8.1 8.1 应用背景介绍应用背景介绍n 最有效的解决方法:以医学图像配准技术为基础,利用信息最有效的解决方法:以医学图像配准技术为基础,利用信息融合技术,将这两种图像结合起来,利用各自的信息优势,在融合技术,将这两种图像结合起来,利用各自的信息优势,在一幅图像上同时表达来自人体的多方面信息。一幅图像上同时表达来自人体的多方面信息。n 更加直观地提供了人体解剖、生理及病理等信
5、息。其中配准更加直观地提供了人体解剖、生理及病理等信息。其中配准技术是图像融合的先决条件技术是图像融合的先决条件,必须先进行配准必须先进行配准,才能实现准确地才能实现准确地融合。融合。8.1 8.1 应用背景介绍应用背景介绍二、医学图像配准在临床上的应用二、医学图像配准在临床上的应用 医医学学图图像像配配准准具具有有很很重重要要的的临临床床应应用用价价值值。对对使使用用各各种种不不同同或或相相同同的的成成像像手手段段所所获获得得的的医医学学图图像像进进行行配配准准不不仅仅可可以以用用于于医医疗疗诊诊断断,还还可可用用于于手手术术计计划划的的制制定定、放放射射治治疗疗计计划划的的制制定定、病病理
6、理变变化化的的跟跟踪踪和和治治疗疗效效果果的的评评价价等等各各个个方方面。面。临床应用举例临床应用举例 1 1、计计算算机机辅辅助助手手术术中中,外外科科医医生生根根据据配配准准的的CT/MR/DSACT/MR/DSA图图像像精精确确定定位位病病灶灶及及周周围围相相关关的的解解剖剖结结构构信信息息,设设计计出出缜缜密密的的手手术术计计划划。在在手手术术过过程程中中,利利用用三三维维空空间间定定位位系系统统使使术术前前计计划划的的虚虚拟拟病病人人、手手术术台台上上的的真真实实病病人人和和手手术术器器械械三三者者精确联系起来进行手术跟踪。精确联系起来进行手术跟踪。二、医学图像配准在临床上的应用二、
7、医学图像配准在临床上的应用临床应用举例临床应用举例 2 2、在在癫癫痫痫病病的的治治疗疗中中,一一方方面面需需要要通通过过CTCT,MRIMRI等等图图像像获获得得病病人人的的解解剖剖信信息息,另另一一方方面面又又需需要要通通过过SPECTSPECT或或PETPET等等得得到到病病人人的的功功能能信信息息,这这两两方方面面的的结结合合将将有有助助于于对对病病人人的的精确治疗。精确治疗。二、医学图像配准在临床上的应用二、医学图像配准在临床上的应用临床应用举例临床应用举例 3 3、放放射射治治疗疗中中,应应用用CTCT和和MRMR图图像像的的配配准准和和融融合合来来制制定定放放疗疗计计划划和和进进
8、行行评评估估,用用CTCT图图像像精精确确计计算算放放射射剂剂量量,用用MRMR图图像像描描述述肿肿瘤瘤的的结结构构,用用PETPET和和SPECTSPECT图图像像对对肿肿瘤瘤的的代代谢谢、免免疫疫及及其其他他生生理理方方面面进进行行识识别别和和特特性性化化处处理理,整整合合的的图图像像可可用于改进放射治疗计划或立体定向活检或手术。用于改进放射治疗计划或立体定向活检或手术。二、医学图像配准在临床上的应用二、医学图像配准在临床上的应用8.2 8.2 医学图像配准概述医学图像配准概述一、医学图像配准的概念一、医学图像配准的概念 二、医学图像配准方法的分类二、医学图像配准方法的分类三、医学图像配准
9、的基本过程三、医学图像配准的基本过程 一、医学图像配准的概念一、医学图像配准的概念 医医学学图图像像配配准准是是指指对对于于一一幅幅医医学学图图像像寻寻求求一一种种(或或一一系系列列)空空间间变变换换,使使它它与与另另一一幅幅医医学学图图像像上上的的对对应应点点达达到到空空间间上上的的一一致致。这这种种一一致致是是指指人人体体上上的的同同一一解解剖剖点点在在两两张张匹匹配配图图像像上上有有相相同同的的空空间间位位置置(位位置置一一致致,角角度度一一致致、大大小一致)。小一致)。配配准准的的结结果果应应使使两两幅幅图图像像上上所所有有的的解解剖剖点点,或或至至少少是是所有具有诊断意义的点及手术感
10、兴趣的点都达到匹配。所有具有诊断意义的点及手术感兴趣的点都达到匹配。医学图像配准示意图医学图像配准示意图一、医学图像配准的概念一、医学图像配准的概念二、医学图像配准方法的分类二、医学图像配准方法的分类 到到目目前前为为止止,图图像像配配准准方方法法的的分分类类始始终终没没有有一一个个统统一一的的说说法法。目目前前比比较较流流行行的的是是19931993年年Van Van den den ElsenElsen等等人人对医学图像配准进行的分类,归纳了七种分类标准。对医学图像配准进行的分类,归纳了七种分类标准。(一)按图像维数分类(一)按图像维数分类 按图像维数分为按图像维数分为2D/2D2D/2D
11、,2D/3D2D/3D,以及,以及3D/3D3D/3D配准。配准。2D/2D2D/2D配准通常指两个断层面间的配准;配准通常指两个断层面间的配准;2D/3D2D/3D配准通常配准通常指空间图像和投影图像(或者是单独的一个层面)间的指空间图像和投影图像(或者是单独的一个层面)间的直接配准;直接配准;3D/3D3D/3D配准指配准指2 2幅三维空间图像间的配准。幅三维空间图像间的配准。二、医学图像配准方法的分类二、医学图像配准方法的分类(二)根据医学图像的模态分类(二)根据医学图像的模态分类 单模态医学图像配准:是指待配准的两幅图像是用同一单模态医学图像配准:是指待配准的两幅图像是用同一种成像设备
12、获取的。一般用在生长监控、减影成像等。种成像设备获取的。一般用在生长监控、减影成像等。多模态图像配准:是指待配准的两幅图像来源于不同的多模态图像配准:是指待配准的两幅图像来源于不同的成像设备,主要应用于神经外科的诊断、手术定位及放成像设备,主要应用于神经外科的诊断、手术定位及放疗计划设计等。疗计划设计等。二、医学图像配准方法的分类二、医学图像配准方法的分类(三)根据变换性质分类(三)根据变换性质分类 刚性变换:只包括平移和旋转。刚性变换:只包括平移和旋转。仿射变换:将平行线变换为平行线。仿射变换:将平行线变换为平行线。投影变换:将直线映射为直线。投影变换:将直线映射为直线。曲线变换:将直线映射
13、为曲线曲线变换:将直线映射为曲线。二、医学图像配准方法的分类二、医学图像配准方法的分类(四)根据用户交互性的多少分类(四)根据用户交互性的多少分类 自动配准:用户只需提供相应的算法和图像数据。自动配准:用户只需提供相应的算法和图像数据。半自动配准:用户需初始化算法或指导算法半自动配准:用户需初始化算法或指导算法(如拒绝或接如拒绝或接受配准假设受配准假设);交互配准:用户在软件的帮助下进行配准交互配准:用户在软件的帮助下进行配准 二、医学图像配准方法的分类二、医学图像配准方法的分类(五)根据配准所基于的图像特征分类(五)根据配准所基于的图像特征分类 基于外部特征的图像配准:是指在研究对象上设置一
14、些基于外部特征的图像配准:是指在研究对象上设置一些 标志点,使这些标记点能在不同的影像模式中标志点,使这些标记点能在不同的影像模式中 显示,然后再用自动、半自动或交互式的方法显示,然后再用自动、半自动或交互式的方法 用标记将图像配准。用标记将图像配准。基于内部特征的配准:主要包括三个方面:基于标记的基于内部特征的配准:主要包括三个方面:基于标记的 配准方法、基于分割的配准方法、基于像素特配准方法、基于分割的配准方法、基于像素特 性的配准性的配准。二、医学图像配准方法的分类二、医学图像配准方法的分类(六)根据配准过程中变换参数确定的方式分类(六)根据配准过程中变换参数确定的方式分类 1 1、通过
15、直接计算公式得到变换参数的配准:限制在基于特征信息、通过直接计算公式得到变换参数的配准:限制在基于特征信息(例如小数目的特征点集、二维曲线、三维表面例如小数目的特征点集、二维曲线、三维表面)的配准应用中。的配准应用中。2 2、通过在参数空间中寻求某个函数的最优解得到变换参数的配准:、通过在参数空间中寻求某个函数的最优解得到变换参数的配准:所有的配准都变成一个能量函数的极值求解问题。所有的配准都变成一个能量函数的极值求解问题。二、医学图像配准方法的分类二、医学图像配准方法的分类(七)根据主体分类(七)根据主体分类 1 1、同一患者、同一患者(Intrasubject)(Intrasubject)
16、的的 配准:指将来自同一个病配准:指将来自同一个病人的待配准图像,用于任何种类的诊断中;人的待配准图像,用于任何种类的诊断中;2 2、不同患者、不同患者(Intersubject)(Intersubject)的配准:指待配准图像来自的配准:指待配准图像来自不同病人,主要用在三维头部图像不同病人,主要用在三维头部图像(MR(MR、CT)CT)的配准中的配准中 3 3、患者与图谱的患者与图谱的(Atlas)(Atlas)图像配准。是指待配准图像一幅图像配准。是指待配准图像一幅来自病人,一幅来自图谱。来自病人,一幅来自图谱。二、医学图像配准方法的分类二、医学图像配准方法的分类三、医学图像配准的基本过
17、程三、医学图像配准的基本过程 1 1、根据待配准图像(浮动图像)、根据待配准图像(浮动图像)I I2 2与参考图像(基准图与参考图像(基准图像)像)I I1 1,提取出图像的特征信息组成特征空间;,提取出图像的特征信息组成特征空间;2 2、根据提取出的特征空间确定出一种空间变换,使待配、根据提取出的特征空间确定出一种空间变换,使待配准图像准图像I I2 2经过该变换后与参考图像经过该变换后与参考图像I I1 1能够达到所定义的能够达到所定义的相似性测度;相似性测度;3 3、在确定变换的过程中,还需采取一定的搜索策略也就、在确定变换的过程中,还需采取一定的搜索策略也就是优化措施以使相似性测度更快
18、更好地达到最优值。是优化措施以使相似性测度更快更好地达到最优值。NY待配准图像I2几何变换T变换后的图像I*=T(I2)相似性测度评价T最优?最优T更新T初始变换T参考图像I1图像配准的流程图图像配准的流程图三、医学图像配准的基本过程三、医学图像配准的基本过程8.3 图像配准的理论基础图像配准的理论基础一、图像配准原理一、图像配准原理 二、空间变换二、空间变换 三、参数的优化搜索三、参数的优化搜索 四、插值方法四、插值方法 五、相似性测度五、相似性测度 一、图像配准原理一、图像配准原理 对于在不同时间或对于在不同时间或/和不同条件下获取的两幅图像和不同条件下获取的两幅图像A(x)A(x)和和B
19、(x)B(x)的配准,就是要定义一个相似性测度并寻找的配准,就是要定义一个相似性测度并寻找一个空间变换关系,使得经过该空间变换后两幅图像间一个空间变换关系,使得经过该空间变换后两幅图像间的相似性达到最大(或者差异性最小)。即使图像的相似性达到最大(或者差异性最小)。即使图像A A上的上的每一个点在图像每一个点在图像B B上都有唯一的点与之对应,并且这两点上都有唯一的点与之对应,并且这两点应对应同一解剖位置。应对应同一解剖位置。S S是相似性测度,配准的过程归结为寻求最佳空间变换的过程。是相似性测度,配准的过程归结为寻求最佳空间变换的过程。公式表示公式表示:由于空间变换包含多个参数,是一个多参数
20、最优化问题,一由于空间变换包含多个参数,是一个多参数最优化问题,一般由迭代过程实现:般由迭代过程实现:一、图像配准原理一、图像配准原理二、空间变换二、空间变换 图像图像A A和和B B的配准就是寻找一种映射关系的配准就是寻找一种映射关系T T:X XAAX XB B,使得使得X XA A上的每一点在上的每一点在X XB B上都有唯一的点与之对应。上都有唯一的点与之对应。这种映射关系表现为一组连续的空间变换,如整幅图像这种映射关系表现为一组连续的空间变换,如整幅图像应用相同的空间变换,则称之为全局变换(应用相同的空间变换,则称之为全局变换(global global transformation
21、transformation),否则,称之为局部变换(),否则,称之为局部变换(local local transformationtransformation)。)。图像配准的基本变换图像配准的基本变换二、空间变换二、空间变换二、空间变换二、空间变换刚体变换刚体变换 刚体:刚体:是指物体内部任意两点间的距离保持不变。是指物体内部任意两点间的距离保持不变。刚体变换:刚体变换:使得一幅图像中任意两点间的距离在变换前使得一幅图像中任意两点间的距离在变换前 后保持不变。后保持不变。例如:人体的头部由坚硬的颅骨支撑,在处理时通常忽例如:人体的头部由坚硬的颅骨支撑,在处理时通常忽 略头部皮肤的微小变形,
22、将整个人脑看作是一个略头部皮肤的微小变形,将整个人脑看作是一个 刚体。刚体。两幅图像之间的刚体变换可由一个刚体模型描述:两幅图像之间的刚体变换可由一个刚体模型描述:s s是比例变换因子是比例变换因子。是图像之间沿是图像之间沿x x,y y,z z方向上的平移量。方向上的平移量。R R是是3 33 3的旋转矩阵,满足约束条件:的旋转矩阵,满足约束条件:二、空间变换二、空间变换刚体变换刚体变换相对笛卡尔坐标系的三个坐标轴,相对笛卡尔坐标系的三个坐标轴,R R有三种不同的形式:有三种不同的形式:分别表示围绕分别表示围绕坐标轴的旋转角度坐标轴的旋转角度 二、空间变换二、空间变换刚体变换刚体变换二、空间
23、变换二、空间变换-仿射变换仿射变换仿射变换:仿射变换:将直线映射为直线,并保持平行性。将直线映射为直线,并保持平行性。不满足:不满足:在笛卡儿坐标系下,二维仿射变换的旋转矩阵在笛卡儿坐标系下,二维仿射变换的旋转矩阵R R表示为:表示为:三维:三维:二、空间变换二、空间变换-仿射变换仿射变换二、空间变换二、空间变换投影变换投影变换投影变换:投影变换:将直线映射为直线,但不保持平行性质。将直线映射为直线,但不保持平行性质。投影变换主要用于二维投影图像与三维体积图像的配准。投影变换主要用于二维投影图像与三维体积图像的配准。二维投影变换按照下式将图像二维投影变换按照下式将图像映射至图像映射至图像:是依
24、赖于图像本身的常数。是依赖于图像本身的常数。二、空间变换二、空间变换非线性变换非线性变换非线性变换是把直线变换为曲线。它反映的是图像中组织非线性变换是把直线变换为曲线。它反映的是图像中组织或器官的严重变形或位移。典型的非线性变换是多项式函或器官的严重变形或位移。典型的非线性变换是多项式函数,如二次、三次函数及薄板样条函数。有时也使用指数数,如二次、三次函数及薄板样条函数。有时也使用指数函数。非线性变换多用于使解剖图谱变形来拟合图像数据函数。非线性变换多用于使解剖图谱变形来拟合图像数据或对有全局性形变的胸、腹部脏器图像的配准。或对有全局性形变的胸、腹部脏器图像的配准。二、空间变换二、空间变换非线
25、性变换非线性变换1.1.二阶多项式变换二阶多项式变换 2.2.薄板样条变换薄板样条变换 其中:其中:X X是坐标向量,是坐标向量,A A与与B B定义一个仿射变换,定义一个仿射变换,U U是径向基函数。是径向基函数。可以表示为仿射变换与径向基函数的线性组合:可以表示为仿射变换与径向基函数的线性组合:二、空间变换二、空间变换非线性变换非线性变换在二维图像配准中:在二维图像配准中:在三维图像配准中:在三维图像配准中:二、空间变换二、空间变换非线性变换非线性变换三、参数的优化搜索三、参数的优化搜索配准的几何变换参数根据求解方式可分成两类:配准的几何变换参数根据求解方式可分成两类:一、根据获得的数据用
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 医学 图像 融合
限制150内