第14章 医学图像数据分析.pptx
课程主讲人：第14章 医学图像数据分析医学大数据分析医学图像数据分析高等教育出版社CONTENTS目 录1医学图像分析意义2常见的医学图像数据3医学图像数据分析方法4医学图像数据分析应用1医学图像分析意义传统中医诊断方式n医学图像与计算机技术相结合形成了新兴交叉学科医学图像处理和分析n医学图像处理和分析使医学图像的显示质量得到很大的改善，大大提高了诊断的质量n 医学图像处理和分析在医学诊断、治疗、手术、培训、科研与教学等广泛应用，为医学的研究与发展提供坚实的基础，具有不可估量的价值医学图像数据分析的意义2常见的医学图像n主要研究如何将实际人体信息转换为 计算机的二进制数据的问题。经过一定的重建算法把这些数据转换成与二维图像像素或三维体数据对应的原始图像数据集医学图像成像技术（Medical Imaging）nB超扫描图像、彩色多普勒超声图像、核磁共振图像、CT图像、PET图像、SPECT图像、数字X光机（DX）图像、X射线透视图像、各种电子内窥镜图像，显微镜下病理切片图像等。常见的医学影像X光伦琴因发现X射线获得首届诺贝尔物理学奖。 成像原理基于待成像物体各部分的密度不同，对x射线的吸收不同，透射X射线强度不同，从而在胶片上成像的。图像特点X光图片是X射线在通路上物体对射线吸收的积分效果。不足X光有辐射X光图片不能反映组织或病灶的三维空间位置。伦琴开创了医学图像的先河n X光片已经广泛应用于医学诊断。n 可以检查肺部纹理增多、钙化点、主动脉结钙化等。n X光胸片可粗略检查心脏、主动脉、肺、胸膜、肋骨等n 对于各种外伤，如果要确定是否伤害骨头，优先选择X光检查，检查结果快速易得。X光片反应的是通路上人体对X光累积吸收效果，无法得到人体的三维信息，若想更细致的人体内部的观察需要借助CT影像。n 生物机体被X射线照射时，会受到抑制、破坏甚至坏死，发生不同程度的生理、病理和生化等方面的改变。X射线可用于治疗人体的某些疾病，特别是肿瘤治疗。X光的应用n CT: computed tomographyn利用X线对人体某一范围进行逐层的横断扫描，取得信息，经计算机处理后获得重建的图像。获得的图像为人体的横断解剖图，并可通过计算机处理得到三维的重建图像。（X射线断层扫描影像装置）CT计算机体层摄影扫描仪CTHounsfield和Cormack因发明CT获得1979年诺贝尔医学和生理学奖。 n CT: computed tomographyn利用X线对人体某一范围进行逐层的横断扫描，取得信息，经计算机处理后获得重建的图像。获得的图像为人体的横断解剖图，并可通过计算机处理得到三维的重建图像。（X射线断层扫描影像装置）CT工作原理n提供很高的空间分辨率（0.5 毫米）。nCT密度分辨率比较高，可以灵敏地检测到有密度改变的细微病变。nCT检查为横断面成像，通过计算机图像重建算法，可从任意角度显示组织或器官，方便医生更全面观察病变部位，防止遗漏；n造影增强扫面的CT可以进一步明确病变性质；nCT检查还具有无创、图像清晰、成像速度快等优势。CT图像的优势nCT扫描虽然发现病变的敏感性极高，但在定性诊断上仍有很大的限制。n医生就是根据正常组织和异常组织呈现的衰减值差异作为诊断的依据，如果衰减值无差异，再大的肿瘤也无法鉴别。nCT扫描尽管有许多优越性，但也有其局限性，只有与其他设备，其他诊断手段相配合，才能充分发挥其作用。CT图像的限制nCT对骨骼的成像效果好，目前经常用于头部疾病、胸腔疾病、腹部和骨盆疾病及四肢的检查。n但是因为CT是采用X光成像，辐射比较大，故怀孕妇女不能做CT检查。CT图像的应用MRI伦琴因发现X射线获得首届诺贝尔物理学奖。 n无电离辐射危害，是一种安全的检查的方法。 n多参数成像，可以提供丰富的诊断信息。 n高对比度成像，在所有医学影像技术中，MRI的软组织对比分辨力最高。 n具有任意方向断层的能力，能够从不同角度直视地观察分析组织结构及其病变。 n无骨伪影干扰，后颅凹病变清晰可辨。 n可进行功能、组织化学和生物化学方面的研究。MRI图像的优势n成像速度慢，不适合运动性器官n对钙化灶和骨皮质病灶不够敏感。 n禁忌症相对较多。安置心脏起搏器、假肢、人工髋关节的病人、疑有眼球异物的病人以及动脉瘤银夹结扎术后的病人都禁做MRI检查。装假牙的病人不能进行颌面水平MRI检查。放置宫内节育环者，如检查中出现不适应立刻停止检查。 n图像易受多种伪影干扰。MRI伪影主要来自患者的运动，金属异物以及设备三个方面。MRI图像的不足n中枢神经系统n对脊柱与椎管内病变有重要诊断意义n肌肉关节系统nfMRI功能成像研究脑功能n对肺、密质骨，如四肢长骨、胃肠道疾病不如CTMRI图像的应用2022-5-13241 Hz2 Hz3 Hz% 100755025Schlaug, et al, 1995, Harvard Medical School and Beth Israel HospitalfMRI应用n医用超声诊断仪是将声纳原理和雷达技术相结合生产的为临床应用的医疗仪器。n其基本原理是高频超声脉冲波辐射到生物作内，由生物体内不同界面反射出不同波形并形成图像从而判断生物体内是否有病变。超声图像（sonography ）n有高的软组织分辨力。组织只要有1的声阻抗差异，仪器就能检测出，并显示其反射回波。n具有高度的安全性。 当严格控制声强低于安全阈值时，超声可能成为一种无损伤的诊断技术n高速实时成像，可以观察运动的器官，并节省检查时间。 n使用简便，费用较低，用途广泛。超声图像优点n比如B超在清晰度、分辨率等方面，较弱。 nB超对肠道等空腔器官病变易漏诊。 n气体对超声影响很大，患者容易受到患者肠气干扰等多方面因素影响检查结果 n需要改变体位屏气等，对于骨折和不能配合病人不适用。检查结果也易受医师临床技能水平的影响。 n孕妇滥查B超可能易致胎儿畸形超声图像缺点n腹部B超可用于观察腹部组织器官，包括：肝脏，胆管，脾脏，胰腺，胆囊，主动脉，肾脏膀胱、前列腺等脏器。n广泛应用于乳腺检查、孕妇胎儿和甲状腺等检查超声图像应用n正电子发射断层扫描仪PET(Positron Emission Tomography)是当今最高层次的核医学技术，它也是当前医学界公认的最先进的大型医疗诊断成像设备之一。nPET显像主要是在分子水平上提供有关脏器及其病变的功能活动信息。PET图像nPET所用的示踪药物主要是18F-FDG短寿命正电子核素，它们是组成有机体组织的基本成分并能参与代谢过程。大多数疾病的生化变化先于解剖学的变化，并且PET 对于示踪剂浓度的灵敏度非常高，能高精度地定量地检测出代谢过程的非正常增加并给出清晰的图像（所谓热源成像）， 因此 PET 能提供很多疾病在发展过程中的早期信息，可以进行超前诊断，尤其适合于肿瘤的早期诊断PET特点nPET影像具有灵敏度高、特异性高、安全性好，可以全身成像等优势。nPET影像在临床中广泛应用于肿瘤诊断与研究、神经系统疾病诊断、心血管疾病的诊断和研究。PET优势及应用PET/CT2022-5-1332nPET/CT在临床主要应用于肿瘤、脑和心脏等领域重大疾病的早期发现和诊断。PET/CT应用nSPECT技术，即单光子发射计算机断层成像术是核医学的一种技术。nSPECT是对从病人体内发射的射线成像，故亦称发射型计算机断层成像术n与相比，二者不同的是射线的入射方式， SPECT接受的射线是由受检者体内发出来的，而是由射线从体外穿透人体到达接受器的。 SPECTnSPECT仪器是医院必备的常规检查设备，以检查无创、安全、简便、经济、实用等优点而被广大病人所接受，同时也为临床、科研、教学提供有力帮助而被医务人员所接受。 SPECT不同类型影像特点成像技术CTMRIPETSPECT优点1.成像速度快2.对骨组织敏感3.空间分辨率较高4.造价相对较低1.软组织成像效果好2.空间分辨率高3.对人体无危害4.扫描角度灵活5.无骨伪影1.对比度较高2.受体成像3.属于化学成像1.对比度较高2.价格较低缺点1.X射线对人体有危害2.对软组织成像较差3.骨的边缘在成像中易产生条状伪影4.成像角度不灵活1.对骨组织成像效果较差2.成像时间较CT长1.价格昂贵，必须配备回旋加速器2.分辨率较差1.分辨率低2.成像速度慢nDICOM（Digital Imaging and Communication in Medical）医疗设备的国际标准通讯协议n解决不同厂商的各种医疗设备的互连问题DICOM3医学图像数据分析方法基于人工智能的医学图像大数据分析流程n医学影像数据的收集是基于影像的计算机辅助诊断的基础。高质量的数据，是建立可靠的计算机辅助诊断系统的保障。计算机辅助诊断研究所用病例的影像数据主要来源于PACS系统、影像设备或其他研究团队提供的影像数据。医学图像采集n图像收集完成后，为了去除图像中干扰进一步分析的因素，提高系统的可靠性，一般计算机辅助诊断系统需要对输入数据进行预处理，包括矫正由于设备和检查环境所致图像灰度值的不均匀性、光线差异、降低图像噪声、降维等。数据预处理并非计算机辅助诊断系统的必要组成部分，但若不对数据进行预处理，不同数据间的差异将严重会影像计算机辅助诊断系统的性能。医学图像预处理1对比度拉伸2图像去噪3消除不同图像光线差异4医学图像预处理方法n医学图像成像过程中常常由于曝光不足或过度、图像记录设备动态范围太窄等因素，造成图像的对比度不足，图像的细节不容易分辨等问题。对比度拉伸nMatlab提供了实现图像线性拉伸的函数ng = imadjust(f,low_in high_in,low_out high_out)n其中，f为处理前的图像，g为处理后的图像。n函数的功能：将原图像f中low_in high_in之间的灰度映射到low_out high_out。小于low_in的值映射为low_out.，大于high_in的值映射为high_out。n注意：low_in，high_in，low_out， high_out取值范围为0,1。对比度拉伸Matlab实现【例14-1】对比度拉伸实例n对下图进行对比度拉伸，提高其对比度实现代码f=imread(mri1.tif);minA=max(f(:)/255; maxB=min(f(:)/255; g=imadjust(f,minA， maxB,0 1);原图运行结果【例14-2】图像标准化实例n下面图像为一幅DICOM格式的医学图像，其元素类型在Matlab中是int16, 将图像灰度标准化到【0，1】或【0-255】实现代码df=dicomread(CT-MONO2-16-ankle.dcm); df_double = im2double(df); df_gray = mat2gray(df_double); g=im2uint8(df_gray); n医学图像中因为成像设备或人体自身特点，经常包含各种类型的噪声。n图像去噪的方法很多，大题分为：空间域滤波和频率域滤波n空间域去噪：均值滤波、中值滤波等；n频率域去噪：低通滤波器、中通滤波器、高通滤波器等。图像去噪n用滤波器所确定的领域的中值作为图像的灰度值n以3*3滤波器为例中值滤波器实现207205208201202206198200212207205208201205206198200212从小到大排列，取中间值212208207206205202201200198n中值滤波在抑制图象随机脉冲噪声方面甚为有效。且运算速度快，可硬化，便于实时处理。中值滤波nB = medfilt2(A,m n)nB = medfilt2(A)nA:待处理的图像nm,n:滤波器的尺寸，n若省略，默认为3 3中值滤波Matlab实现I=imread(noiseSP_image.tif);J= medfilt2(I); imshow(I)figure,imshow(J)中值滤波Matlab实现I = im2double(imread(orig_chest_xray.tif);imshow(I);title(Original Image );LEN = 21;THETA = 11;PSF = fspecial(motion, LEN, THETA);blurred = imfilter(I, PSF, conv, circular);figure,imshow(blurred);title(Blurred Image);wnr1 = deconvwnr(blurred, PSF, 0);figure,imshow(wnr1);title(Restored Image);维纳滤波器去除运动噪声原始图像去噪后图像运动噪声污染图像n医学图像采集过程中因为采集环境变换，可能造成不同图像之间存在光线差异，会对后期图像分析造成困难。n直方图规定化也是一种消除不同图像之间光线差异的一种方法。直方图规定化是指转换一幅图像使其直方图与另一幅图像的直方图匹配或具有预先规定的形状直方图的一种图像处理方法。直方图规定化可以用于突出感兴趣的灰度范围，改善图像视觉效果，也可用于消除同一场景不同成像条件下光线不同造成的图像亮度差异。消除图像光线差异n直方图规定化是指转换一幅图像使其直方图与另一幅图像的直方图匹配或具有预先规定的形状直方图的一种图像处理方法。n直方图规定化可以用于突出感兴趣的灰度范围，改善图像视觉效果n直方图规定化可以消除同一场景不同成像条件下光线不同造成的图像亮度差异。消除图像光线差异n直方图规定化是指转换一幅图像使其直方图与另一幅图像的直方图匹配或具有预先规定的形状直方图的一种图像处理方法。n直方图规定化可以用于突出感兴趣的灰度范围，改善图像视觉效果n直方图规定化可以消除同一场景不同成像条件下光线不同造成的图像亮度差异。消除图像光线差异f1=imread(fig14_5.tif);f2=imread(fig14_5b.tif)counts,x=imhist(f2); g=histeq(f1,counts); Imshow(f1),figure,imshow(f2), figure,imshow(f1) figure,imshow(f2) figure,imshow(g) figure,imhist(f1),figure,imhist(f2) figure,imhist(g) 消除图像光线差异n在医学图像处理领域，图像分割是将感兴趣区域ROI，如特定的组织器官或者病灶从原始的2D或3D医学图像中分割出来n图像分割方便对感兴趣区域进行定量定性分析和处理分析，也为计算机辅助诊断奠定基础。n由于人体结构个体差异较大，加上许多组织器官或病灶区域边界模糊都为医学图像的分割带来了很大困难，因此图像分割是医学图像处理领域的重点和难点之一。医学图像分割技术n医学图像分割经历了一个从人工分割、半自动分割到自动分割的发展过程。医学图像分割方法n人工分割由经验丰富的临床医生根据临床经验在原始胶片或原始数字图像上用笔或鼠标勾画出感兴趣区域的边界轮廓。人工分割精度较高，但是费时费力，结果难以重现，而且分割的效果很大程度依赖于医生的经验。医学图像分割方法n半自动分割通过人机交互的形式完成图像分割的全过程，将计算机图像处理能力与专家的知识和经验相结合的一种分割方式。半自动分割方法与人工分割相比，分割速度较快，但分割效果仍然依赖于操作者的知识经验，一定程度上影响了半自动分割技术在临床上的推广应用。医学图像分割方法n自动分割是由计算机自动完成图像分割的全过程，彻底摆脱了人的参与。由于不需要人为参与分割过程，分割结果能很好再现，为计算机辅助诊断奠定基础。但自动分割往往算法复杂，运算量大，一直是图像分割算法研究的重点。医学图像分割方法n基于阈值的分割n基于区域的图像分割n基于分类器的分割n基于边缘检测的图像分割医学图像分割方法n阈值分割法是一种简单实用的图像分割技术，根据设定的阈值，将图像的象素分为若干类。基于阈值的分割n最常用的阈值确定方法是基于整体图像灰度直方图，如最大类间方差法(OTSU)、最小误差法、最大熵法等。nMatlab中，实现根据OTSU产生阈值的方法如下：nT= graythresh(I)；n其中：I:为原始图像,T为根据OTSU方法产生的阈值。基于阈值的分割nMatlab实现根据阈值进行图像分割的函数如下：nBW = imbinarize(I,T)n其中：I为待分割的图像。T：为阈值，T值可以省略，省略时阈值默认为OTSU方法确定的阈值。BW为分割结果，分割后图像为二值图像，0，1分别对应目标和背景。基于阈值的分割nMatlab实现根据阈值进行图像分割的函数如下：nBW = imbinarize(I,T)n其中：I为待分割的图像。T：为阈值，T值可以省略，省略时阈值默认为OTSU方法确定的阈值。BW为分割结果，分割后图像为二值图像，0，1分别对应目标和背景。基于阈值的图像分割nf=imread(blood1.jpg); nTheshold = graythresh(f); nImage_BW = imbinarize(f,Theshold);nimshowpair(f,BW,montage) 【例14-6】 根据阈值进行图像分割应用实例nf=imread(shaded_text_image).tif);nBW = imbinarize(f, adaptive, ForegroundPolarity,dark,Sensitivity,0.4);nfigure,imshow(BW)【例14-7】 根据自适应阈值进行图像分割应用实例n基于区域的图像分割常用的有两种方法：区域生长和区域分裂。基于区域的图像分割n区域生长基本思想是将具有相似性质的像素连接起来构成区域。n步骤是：首先对每个需要分割的区域设定一个种子像素作为生长的起点，然后将种子像素周围邻域中与种子像素有相同或相似性质的像素合并到种子像素所在的区域中。将这些新像素当作新的种子像素继续进行上面的过程，直到再没有满足条件的像素可被包括进来，这样一个区域就长成了。基于区域生长的图像分割n区域生长需要选择一组能正确代表各个区域的种子像素，确定生长过程的相似性准则，制定生长停止的条件或准则。相似性准则可以依据灰度级、彩色、纹理、梯度等特性。选取的种子像素可以是单个像素，也可以是包含若干个像素的小区域。大多区域生长准则使用图像的局部性质，根据不同原则制定，不同的生长准则会影响区域生长的过程。基于区域的图像分割n区域生长法的优点是计算简单，对于较均匀的连通目标有较好的分割效果。它的缺点是需要人为确定种子点，对噪声敏感，可能导致区域内有空洞。另外，它是一种串行算法，当目标较大时，分割速度较慢，因此在设计算法时，要尽量提高效率。基于区域的图像分割n区域分裂合并差不多是区域生长的逆过程：从整个图像出发，不断分裂得到各个子区域，然后再把目标区域合并，实现目标提取。分裂合并法的关键是分裂合并准则的设计。这种方法对复杂图像的分割效果较好，但算法较复杂，计算量大，分裂还可能破坏区域的边界。基于区域的图像分割n图像分割是将感兴趣的区域从图像其余的内容中区分出来，其实也可以看作是对图像中的像素或区域进行分类的过程。n图像分割可以采用分类算法来实现。基于分类器的图像分割n在监督式分类算法中，训练数据有一个明确的标识或结果，同样在基于监督的分割方法中训练图像应该包含每个像素或子区域和对应的分割结果（感兴趣区域、背景区域）。n常见的用于分割的监督分类算法有：贝叶斯算法、支持向量机、随机森林、神经网络算法等。监督学习分割效果好，但是需要提前进行手动分割，费时费力。基于分类器的图像分割n非监督学习的训练不需要知道训练样本的标签n常见的算法有：k均值、模糊C均值、EM算法、分层聚类算法等。n聚类算法不需要为训练数据提供标签，但是需要一个初始化参数，初始化参数对分割结果影响较大。聚类算法也没考虑到空间关联信息，因此对噪声和灰度不均和比较敏感。基于分类器的图像分割n基于边界的分割方法是人们研究最早的分割方法，目前已出现了很多边缘检测的算法。n基于边界检测的分割算法基于区域边缘上的像素灰度值变化较大，通过检测相邻像素的突变来获取区域的边界，从而来解决图像分割问题。基于边缘的图像分割n经典的边缘检测方法采用微分算子来检测图像边缘。n常用的一阶导数算子有：梯度算子、Robert算子、Sobel算子和Prewitt算子等；二阶导数算子有Laplacian算子、Kirsch算子等非线性算子。基于边缘的图像分割n由于图像中往往含有噪声，而边缘和噪声都表现为像素和周围像素之间比较大的灰度变化，在频率域都则表现为高频分量，因此在噪声较大的图像上进行边缘检测会产生一些伪边缘，这就给边缘检测带来了困难。这种现象在超声图像中显得尤为突出。n另外，基于边缘的分割方法得到的图像边界往往是不连续的，需要通过后处理连接成闭合边界。n为了减少噪声对分割结果的影响，通常在边缘提取以前通过滤波对图像进行去噪处理。基于边缘的图像分割【例14-8】Matlab图像分割工具介绍【例14-8】Matlab图像分割工具介绍n目前描述图像的比较有效的特征有：图像的颜色、纹理、形状和轮廓边缘等。医学图像大数据特征提取技术n颜色特征是图像中最直观的特征之一。n医学图像的不同组织器官存在灰度的差异，灰度特征是医学图像最基本、最简单的特征。n临床医生根据医学影像诊断疾病时，会参考图像中灰度值的高低和灰度在图像中分布状态。n图像的颜色特征分布具有稳定性，对大小、方向不敏感。n常用的颜色特征有颜色直方图、颜色距、颜色聚合向量、颜色相关图等，还可以用信息学的熵和统计学的各种统计参数描述感兴趣区域的颜色分布。图像颜色特征n纹理特征是图像中相对比较复杂的特征。医学图像中纹理特征具有很好的诊断价值，很多疾病都是依据纹理进行诊断的。n常用的图像纹理特征有基于空间域的纹理特征和基于变换域的纹理特征。图像纹理特征n基于空间域的纹理特征提取方法是基于像素及其邻域像素的灰度，像素与邻域像素灰度的一阶 、二阶或高阶的统计特征来描述图像的纹理特性。n常用的基于空间域的纹理特征有灰度共生矩阵、灰度行程矩阵、灰度差分矩阵、交叉对角矩阵和灰度梯度矩阵等；图像纹理特征n基于变换域/频率域的纹理提取方法是建立在时频分析与多尺度分析基础之上提取的纹理特征。n基于变换域的纹理特征提取方法主要包括：区域能量、小波变换、Gabor滤波器、傅里叶变换和离散余弦变换等；除此以外还可以用基于随机场的马尔可夫模型或基于分型的分型维来描述纹理特征。图像纹理特征nGraycomatrix是计算图像的灰度共生矩阵的函数n函数graycoprops可以计算共生矩阵的几个统计属性：Contrast、 Correlation、Energy和Homogeneity。【例14-9】Matlab图像纹理特征提取案例nI = imread(cell.tif); nimshow(I) nglcms = graycomatrix(I); nstats = graycoprops(glcms) 【例14-9】Matlab图像纹理特征提取案例n形状特征是空间实体所固有的特征, 不易受到其他因素的影响。n疾病类型不同或者同种疾病的不同发展阶段，病灶在形状上会有不同。n医学图像中疾病所表现的形状、大小、边缘是疾病诊断的重要依据，可提高疾病识别的速度和准确性。图像的形状特征n边界特征法。n傅里叶形状描述符法。n几何参数法。典型图像的形状特征描述方法【例14-10】Matlab图像形状特征提取案例n常用的机器学习方法有贝叶斯分类器、线性分类器、支持向量机、聚类算法、决策树学习、随机森林、人工神经网络、深度学习和集成算法等算法。医学图像大数据智能诊断技术分类器实现APP介绍分类器实现APPTHANKS本讲结束高等教育出版社
