基于双光源的舌质舌苔分离方法研究-王学民.pdf

《基于双光源的舌质舌苔分离方法研究-王学民.pdf》由会员分享，可在线阅读，更多相关《基于双光源的舌质舌苔分离方法研究-王学民.pdf（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第14卷第6期2016年11月纳米技术与精密工程Nanotechnology and Precision Engineering Vol.14 No.6Nov. 2016 DOI 10 13494/ j. npe.20150098王学民,吕元婷,王瑞云,等.基于双光源的舌质舌苔分离方法研究J.纳米技术与精密工程,2016,14(6): 434-439.Wang Xuemin, L Yuanting, Wang Ruiyun, et al. Research on separation method of tongue body and coating based on double light

2、 sourcesJ. Nanotechnolo-gy and Precision Engineering, 2016, 14(6): 434-439 (in Chinese).基于双光源的舌质舌苔分离方法研究王学民1,2,吕元婷1,王瑞云1,陆小佐3,周鹏1,2(1.天津大学精密仪器与光电子工程学院,天津300072; 2.天津市生物医学检测技术与仪器重点实验室,天津300072;3.天津中医药大学中医工程学院,天津300193)摘要:中医舌诊客观化研究中,舌质舌苔分离是后续实现舌象自动诊断的关键,然而舌质舌苔复杂多样,现有的分离方法多基于颜色差异,适应性不高,尤其是在苔薄厚交错、黄白苔交错等

3、情况下分离效果不理想.针对上述问题,本文设计开发了一种基于双光源的舌质舌苔分离系统,研究了白、绿光源对舌质舌苔分离效果的影响,针对纯绿色光源和标准白色光源下舌图像的色彩特点,分别采用自动和人机交互的初始轮廓提取方法进行Snakes算法分割、互信息理论配准以及聚类法分类,从而实现最终的舌质舌苔分离,结果表明纯绿光图像分离效果明显更好,为中医舌诊处理方法提供了新思路.关键词:纯绿光LED;舌质舌苔分离;图像分割;图像配准中图分类号: R318.5 文献标志码: A 文章编号: 1672-6030(2016)06-0434-06收稿日期: 2016-03-25.基金项目:国家“十二五”支撑计划资助项

4、目(2012BAI25B05).作者简介:王学民(1961 ),男,博士,副教授.通讯作者:周鹏,副教授,zpzp tju. edu. cn.Research on Separation Method of Tongue Body andCoating Based on Double Light SourcesWang Xuemin1,2, L Yuanting1, Wang Ruiyun1, Lu Xiaozuo3, Zhou Peng1,2(1. School of Precision Instruments and Opto-Electronics Engineering, Tianji

5、n University, Tianjin 300072, China;2. Tianjin Key Laboratory of Biomedical Detecting Techniques and Instruments, Tianjin 300072, China;3. College of Traditional Chinese Medicine, Tianjin University of Traditional Chinese Medicine, Tianjin 300193, China)Abstract: Separation of tongue body and coatin

6、g is the key to realizing automatic diagnosis in tongue in-spection. However, tongue body and coating are complex, and most existing separation methods, whichare based on difference in color, cannot applicable in various situations. For example, staggered thickand thin coating or yellow and white co

7、ating cannot be well separated with these methods. Regarding thisproblem, this paper designs and develops a system to separate tongue body and coating based on doublelight sources. The influence of white light and pure green light on the separation of tongue body and coat-ing is investigated. Consid

8、ering the color features of tongue images under white light or pure green light,the tongue images are segmented by Snakes algorithm with different initial contour extraction methods, in-cluding automatic algorithm and artificial interaction algorithm. Mutual information theory for image regis-tratio

9、n and clustering method for classification are adopted to separate tongue body and coating. Resultsshow that the separation result of pure green light image is preferable to that of the white light image, pro-viding new reference for tongue inspection method in traditional Chinese medicine.万方数据 2016

10、年11月王学民等:基于双光源的舌质舌苔分离方法研究 435 Keywords: pure green LED; separation of tongue body and coating; image segmentation; image registra-tion中医望舌诊病时常常需要观察舌苔在舌上的分布情况,所以舌质舌苔分离成为中医舌诊客观化研究中必不可少的一步,其结果的好坏严重影响着舌色、苔色以及苔厚薄等特征的识别.舌质舌苔最大的区别在于颜色,两者色域基本无叠加,现有大部分研究方法都是基于该特点而实现的,使用较多的有聚类法、阈值法等.杜建强等1根据舌象的特点,利用HIS空间色度直方图自

11、动确定舌色分类数和初始聚类中心,并用模糊聚类算法完成舌质舌苔分离,其结果能较好地反映舌苔的分布情况. Wei等2统计并分析每个像素点的RGB值从而选择一个合适的阈值区间,然后用最大类间方差法Otsu对舌质舌苔进行分离.但舌质舌苔的组合形式丰富,常有舌质舌苔交错分布的现象,使得分离方法鲁棒性不高.多数分离方法在舌苔薄而见底、厚薄苔交错或黄白苔交错等情况下分离效果不理想.为解决舌质舌苔分离算法存在的上述问题,本文结合物体显色原理以及光的三原色原理,提出一种基于双光源的舌质舌苔分离方法,对白光和绿光舌象分别利用Snakes算法和人工交互的方式进行自动与半自动分割,再利用基于互信息的图像配准方法使分割

12、得到的两个舌体图像各部分基本对齐,最后对配准后的白、绿光舌体图像应用相同的K均值聚类(K-means)算法进行舌质舌苔分离,并将两者分离结果进行比较.1理论方法1 1舌象分割 Snakes算法Snakes动态轮廓模型以其在鲁棒性、精确度、实用性等方面的优势以及非常适合分割闭合物体的特点,在舌象分割上得到了广泛应用.因此,本文采用Snakes算法实现两种光源下不同舌图像的分割.Snakes模型的基本思想很简单,它以构成一定形状的一些控制点为模板(轮廓线),通过模板自身的弹性形变,与图像局部特征相匹配达到调和,即某种能量函数极小化,完成对图像的分割.该算法的关键问题是外部能量的选取和初始轮廓的确定

13、,并且传统Snakes算法要求初始轮廓位于感兴趣特征轮廓的外侧3-4.1 2图像配准目前图像配准方法可分为3类:基于灰度信息的配准方法、基于变换域的配准方法和基于图像特征的配准方法5.由于每个人舌体差异较大,相同的特征不好确定,所以本研究采用基于灰度的配准方法.基于灰度的图像配准方法主要包含定义相似性测度、寻找搜索空间、确定搜索策略3个步骤.1 2 1相似性测度互信息(mutual information)6用来测量两个随机变量间的统计相关性.当两幅图像达到最佳配准时,它们对应像素的灰度互信息量也应达到最大.两个图像f、g间的互信息,以直方图的方法计算可以表示为I(f,g) =N -1i =0

14、 N -1j =0Pf,g(i,j)log2 Pf,g(i,j)Pf(i)Pg(j)(1)式中:Pf(i)和Pg(j)表示边缘概率分布;Pf,g(i,j)表示联合概率分布;N为图像的最大灰度等级.由于该测度对两幅图像中的重叠区域比较敏感,所以本文采用归一化互信息(normalized mutual infor-mation,NMI)作为图像配准的相似性测度,其表达式为7NMI(f,g) = H(f) + H(g)H(f,g) (2)式中:H(f)和H(g)分别为图像f和图像g的熵;H(f,g)为它们的联合熵.1 2 2搜索空间搜索空间即空间变换模型,是配准技术中需要考虑的重要因素,其类型的选取

15、与图像的变形特性有关.通常正常人舌体伸出以每秒约10 20次的频率颤动.而本研究采用Canon 600D相机,其连拍速度为3 7张/ s(即拍摄一张所需时间为0 27 s),间隔时间较短,得到的两张舌图像舌体差异不大.所以最终选择仿射变换8(旋转、平移、缩放、错切)作为搜索空间.1 2 3搜索策略基于互信息的配准方法是寻找两幅图像的互信息达到最大时它们之间的最佳变化参数,这是一个最优化的过程. Powell算法9是典型的最优化算法,无需计算导数、形式简单、搜索速度快,有较强的寻优能力.本研究选用Powell算法作为搜索策略.1 3舌质舌苔分离 K-means算法聚类算法是自适应的迭代算法,许多

16、学者将其应用到舌质舌苔的分离中.郭宙等10验证了标准光源下拍摄的舌象在CIE LAB色彩空间A分量上应用K-means算法对舌质舌苔进行分离的效果较稳定,在舌诊中有一定的实用价值.K-means是无监督分类中的一种基本方法,其基万方数据 436 纳米技术与精密工程第14卷第6期本思想是:通过迭代的方法,逐次更新各聚类中心的值,直至得到最好的聚类结果.2实验设计2 1采集系统设计舌象采集系统的照明光源不仅需要满足标准光源色温和显色指数的要求,还需要有近似真实日光的光谱功率分布,即包括紫外辐射和可见光谱辐射,以得到色彩还原度高的彩色舌图像. LED光源响应快,但RGB LED光源(白色光源)缺少黄

17、色光谱,对黄色的显色能力差,会影响黄苔显示时的色彩真实度.大多数荧光灯是连续光谱,在发出的冷光中包含一些紫外光,满足照明光源包含紫外辐射和可见光谱辐射的要求,所以本文选用2个40 W和2个22 W的类D50环形荧光灯作为照明光源,参数如表1所示,满足人工光源模拟自然光的标准.表1类D50光源参数Tab.1 Parameters of approximate D50 light source光源类型色温/ K显色指数照度/ Lx类D50环形荧光灯5 624 90 5 355自然光5 400 100 中医舌诊多在白天充足柔和的自然光线下进行,为了避免外界环境干扰,使白光下采集的舌图像更接近人舌体的

18、真实色彩,本研究的采集设备采用暗箱结构,内部采用积分球结构11,使光照均匀,减少反光点.相机参数设定如表2所示.光源转换时间间隔设置为0 2 s.经由中医专家观察,此时的白光舌象色彩还原度最高.表2 Canon 600D相机参数设定Tab.2 Parameters setup of camera Canon 600D感光度ISO光圈值快门速度/ s连拍速度/ (张 s -1)100 f/5 6 1/200 3 7舌是不透明物体,其颜色由它反射的色光决定.从舌质舌苔颜色以及物体显色原理、光的三原色推断得出舌质舌苔对绿光的反射程度不同,舌苔比舌质反射更多的绿光,所以选择绿色光源作为照明光源,采集的

19、舌象用于舌质舌苔分离.同时在舌象采集过程中,为了实现在尽可能短的时间内拍摄两张照片,以保证两张照片中被试者的舌体差异较小,需要光源的转换足够快,因此选择响应时间短的LED型光源.同时LED光源还具有光谱为单波峰,半峰宽(full width at half max-imum,FWHM)较窄,单色性较好等优点.本文选用相同个数的660 nm红光LED、525 nm绿光LED、450 nm蓝光LED进行照明,在相同的相机参数以及环境条件下,采集了5名学生的舌图像,并对图像舌质舌苔部分的对比度进行计算.在CIE LAB色彩空间,采用色差来评价对比度,色差值越大,对比度越强.本文选取中医师划定的舌质、

20、舌苔部分10 10的像素点均值进行色差计算,计算公式如下:E(x,y) = (Lx - Ly)2 + (Ax - Ay)2 +(Bx - By)212 (3)式中:E为色差;(Lx,Ax,Bx)与(Ly,Ay,By)分别表示舌苔、舌质在CIE LAB空间中的颜色值.5名学生舌图像中舌质与舌苔的对比度结果如图1所示,与蓝光、红光图像相比,绿光图像对比度更强,从而证实了本文基于舌质舌苔颜色以及物体显色原理、光的三基色原理得出的绿色光源照明实现舌质舌苔分离方法的可行性.下面通过选择合适的绿光照度、相机参数来完善采集系统,并应用图像处理的方法进一步验证绿光下舌质舌苔分离效果比白光下更好.图1红、绿、蓝

21、3种色光下舌图像对比度的比较Fig.1 Comparison of tongue images contrast under red,green and blue colored lights在实验过程中发现,不同个数LED光源照射下纯绿光舌象舌质舌苔部分的对比度存在较大差异,并且祝振敏等12曾就光源照度对颜色对比度的影响做了研究,证实了照度过高或过低都会使分辨力减弱.因此,本文先研究了LED个数与照度之间的关系,结果如图2所示,将LED个数与照度值之间的关系曲线做线性拟合,拟合公式为y = -345 1 +128 7x,R-Square值为0 990 06,Pearson检验值为0 995

22、73,拟合效果良好,验证了LED个数与照度值之间呈线性关系,因此可用LED个数表征照度值.据观察,LED光源的个数少于11个或大于18个万方数据 2016年11月王学民等:基于双光源的舌质舌苔分离方法研究 437 图2纯绿光LED个数与照度值的拟合Fig.2 Fitting curve of the number of pure green LEDsand illumination values时,图像舌质舌苔部分的对比度明显较差,所以本文利用式(3)对11 18个纯绿光LED下舌象的对比度进行计算.图3显示了个数不同的纯绿光LED照明时,采集的舌象中舌质舌苔部分色差的变化情况,可明显看出在1

23、5个纯绿光LED照明时色差值最大,既舌质舌苔对比度最明显.所以本研究最终选择15个纯绿光LED作为照明光源,该光源的性能参数如表3所示.两种光源总是类D50光源先亮、纯绿光后亮,以排除因荧光灯管响应时间长,照度、色温不稳定等因素可能带来的舌象颜色偏差.图3纯绿光LED个数与舌象对比度的关系Fig. 3 Relationship between the number of pure greenLEDs and tongue image contrast表3纯绿光LED光源参数Tab.3 Pure green LED parameters波长/ nm光通量/ LM 15个LED灯照度/ Lx520

24、 530 70 80 1 6052 2实验方法2 2 1舌体分割本研究对白光舌图像采用全自动分割方法,选取HSV色彩空间H通道的色彩梯度为外部能量;通过对白光舌象进行色彩空间转换、H通道与V通道二值化、找凸包、内轮廓填充、腐蚀膨胀、找嘴角暗区、去除暗区以上干扰等预处理,确定初始轮廓,然后用Snakes算法进行舌体分割13.绿光图像颜色单一,舌部与其他部分色差小,所以采取半自动分割方法.利用人机交互,手动标记10个以上轮廓点,构成封闭曲线,并以此为初始轮廓运用Snakes算法分割舌体.绿光舌象分割前先对灰度图像进行直方图均衡化,一方面增大舌体边缘梯度,有利于Snakes算法收敛到最优轮廓,另一方

25、面增加舌质舌苔的对比度,有利于后续的舌质舌苔分离.2 2 2图像配准图像配准过程如下:(1)利用高斯低通滤波器对直方图均衡化后的白光、绿光舌体图像进行平滑处理,减少舌体内部的特征差异,改善互信息曲面,一定程度上提高了配准精度;(2)利用灰度直方图计算两幅舌体图像的互信息量,并用Powell迭代算法寻优,确定互信息量最大时两幅图像之间的最优变化参数;(3)将该参数带入仿射变换矩阵,并对绿光舌体图像进行空间域仿射变化;(4)用PV插值算法进行重采样,为配准后的绿光舌体图像中的像素点赋值;(5)计算配准后两幅图像的归一化互信息量,作为相似性的度量.Powell方法寻优时,要求互信息量在搜索区间上是单

26、谷函数.由于分割裁剪后图像大小为660 660,舌体差异不大,可以认为图像在任意方向上变化50个像素的步长总能达到重叠的最好效果,因此搜索区间设置在 -50,50.2 2 3舌质舌苔分离本研究采用K-means算法对白光、绿光下两幅舌体图像进行舌质舌苔分离.类数K =2,手动选取初始聚类中心.绿光舌象舌质舌苔分离处理时,可直接对配准后的舌体进行聚类分离;而白光舌象处理时,需要先转换到CIE LAB空间,提取A通道并进行直方图均衡化,之后再进行聚类分离. A通道正为红,负为绿,所以白光舌象的聚类结果中类中心值较小的一类为舌苔;绿光舌象中舌苔灰度值大,所以绿光舌象聚类结果中类中心值较大的一类为舌苔

27、.考虑到可能存在无苔和舌体布满舌苔的情况,所以需要计算舌苔的检出率P,即舌苔像素点数与舌体所有像素点数的比值.当P值小于15%时,认为此时舌象是无苔的情况,将舌象上所有像素点归类为舌质;当P值大于85%时,认为此时舌象是舌体布满舌苔的情况,将舌象上所有像素点万方数据 438 纳米技术与精密工程第14卷第6期归类为舌质.3实验结果与分析采集本校30名学生的舌图像,运用本研究方法进行舌质舌苔分离,结合中医师评价,合格率在89 73% .选择其中3组典型舌图像(分别为厚苔、黄白苔交错、厚薄苔交错的情况),分步显示处理结果并对最后分离结果进行比较.从图4中可以看到舌体边缘存在明显错位,而图5中错位部分

28、减少.并且从图6配准前后归一化互信息的对比图中也可以看出互信息量增大,进一步说明本研究所采用的配准方法是有效的.图4配准前白、绿光图像叠加伪彩色图像Fig.4 Pseudo-color map of white and green image addi-tion before registration图5配准后白、绿光图像叠加伪彩色图像Fig.5 Pseudo-color map of white and green image addi-tion after registration图6配准前后归一化互信息量比较Fig.6 Contrast of NMI before and after r

29、egistration用本研究的方法进行舌质舌苔分离,并将得到的舌苔位置信息对应显示在白光舌体图像上.从图7 图9可以看出:在厚苔的情况下,白光舌象的分离效果整体不错,只是在舌尖部点刺密集时分离效果不好;在黄白苔交错的情况下,白光舌象只能分离出黄苔部分,而绿光舌象将白苔、黄苔部分同时分离出来,且保留了很多点刺信息;在厚薄苔交错的情况下,白光舌象只分离出舌根厚苔的部分,而绿光舌象中舌边缘以及舌前部苔较薄的地方都被分离出来.图7白光舌体图像Fig. 7 Segmentation results of tongue images underwhite light图8白光下舌质舌苔分离效果Fig.8

30、Separation results of tongue body and coating un-der white light图9绿光下舌质舌苔分离效果Fig.9 Separation results of tongue body and coating un-der green light4结语本文提出了基于双光源的舌质舌苔分离方法,通过比较30例舌体的白、绿光图像的分离效果,结果表明本研究提出的分离方法能够更好地解决现有舌质舌苔分离方法中存在的问题,在一些复杂舌苔交错的情万方数据 2016年11月王学民等:基于双光源的舌质舌苔分离方法研究 439 况下,也能取得较好的分离效果.需要注意的

31、是绿光图像是在灰度图像上进行的分离,分离时会受光照影响,有些图像舌根部的分离效果不理想.后续研究可进一步尝试结合A通道或者其他色彩空间进行舌质舌苔分离,从而解决舌根部分离效果不理想的问题.参考文献:1杜建强,卢炎生.一种中医舌象的舌质舌苔分离方法J.计算机应用研究, 2009, 26(7): 2762-2764.Du Jianqiang, Lu Yansheng. Separation algorithm of tonguebody and tongue coatingJ. Application Research of Com-puters, 2009, 26(7): 2762-2764(i

32、n Chinese).2 Wei C C, Wang C H, Huang S W. Using threshold methodto separate the edge, coating and body of tongue in automatictongue diagnosisC / /2010 6th International Conference onNetworked Computing and Advanced Information Management(NCM). Seoul, South Korea, 2010: 653-656.3 Kass M, Withkinm A,

33、 Terzopoulos D. Snakes: Active con-tour modelsJ. International Journal of Computer Vision,1988, 1(4): 321-331.4 Shan Hao, Ma Jianwei. Curvelet-based geodesic Snakes forimage segmentation with multiple objectsJ. Pattern Recog-nition Letters, 2010, 31(5): 355-360.5 Deshmukh M P, Bhosle U. A survey of

34、image registrationJ. International Journal of Image Processing, 2011, 5(3): 245-269.6 Zhuang X, Arridge S, Hawkes D J, et al. A nonrigid regis-tration framework using spatially encoded mutual informationand free-form deformationsJ. IEEE Transactions on ImageProcessing, 2011, 30(10): 1819-1828.7 Pu H

35、, Xie M, Yan B. A method in medical image registra-tion based on normalized mutual information C / /2011IEEE 3rd International Conference on Communication Soft-ware and Networks (ICCSN). Xian, China, 2011: 342-346.8 Flusser J, Zitov B. A comment on “A novel approach forthe registration of weak affin

36、e images”J. Pattern Recogni-tion Letters, 2013, 34(12): 1381-1385.9 Gao Weifeng, Liu Sanyang, Huang Lingling. A novel artifi-cial bee colony algorithm with Powells methodJ. AppliedSoft Computing, 2013, 13(9): 3763-3775.10郭宙,杨学智,司银楚,等.基于K-均值聚类的常用色彩空间舌质舌苔分割研究J.北京中医药大学学报,2009(12): 819-821.Guo Zhou, Yan

37、g Xuezhi, Si Yinchu, et al. Segmentation oftongue body and fur based on common color spaces of K-means clusteringJ. Journal of Beijing University of Tradi-tional Chinese Medicine, 2009(12): 819-821(in Chinese).11朱穆朗玛,燕海霞,钱鹏,等.基于图像信息采集的中医舌诊仪器硬件设计研究进展J.世界科学技术-中医药现代化, 2014, 16(2): 433-437.Zhu Mulangma,

38、 Yan Haixia, Qian Peng, et al. Study pro-gress on designs of acquisition instrument with image captu-ring in tongue inspectionJ. World Science and Technology-Modernization of Traditional Chinese Medicine, 2014, 16(2): 433-437(in Chinese).12祝振敏,张永贤,金小龙,等.光源光强对颜色对比度的影响研究J.华东交通大学学报, 2013, 30(1): 1-4.Zh

39、u Zhenmin, Zhang Yongxian, Jin Xiaolong, et al. Effectsof illumination intensity on color contrastJ. Journal ofEast China Jiaotong University, 2013, 30(1): 1-4 (in Chi-nese).13 Zhai Xueming, Lu Hangdong, Zhang Lizhong. Applicationof image segmentation technique in tongue diagnosisC / /2009 International Forum on Information Technology and Ap-plications(IFITA). Chengdu, China,2009: 768-771.(责任编辑:何静菁)万方数据