（本科）第6章数据降维ppt课件.pptx

《（本科）第6章数据降维ppt课件.pptx》由会员分享，可在线阅读，更多相关《（本科）第6章数据降维ppt课件.pptx（52页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、课程主讲人：第6章数据降维医学大数据分析数据降维高等教育出版社CONTENTS目 录1数据降维简介2主成分分析方法3Lasso算法4思考题1数据降维简介 数据降维（Dimension Reduction）就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数f : x-y，其中x是原始数据点的表达，也是目前最常用的向量表达形式。y是数据点映射后的低维向量表达，通常y的维度小于x的维度。f可能是显式的或隐式的、线性的或非线性的。数据降维的概念监督学习中的训练数据降维图像处理的特征降维数据降维的优点在监督学习中，当训练数据的维数很多时候，很容易引起过拟合的

2、问题，因为数据维度高意味着模型的变量多，也就是所用模型的复杂度很高。这种情况下使用数据降维对训练数据的自变量进行降维能有效解决过拟合问题，还能使模型的工程实现难度降低，更容易得到正确的参数估计值；并且有效地消除随机噪声因素的影响，更好地抓住数据的主要特征。图像处理常常涉及很高维的数据，比如对于一个长边有m个像素点，宽边有n个像素点的图片，表示它的向量为m*n维。处理这种高维数据是很困难的，因此我们常常使用数据降维的方法减少图像特征，使图像信息浓缩到较低维度的向量。数据降维的直观好处是降低维度，便于计算和可视化，其更深层次的意义在于提取有效信息，摒弃无用信息。数据降维的应用主成分分析法主成分分析

3、法（Principal Component Analysis，PCA）是一种有效的常用数据降维方法，主要用在指标综合评价、减少特征数量等方面。Lasso方法Lasso(Least absolute shrinkage and selection operator)是1996年由多伦多大学Robert Tibshirani提出的，是另一种数据降维方法，该方法不仅适用于线性情况，也适用于非线性情况。数据降维主要有以下两种方法数据降维的方法2主成分分析方法 主成分分析主要用在指标综合评价、减少特征数量等方面，例如证券投资、医院综合评价、经济评价、教学质量评价、财务管理与分析等众多领域。主成分分析在医

4、学领域有不少应用，例如臧书芹将PCA应用于直肠癌新辅助放射化学治疗效果磁共振影像，共提取到1409个组学特征，采用PCA法进行特征值降维，将影像组学特征重新组合为新的特征，选取前5个最能代表整个影像组学特征矩阵的特征。王琪如将PCA用百岁老人健康状况综合评价的37项生化指标进行降维后得到8个综合指标。主成分分析主要应用领域基本原理主成分分析的定义主成分分析是设法将原来变量重新组合成一组新的互相无关的几个综合变量，同时根据实际需要从中取出几个较少的综合变量尽可能多地反映原来变量信息的方法。主成分分析的R语言实现在R语言中实现主成分分析可使用princomp()函数。主成分分析的优缺点主成分分析的

5、优点是可以提取数据的主要信息，并且其误差最小。缺点是主成分分析将所有的样本（特征向量集合）作为一个整体对待，去寻找一个均方误差最小意义下的最优线性映射投影，而忽略了类别属性，而它所忽略的投影方向有可能刚好包含了重要的可分性信息。主成分分析的步骤主成分分析的步骤包括对各原始数据进行标准化，再求出相关矩阵，接着求出相关矩阵的特征值和特征值所对应的特征向量，最后提取主成分并获得主成分的表达式。01020304主成分分析基本原理不同指标在类型、量纲和数量级上存在差别，因此需要对数据进行标准化处理，通过适当的变化，转换为无量纲的标准化指标。对原始数据进行标准化处理主成分分析步骤01计算样本相关系数矩阵主

6、成分分析步骤02主成分分析步骤03计算主成分贡献率及累计贡献率主成分分析步骤04计算主成分得分主成分分析步骤05在R语言中实现主成分分析可使用princomp()函数，其格式有两种：格式一： princomp(formula, data = NULL, subset, na.action, .) 格式二：princomp(x,cor = FALSE, scores = TRUE, covmat = NULL, subset = rep(TRUE,nrow(as.matrix(x), .) 上述函数中，cor默认值为FALSE，表示指示计算应该使用相关矩阵，如果cor =TRUE，表示计算应该使

7、用协方差矩阵；scores默认为TRUE，指示是否计算每个主成分上的分数。princomp ()函数的返回值参数包括sdev为标准差、loadings为特征向量矩阵、scores为每个主成分上的分数。主成分分析的R语言实现应用场景主成分分析应用实例为了研究全国各地区医疗发展状况，以31个地区为主要研究对象，选取10个指标，运用主成分分析，根据结果对全国各区域医疗水平状况作出分析与评价。研究数据来自2019中国卫生健康统计年鉴：X1：医疗卫生机构数（个） x2：三级医院数（个）x3：卫生人员数（人）X4：每千人口卫生技术人员数（人）x5：医院人员数（人）X6：医疗卫生机构床位数（张）x7：每千人

8、口医疗卫生机构床位（张）X8：卫生总费用（亿元）x9：人均卫生总费用（元）x10：基本医疗保险参保人数（万人）主成分分析应用实例地区地区X1X2X3X4X5X6X7X8X9X10北京北京10058102326102122267371236265.742193.810106.41771天津天津5686431325256.790765682474.37864.745554.361089河北河北85088716239746.13657724219165.582197.12921.866883山西山西42079573308916.61976922083055.61087.742938.243215内蒙

9、古内蒙古24610802414247.41482811590066.271010.413995.952162辽宁辽宁3602913439191972672343144407.211605.713675.322278吉林吉林22691512414246.81477981669946.181007.533707.671381黑龙江黑龙江20349962996366.11954332501296.631342.253542.762893上海上海5293472382258.11598111390295.742087.098630.31840江苏江苏332541617393147.34425904915

10、226.113691.214597.187619浙江浙江327541345893578.53761273320865.792826.044995.655252安徽安徽24925684269565.32651333281235.191812.242897.372108福建福建27590773185036.31825731924734.881407.523598.893769江西江西36545693258475.31790902494905.371256.222717.894762山东山东814701819613607.45534396084596.063570.823568.749296河南河南

11、71351948631676.54093616085196.342747.672874.4310411湖北湖北364861305219306.93008843935146.652174.453698.895622湖南湖南56239795578086.33283284824396.992147.283130.086906广东广东514512069183966.75527245169294.564619.234135.7610365广西广西33742774203606.52162012559405.21392.982851.555173海南海南532522813876.848091448004.8

12、369.493991.16420重庆重庆20524482727946.71666372201047.11179.673836.113249四川四川815372007463226.74382025988987.183055.643680.67715贵州贵州28066583233816.81907932456396.821044.072916.381001云南云南24954693897706.22308632911946.031511.853149.364464西藏西藏684412368065.515950167874.88139.284131.0470陕西陕西35300644108968.525

13、83662537116.571538.054010.091251甘肃甘肃278973720704561127961627376.17812.73095.172512青海青海639620593697.437119391466.49270.084513.492512宁夏宁夏445013657647.743680410055.96298.864383.5618新疆新疆18450482271367.11462781788817.191088.834453.891040从原始表格可以看出，每一列数的单位是不统一的，因此需要对它作标准化处理，才能原始进行主成分分析。读入原始数据并对数据进行标准化将原始数据

14、读入并将数据进行标准化可以使用如下代码实现：setwd(d:/test) data-read.csv(./wsnj1.csv) #读入原始数据std_data=scale(data2:11) #数据标准化rownames(std_data)=data1 #数组各行名字定义为数据文件的第一列经过数据标准化以后，数据转换为如下图所示的格式，每一列数据的单位得到统一。01主成分分析应用实例主成分分析应用实例数据标准化结果计算相关系数矩阵 相关系数是用以反映变量之间相关关系密切程度的统计指标。使用如下代码求相关系数矩阵：cor(df) #求相关系数矩阵 求得相关系数矩阵如下图所示：02主成分分析应用实

15、例求特征值和特征向量求特征值和特征向量可以直接使用eigen()函数，该函数返回的特征值存放在values里面，特征向量存放在vectors里面。y=eigen(cor(df) #求特征值与特征向量y$values #显示特征值y$vectors #显示特征向量03主成分分析应用实例输出前三个累计贡献率sum(y$values1:3)/sum(y$values) #求前3个主成分的累计方差贡献率 从计算结果可以得到前三个因子的累计贡献率为93.05%。同时，可以利用如下命令画出碎石图，以方便我们更主观地找出主成分。screeplot(df.pr,type=line) #type表示画线的类型0

16、4主成分分析应用实例输出前三个累计贡献率04主成分分析应用实例图中横坐标表示第一主成分（Comp.1）到第十主成分（Comp.10），纵坐标表示标准差的平方。从上图可以看出，前三个主成分的标准差平方均大于1。主成分分析为了简化上述的计算过程，使用R语言的princomp（）函数可以直接实现主成分分析并计算载荷矩阵（载荷矩阵是数据X的协方差矩阵的特征向量）。具体实现代码如下，其中cor=TRUE表示计算时使用相关矩阵，如果cor=FALSE则表示使用协方差矩阵，loadings表示是否计算载荷。df.pr-princomp(std_data,cor=TRUE) #主成分分析summary(df.

17、pr,loading=TRUE) #列出结果 包含特征向量 05主成分分析应用实例主成分分析结果05主成分分析应用实例F1=0.35x1+0.353x2+0.396x3+0.393x5+0.391x6+0.367x8+0.373x10综合得分函数为：F=0.624F1+0.199F2+0.106F3主成分分析05主成分分析应用实例第一主成分与x4（每千人口卫生技术人员数）、x7（每千人口医疗卫生机构床位） x9（人均卫生总费用）这几个指标无关，其余成分的相关性为35%左右。第二主成分与x3（卫生人员数）、x5（医院人员数）、x6（医疗卫生机构床位数）、x7（每千人口医疗卫生机构床位）、x10（

18、基本医疗保险参保人数）这几个指标无关，其中x4（每千人口卫生技术人员数）和x9（人均卫生总费用）相关性为66%左右。第三主成分只与x4（每千人口卫生技术人员数）、x7（每千人口医疗卫生机构床位）、x8（卫生总费用）、x10（基本医疗保险参保人数）这几个指标有关，其中x7（每千人口医疗卫生机构床位）相关性较强。具体实现代码如下：s=df.pr$scores,1:3 #从scores里面获得前3个主成分的得分scores=0.0for (i in 1:3) scores=(y$valuesi*s,i)/(sum(y$values1:3)+scoress1-cbind(s,scores) #输出综合

19、得分信息s2n。在这种情况下，变量选择方法变得更加重要。在本节，我们将介绍变量选择中一个非常经典的模型和实现Lasso。基本概念Lasso算法Lasso(Least absolute shrinkage and selection operator)是1996年由多伦多大学Robert Tibshirani提出的，是另一种数据降维方法，该方法不仅适用于线性情况，也适用于非线性情况。Lasso是基于惩罚方法对样本数据进行变量选择，通过对原本的系数进行压缩，将原本很小的系数直接压缩至0，从而将这部分系数所对应的变量视为非显著性变量，将不显著的变量直接舍弃。Lasso不同于传统的逐步回归的最大之处是

20、它可以对所有的独立变量同时进行处理，这一改进使得建模的稳定性大大提高。除此之外，Lasso还具有运算速度快、模型筛选出来的特征可解释性高、模型不容易出现过拟合现象等优点。而模型的发明者Tibshirani教授也因此获得当年有统计学诺贝尔奖之称的考普斯总统奖（COPSS award）。Lasso算法的基本原理Lasso算法的基本原理Lasso模型特点Lasso算法的基本原理特征选择模型的评价有两种常用方法：交叉验证法和CP统计量Lasso算法的基本原理R语言中有多个包可以实现Lasso，包括使用lars包和glmnet包实现。lars包实现：lars包的lars()函数提供了通过回归变量x和因变

21、量y求解其回归解路径的功能。Lasso算法在R语言中的实现glmnet包实现：glmnet主要用于拟合广义线性模型。筛选可以使损失达到最小的正则化参数lambda。Glmnet包提供了glmnet()函数用于拟合模型, cv.glmnet()函数用于k倍交叉验证拟合模型，coef用于提取指定lambda时特征的系数。Lasso算法在R语言中的实现lars包实现Lasso算法在R语言中的实现glmnet包实现glmnet主要用于拟合广义线性模型。筛选可以使损失达到最小的正则化参数lambda。Glmnet包提供了glmnet()函数用于拟合模型, cv.glmnet()函数用于k倍交叉验证拟合模

22、型，coef用于提取指定lambda时特征的系数。glmnet()函数的格式为：glmnet(x,y,family ) 其中x为自变量，y为因变量，参数family规定了回归模型的类型:family=”gaussian”适用于一维连续因变量family=”mgaussian”适用于多维连续因变量family=”poisson”适用于非负次数因变量(count)family=”binomial”适用于二元离散因变量(binary)family=”multinomial”适用于多元离散因变量(category)cv. glmnet()函数其格式为：cv.glmnet(x, y, weights =

23、 NULL, lambda = NULL, nfolds = 10)其中x为自变量，y为因变量，参数nfolds = 10表示使用10倍交叉验证。应用案例-在糖尿病血液等化验指标的优化Lasso算法 糖尿病数据（diabetes）是关于糖尿病的血液等化验指标，来自于Efron et al.(2004)，该数据包含在R程序包lars中，数据除了因变量y之外，还有两个自变量矩阵x和x2，前者是标准化的442*10矩阵，包含了age、sex、bmi、map、tc、ldl、hdl、tch、itg、glu共10个指标，后者是442*64矩阵，包括前者及一些交互作用。01020304在糖尿病血液等化验指标

24、的优化获取糖尿病数据把数据中的自变量和因变量转换为矩阵利用lars( )函数进行Lasso利用交叉验证法来选择特征Lasso算法的应用案例在糖尿病血液等化验指标的优化05通过CP最小值选择特征06实现Lasso的另外一种方法-采用glmnet包获取糖尿病数据library(lars) # 加载lars包data(diabetes) attach(diabetes) #获取糖尿病数据w - cbind(diabetes$x, diabetes$y, diabetes$x2)糖尿病数据包含在R程序包的lars，因此如果没有安装到lars包，需要使用installed.packages(“lars”

25、)命令进行安装。接着，获取糖尿病数据（diabetes）并传到w中。01Lasso算法的应用案例在糖尿病血液等化验指标的优化把数据中的自变量和因变量转换为矩阵x - as.matrix(w, 1:10)y - as.matrix(w, 11) #y为因变量x2 - as.matrix(w, 12:75)上述代码把数据转换为矩阵形式，其中自变量x获得1-10列数据，自变量x2获得12-75列数据，因变量y获得第11列数据。02Lasso算法的应用案例在糖尿病血液等化验指标的优化利用lars( )函数进行Lassolaa - lars(x2, y，type = lasso) #使用lasso方法p

26、lot(laa)lars()中x2为自变量，y为因变量，因为lars()函数默认方法为lasso，所以第3个参数也可以不写。用plot( )画出其求解路径（solution path）的图像结果如图6.6所示。可以看到图中的竖线对应于lasso中迭代的次数，对应的系数值不为0的自变量即为选入的特征。03Lasso算法的应用案例在糖尿病血液等化验指标的优化利用lars( )函数进行Lasso03Lasso算法的应用案例在糖尿病血液等化验指标的优化summary(laa) #汇总统计结果，共104步汇总结果如图所示：利用lars( )函数进行Lasso03Lasso算法的应用案例在糖尿病血液等化验

27、指标的优化在运行结果中，Df表示步数，CP为评价回归的一个指标，值越小越好。本次Lasso一共尝试了104次。据此，选取CP最小的模型，就是第15步（CP=18.198）在这里我们可以看到lars一次给了其求解路径上的所有解，我们需要确定其中哪个解是我们真正要用到的。在lasso模型中，约束项由参数lambda进行控制，当给定了lambda，模型才能够确定下来。一个好的回归模型，需要给定一个合适的lambda，但是lamda的范围往往比较大。注意到lars算法给出的解路径上的解个数是有限的，不同的解即不同的beta就对应了不同的lambda， 我们可以通过选定算法的step步数或者选定beta

28、饱和度|beta|/max|beta|（此处| |表示1范数，饱和度同样也表征了解的稀疏度）来选定模型的参数，接下来就要用到lars包中的cv.lars()函数。利用交叉验证法来选择变量cva - cv.lars(x2, y, K = 10, plot.it = TRUE) #10倍交叉验证,并绘制cv的变化图best - cva$indexwhich.min(cva$cv)coef - coef.lars(laa, mode = fraction, s = best) #使得CV最小时的系数coefcoef != 0 #通过CV选择的特征04Lasso算法的应用案例在糖尿病血液等化验指标的优

29、化Lasso算法的应用案例在糖尿病血液等化验指标的优化得到交叉验证的均方误差MSE分析结果如下图所示：利用交叉验证法来选择变量04从上图可以看到由交叉验证得到的最优回归系数（使得均方误差MSE最小）是稀疏的。通过10倍交叉验证法选择的变量如下图所示，一共选择了13个变量。通过CP最小值选择特征laa$Cpwhich.min(laa$Cp) #最小的Cp值及其步数coef1 - coef.lars(laa, mode = step, s = 15) #使得Cp最小时的系数（s=15）coef1coef1 != 0 #通过CP选择的特征通过CP最小来选择变量如下图所示，一共选择了14个特征。05L

30、asso算法的应用案例在糖尿病血液等化验指标的优化步骤（4）和步骤（5）用两种方法选择出来的特征个数有细微的差别，这是因为交叉验证的随机性造成的案例背景在医学影像数据中，需要对磁共振图像（MRI）进行分析，提取三维图像的特征，因为三维图像包含的维数很多，所以可以利用Lasso进行数据降维，提取与图像识别和分类最有关联的特征。阿尔茨海默症（Alzheimers Disease，AD）是一个全球范围的疾病，轻度认知障碍（MCI）是阿兹海默症患者的高危人群，每年有10%-15%的MCI患者转化为AD（记为MCI_C），但是也有部分MCI患者保持了相对稳定，不会向AD转变（记为MCI_S）。MCI患者

31、被认为是痴呆早期干预治疗最合适的群体，MRI又是临床上最为推荐的影像学检查手段，因此利用MRI的图像特征可靠的预测MCI向AD的转变可以帮助医生提前对患者进行有效的治疗方案，避免或减缓痴呆的发展。在本案例中，在ADNI公共数据库中收集的88名三年内转换为AD患者（MCI_C）和83名三年内没有转换为AD患者（MCI_C）的脑部三维磁共振图像，从中提取大脑90个解剖区域的灰质体积作为特征，利用Lasso进行数据降维并利用SVM进行10倍交叉验证分类识别，探索与疾病最关联的特征，详细过程可参考文献。Lasso算法的应用案例 在阿尔茨海默病MR图像特征提取中的应用利用Lasso进行数据降维后结果如下

32、表所示：从表中可以看出使用Lasso后数据维度从90个特征减少到了42个特征，而且识别准确率、敏感性和特异性也均比没使用Lasso前出现不同程度的提高，说明利用Lasso方法进行数据降维是行之有效的。Lasso算法的应用案例 在阿尔茨海默病MR图像特征提取中的应用进行数据降维后，筛选出来的MCI转换和未转换组有差异的解剖区域如下表所示：其中筛选出来的解剖区域例如Hippocampus 、ParaHippocampal、Cingulum等都和临床诊断中重点关注的区域吻合，说明模型的可解性高。而其它报告的解剖区域也应该引起临床医师的关注，这些区域中，可能还会有一些是早期患者的好发部位。Lasso算法的应用案例 在阿尔茨海默病MR图像特征提取中的应用THANKS本讲结束高等教育出版社