大数据解析与应用导论 (13).pdf

《大数据解析与应用导论 (13).pdf》由会员分享，可在线阅读，更多相关《大数据解析与应用导论 (13).pdf（13页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1大数据解析与应用导论大数据解析与应用导论Introduction to Big Data Analytics and ApplicationThe linked image cannot be displayed.The file may have been moved,renamed,or deleted.Verify that the link points to the correct file and location.第三章 判别分析基本原理基本原理1.距离判别距离判别2.贝叶斯判别贝叶斯判别4.Fisher判别判别3.SVM5.一、Fisher判别的思想3 构造一个线性投影：寻找

2、投影方向，使两组数据投影后在直线上尽可能区分开ppXbXbbW+=110一、Fisher判别的思想满足类内紧凑，类间分离的原则二、Fisher判别的优化目标5怎么评估类内的紧凑程度和不同类别之间的分离程度？类间分离程度：不同类别中心的距离类内紧缩程度：方差，方差越大则越不紧缩二、Fisher判别的优化目标6以两类数据为例，给定训练数据集D=(x1,y1),(x2,y2),(xm,ym)，其中样本xi为n维向量，标签yi为0或1，Nj为第j类样本的个数，Xj为第j类样本的集合，则第j类样本的类别中心和离差为()()(0,1)jTjjjx Xxxj=类别中心类内离差1(0,1)jjx Xjx jN

3、=二、Fisher判别的优化目标7010011()()()()jjTTwx Xx XSxxxx=+=+0101()()TbS=投影向量w样本xj(j=0,1)低维特征wTxj第j类投影点的类内离差wTjw类间投影点中心之差wTSbw类内离差和类间离差二、Fisher判别的优化目标8是类内离差和，是类间离差)min()max()min(=1=特征根分解问题三、Fisher判别法计算步骤9 训练步骤输入两个类别的原始数据矩阵计算类别中心，类内离差和，类间离差求解特征根分解问题得到投影向量w三、Fisher判别法计算步骤10 判别步骤作判别x属于第0类x属于第1类输入未知类别样本x=(x1,x2,，

4、xp)得到投影向量w之后，我们就可以对未知类别的新样本作判别了。0011ywxywyw=0102yyy+=利用投影向量计算投影y以及阈值y0y0为投影后与两个类别相距距离相等的点。四、Fisher判别法应用举例11Python中的sklearn库提供了线性判别函数，可以直接调用。class sklearn.discriminant_analysis.LinearDiscriminantAnalysis()一些常用方法：fit(self,X,y)用于训练给定数据predict(self,X)用于预测新给出的X属于哪个类四、Fisher判别法应用举例12例子import numpy as npfrom sklearn.discriminant_analysis import LinearDiscriminantAnalysisX=np.array(-1,-1,-2,-1,-3,-2,1,1,2,1,3,2)y=np.array(1,1,1,2,2,2)clf=LinearDiscriminantAnalysis()clf.fit(X,y)clf.predict(-0.8,-1)输出结果为1，即-0.8,-1点属于类别1四、Fisher判别法应用举例13我们随机生成一些数据，蓝色红色属于两个不同类别。左侧为原始数据，右侧为使用线性判别划分的数据，白色为分界线。