两类别LDA线性判别式分析.ppt

《两类别LDA线性判别式分析.ppt》由会员分享，可在线阅读，更多相关《两类别LDA线性判别式分析.ppt（20页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Linear Discriminant AnalysisLDA,线性判别式分析法 利用线性判别函数设计两类分类器,问题的起源,在概率密度函数P(x|wi)未知的条件下,不再设法求出P(x|wi)并转化为后验概率密度函数P(wi | x),而是采用以下方法: 给定某个线性判别函数类g(x) 利用样本集X确定判别函数类g(x)中的未知参数(给定一个cost function用最优化方法使代价函数取极值) 把未知样本x归类到具有最大的判别函数值的类别中,线性判别函数的给定,一般线性判别函数:,广义线性判别函数:,结论: 对任意判别函数作级数展开，然后取其截尾部分的逼近,通过适当的变换，都可以化为广义

2、线性判别函数来处理. 解决由样本集设计线性分类器的主要步骤:,准则函数的选取,感知准则函数(应用于线性可分的样本集) 原理: 设:样本集Y=y1, y2, yN为对应于X= x1, x2, xN的增广样本集.,感知准则函数,解释: 设:A为Tyn0的解区, B为Tynb的解区,则: 对任意B必有A,即有:A包含B.即新解区B位于原解区A之中. 设: A为A解区边界上的点,则A满足: ATyn=0. B为B解区边界上的点,则B满足: BTyn=b. B解区边界离开A解区边界的距离| B -A |为: BTyn -ATyn =b BT -AT=b/yn | B -A | =b/ | yn |,最小

3、错分样本数准则 引子: 感知准则函数及其梯度下降算法只适用于线性可分情况，对于线性不可分情况，算法不收敛但在实际问题中往往无法事先知道样本集是否线性可分.因此，我们希望找到一种既适用于线性可分情况，又适用于线性不可分情况的算法。这种算法对于线性可分问题，可以得到一个如感知准则函数那样的解向量，使得对两类样本集做到将全部样本正确分类；而对于线性不可分问题，则得到一个使两类样本集错分数目最少的权向量.我们把这样的准则称为最小错分样本数准则。,最小错分样本数准则函数I: 对于式(4-47)定义准则函数I:Jq1=|(Y -b)-| Y -b | |2 找满足 :min Jq1的*.(共轭梯度法) 最小错分样本数准则函数II: 对于式(4-45)定义准则函数II:Jq2=(1+sgn(yi) 找满足 :max Jq2的*.(搜索法) 式中: sgn(yi)= -1 if yi0 sgn(yi)= +1 if yi0,平方误差(MSE)准则函数:,MSE准则函数的性质:,