判别分析DiscriminantAnalysis课件.ppt

《判别分析DiscriminantAnalysis课件.ppt》由会员分享，可在线阅读，更多相关《判别分析DiscriminantAnalysis课件.ppt（39页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、判别分析DiscriminantAnalysis课件 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望Discriminant Analysisn判別分析判別分析n區別分析區別分析n鑑別分析鑑別分析判別分析判別分析n是一種相依方法，其準則變數為事先訂定的類是一種相依方法，其準則變數為事先訂定的類別或組別。別或組別。n例如，銀行在貸款給顧客時，通常都會依顧客例如，銀行在貸款給顧客時，通常都會依顧客基本資料，如學歷、收入、借貸記錄等等基本資料，如學歷、收入、借貸記錄等等

2、.，將顧客區分為具信用之顧客與不具信用之顧客將顧客區分為具信用之顧客與不具信用之顧客兩種，並且當有新的顧客進來時，也可比照同兩種，並且當有新的顧客進來時，也可比照同樣準則將新顧客的資料與這些巳存在的資料做樣準則將新顧客的資料與這些巳存在的資料做一比較，看是否應借錢給這位新的顧客。一比較，看是否應借錢給這位新的顧客。判別分析判別分析 vs.集群分析集群分析n判別分析法（判別分析法（discriminant analysis），是在已知的），是在已知的分類之下，一旦遇到有新的樣本時，可以利用此法選分類之下，一旦遇到有新的樣本時，可以利用此法選定一判別標準，以判定如何該將新樣本放置於那個族定一判別標

3、準，以判定如何該將新樣本放置於那個族群中。群中。n集群分析法（集群分析法（cluster analysis），則是希望將一群具），則是希望將一群具有相關性的資料加以有意義的分類。有相關性的資料加以有意義的分類。n假設有數個群體，對每一群體中的一些個體取幾個變假設有數個群體，對每一群體中的一些個體取幾個變量（說明變量）組，作成適當的判別標準時，即可辨量（說明變量）組，作成適當的判別標準時，即可辨別該群體的歸屬。在此處我們想要討論的情況，看起別該群體的歸屬。在此處我們想要討論的情況，看起來與分群分析法類似，似乎都是要將觀察值分群分類，來與分群分析法類似，似乎都是要將觀察值分群分類，但是他們的使用前

4、提及意義仍是不同的。但是他們的使用前提及意義仍是不同的。104易投網：市調專欄http:/.tw/Columan/Columan0910_2.aspn用簡單的例子來說，如果我們已知有兩群人：用簡單的例子來說，如果我們已知有兩群人：一群是韓國人，另一群的日本人。現在新來了一群是韓國人，另一群的日本人。現在新來了一位某甲，我們想問：某甲是韓國人呢，還是一位某甲，我們想問：某甲是韓國人呢，還是日本人？回答這樣的問題，算是判別分析。日本人？回答這樣的問題，算是判別分析。n再如我們有一大群人混在一起，這裡面包括了再如我們有一大群人混在一起，這裡面包括了日本、韓國、泰國，馬來西亞、日本、韓國、泰國，馬來西

5、亞、.，如果我們，如果我們想將他們一一分辨出來，這就是集群分析法。想將他們一一分辨出來，這就是集群分析法。n判別分析法之用途很多，如動植物分類，判別分析法之用途很多，如動植物分類，醫學疾病診斷，社區種類劃分，氣象區醫學疾病診斷，社區種類劃分，氣象區（或農業氣象區）之劃分，商品等級分（或農業氣象區）之劃分，商品等級分類，職業依能力分類，以及人類考古學類，職業依能力分類，以及人類考古學上之年代及人種分類等等均可利用。上之年代及人種分類等等均可利用。n線性判別函數（線性判別函數（linear discriminant function,簡稱簡稱LDF），是判別分析法中主要的工具。），是判別分析法中主

6、要的工具。n最早由最早由 R.A.Fisher（1936）提出。）提出。nFisher 提出線形判別函數，並應用於花卉分類上。他提出線形判別函數，並應用於花卉分類上。他將花卉之各種特徵將花卉之各種特徵（character）（如花瓣長與寬、（如花瓣長與寬、花萼長與寬等）利用線性組合（花萼長與寬等）利用線性組合（linear combination）方法，將這些基本上是多變量的數據）方法，將這些基本上是多變量的數據（multivariate data），轉換成單變量），轉換成單變量（univariate data）。再以這個化成單變量的線性組）。再以這個化成單變量的線性組合數值來判別事物間的差別。

7、合數值來判別事物間的差別。判別分析大意圖判別分析大意圖n典型相關典型相關(canonical correlation)n 判別函數的典型相關是組間平方和與總判別函數的典型相關是組間平方和與總平方和比值的平方根。平方後，它就是平方和比值的平方根。平方後，它就是由組間差異解釋的總變異量的比例。由組間差異解釋的總變異量的比例。n注意事項：分組變數可以有兩個注意事項：分組變數可以有兩個(或以上或以上)的數值。但是，分組變數的代碼必須為的數值。但是，分組變數的代碼必須為整數，而且必須指定其最小值和最大值。整數，而且必須指定其最小值和最大值。觀察值的數值如果超出這個範圍，就不觀察值的數值如果超出這個範圍，

8、就不會分析它。會分析它。n範例範例一般而言，溫帶國家的人，每天消耗的卡路里會比熱一般而言，溫帶國家的人，每天消耗的卡路里會比熱帶的人多，而且溫帶地區中，住在都市的人口比例也帶的人多，而且溫帶地區中，住在都市的人口比例也會比較高。研究人員想將這些資訊，併成一個函數，會比較高。研究人員想將這些資訊，併成一個函數，以便判斷受訪者對這兩個國家的人民，能細分到什麼以便判斷受訪者對這兩個國家的人民，能細分到什麼樣的程度。研究人員認為，人口數量和經濟資訊，應樣的程度。研究人員認為，人口數量和經濟資訊，應該也相當重要。因此，使用判別分析，能讓您估計線該也相當重要。因此，使用判別分析，能讓您估計線性判別函數的係

9、數，判別函數的運算式，看起來跟多性判別函數的係數，判別函數的運算式，看起來跟多重線性迴歸方程式的右側內容很像。亦即是，它也使重線性迴歸方程式的右側內容很像。亦即是，它也使用用 a、b、c 和和 d 係數，函數如下：係數，函數如下：nD=a*氣候氣候+b*都市都市+c*人口人口+d*每人國民每人國民生產毛額生產毛額n如果這些變數，有助於判別兩種不同的氣候區域，那如果這些變數，有助於判別兩種不同的氣候區域，那麼溫帶國家和熱帶國家的麼溫帶國家和熱帶國家的 D 值就會不同。如果您使用值就會不同。如果您使用逐步的變數選取法，可能會發現此函數中，不需要包逐步的變數選取法，可能會發現此函數中，不需要包含四個

10、變數。含四個變數。n統計量。統計量。對於每個變數而言，則有：平均數、標準差、對於每個變數而言，則有：平均數、標準差、單變量單變量 ANOVA。對於每種分析而言，則有：對於每種分析而言，則有：Box M、組內相關矩陣、組內共變異數矩陣、各組共變異組內相關矩陣、組內共變異數矩陣、各組共變異數矩陣、總和的共變異數矩陣。對於每種典型判別函數矩陣、總和的共變異數矩陣。對於每種典型判別函數而言，則有：特徵值、變異數百分比、典型相關、數而言，則有：特徵值、變異數百分比、典型相關、nWilks Lambda 值、卡方。對每個步驟而言：事前機值、卡方。對每個步驟而言：事前機率、率、Fisher 函數係數、未標準

11、化函數係數、每個典型函數係數、未標準化函數係數、每個典型函數的函數的 Wilks Lambda 值。值。階層集群分析階層集群分析n統計分析分類階層式集群統計分析分類階層式集群.n如果要將觀察值分成集群的話，請至少如果要將觀察值分成集群的話，請至少選取一個數值變數。選取一個數值變數。n如果要將變數分成集群的話，請至少選如果要將變數分成集群的話，請至少選取三個數值變數。取三個數值變數。n或者，您可以選取識別變數做為觀察值或者，您可以選取識別變數做為觀察值的註解。的註解。n這個程序會根據您所選取的特性，試圖找出具有相對這個程序會根據您所選取的特性，試圖找出具有相對同質性的觀察值同質性的觀察值(或變數

12、或變數)n組別。它所使用的演算法，會從個別集群中的每一個組別。它所使用的演算法，會從個別集群中的每一個觀察值觀察值(或變數或變數)開始，然後再與集群組合，直到只剩開始，然後再與集群組合，直到只剩下一個為止。您可以分析原始資料，或從各種不同的下一個為止。您可以分析原始資料，或從各種不同的標準化轉換中選擇。近似性程序會產生距離或相標準化轉換中選擇。近似性程序會產生距離或相似性量數。每個階段都會顯示統計量，以協助您選出似性量數。每個階段都會顯示統計量，以協助您選出最適用的數值。最適用的數值。n範例範例以電視節目為例，您可以根據電視節目以電視節目為例，您可以根據電視節目所吸引的觀眾群，將這些節目加以分

13、組。所吸引的觀眾群，將這些節目加以分組。您可以使用階層集群分析，把電視節目您可以使用階層集群分析，把電視節目(觀察值觀察值)根據觀眾特性分成相似的集群。根據觀眾特性分成相似的集群。這種方式也可用於市場區隔。或者，您這種方式也可用於市場區隔。或者，您可以把城市分成相似的集群，以便選取可以把城市分成相似的集群，以便選取類似的城市來測試各種不同的行銷策略。類似的城市來測試各種不同的行銷策略。n統計量統計量n在統計方面在統計方面n群數凝聚過程群數凝聚過程n距離距離(或相似性或相似性)矩陣矩陣n單解（或解的範圍）的集群組員單解（或解的範圍）的集群組員n在圖形方面在圖形方面n樹狀圖樹狀圖n冰柱圖冰柱圖判別

14、分析判別分析n用於判別樣本所屬類型的一種方法用於判別樣本所屬類型的一種方法n在社會、經濟、管理等領域的研究中，經常要對某一研究現在社會、經濟、管理等領域的研究中，經常要對某一研究現象的歸屬作出判斷，例如在經濟學中，根據國民平均年收入象的歸屬作出判斷，例如在經濟學中，根據國民平均年收入所得、企業生產總額、國民平均消費水準等多種指標，來判所得、企業生產總額、國民平均消費水準等多種指標，來判定一個國家的經濟發展程度所屬類型。定一個國家的經濟發展程度所屬類型。n在醫學上，根據病人的各項檢查指標來判斷病情或病因等。在醫學上，根據病人的各項檢查指標來判斷病情或病因等。n與集群分析相同，都是將相似的事物歸為

15、一類，不同與集群分析相同，都是將相似的事物歸為一類，不同處在於集群分析預先不知道分類，而判別分析是在研處在於集群分析預先不知道分類，而判別分析是在研究對象分類已知的情況下，根據樣本資料推導出一個究對象分類已知的情況下，根據樣本資料推導出一個或一組判別函數，同時指定一種判別規則，用以確定或一組判別函數，同時指定一種判別規則，用以確定待判別樣本所屬的類型，使錯判率最小。待判別樣本所屬的類型，使錯判率最小。判別分析判別分析n按判別組數分為：兩組判別和多組判別按判別組數分為：兩組判別和多組判別n按數學模型不同分為：線性判別和非線性判別按數學模型不同分為：線性判別和非線性判別n按判別方法不同分為：逐步判

16、別和序貫判別按判別方法不同分為：逐步判別和序貫判別n按判別準則不同分為：距離判別、費雪按判別準則不同分為：距離判別、費雪（Fisher）判別、貝依斯（判別、貝依斯（Bayes）判別判別線性判別函數線性判別函數nLinear Discriminant Functionn對對k個母體，個母體，G1、G2、G3、Gk，如果各個樣本如果各個樣本相互獨立且符合多元常態分配，則可建立線性判別函相互獨立且符合多元常態分配，則可建立線性判別函數，其形式如下：數，其形式如下：Yi=a0+a1x1+a2x2+a3x3+anxn(I=1,2,.k)nK：判別組數判別組數nY：判別分數或判別值（判別分數或判別值（di

17、scriminant scores）nX1 x2xn 是因變數或預測變數是因變數或預測變數nA1 a2an 是判別係數（是判別係數（coefficient）典型判別函數典型判別函數nCanonical Discriminant Functionn典型函數是原始因變數的線性組合，透過建立典型函數是原始因變數的線性組合，透過建立少量的典型變數，可以方便地描述各類之間的少量的典型變數，可以方便地描述各類之間的關係，用以計算判別分數、畫散點圖和區域圖關係，用以計算判別分數、畫散點圖和區域圖等等nSPSS針對針對K組研究對象，建立組研究對象，建立K1個典型判個典型判別函數，顯示標準化的典型判別函數係數別

18、函數，顯示標準化的典型判別函數係數（standardized canonical discriminant function coefficient）和未標準化的典型判和未標準化的典型判別函數係數別函數係數判別準則判別準則nFisher判別準則判別準則n根據線性根據線性Fisher函數值進行判別，通常用於兩組判函數值進行判別，通常用於兩組判別問題別問題n要求各組變數的平均值有顯著差異要求各組變數的平均值有顯著差異nBayes判別準則判別準則n 根據各母體的先驗機率（根據各母體的先驗機率（prior probabilities），），使誤判的平均損失最小進行判別，通常用於多組判使誤判的平均損失最

19、小進行判別，通常用於多組判別別n要求滿足三個假設條件：多元常態分配、各組變異要求滿足三個假設條件：多元常態分配、各組變異數矩陣相等、各組變數平均值有顯著差異數矩陣相等、各組變數平均值有顯著差異建立判別函數的方法建立判別函數的方法n全模型法（全模型法（Enter independent together）n將研究者指定的全部變數作為判別函數的因變數，而不管該將研究者指定的全部變數作為判別函數的因變數，而不管該變數是否對研究對象顯著或對判別函數的貢獻大小變數是否對研究對象顯著或對判別函數的貢獻大小n是是SPSS預設的方法，適合於對研究對象的各變數有全面認識預設的方法，適合於對研究對象的各變數有全面

20、認識的時候使用，否則全部變數全部選用，可能用產生較大的偏的時候使用，否則全部變數全部選用，可能用產生較大的偏差差n逐步選擇法（逐步選擇法（stepwise method）n選擇最能各映各類間差異的變數子集，建立判別函數的方法。選擇最能各映各類間差異的變數子集，建立判別函數的方法。n模型是從沒有任何變數開始，每一步都對模型進行檢定，將模型是從沒有任何變數開始，每一步都對模型進行檢定，將模型外對模型的判別貢獻最大的變數加入到模型中。同時檢模型外對模型的判別貢獻最大的變數加入到模型中。同時檢查在模型中是否存在由於新變數的加入，而對判別貢獻不太查在模型中是否存在由於新變數的加入，而對判別貢獻不太顯著的

21、變數，若有則將其從模型中刪除，直到模型中的所有顯著的變數，若有則將其從模型中刪除，直到模型中的所有變數全部都符合引入模型的條件，而模型外的變數都不符合變數全部都符合引入模型的條件，而模型外的變數都不符合引入模型的條件為止。引入模型的條件為止。nSPSS提供提供5種逐步選擇變數的方法種逐步選擇變數的方法n使使Wilkss 統計量最小化法統計量最小化法n使最近兩組間的使最近兩組間的Mahalanbis的距離最大化法的距離最大化法n使任何兩組間的最小的使任何兩組間的最小的F比值最大化法比值最大化法n使末被解釋的共變數和最小化法使末被解釋的共變數和最小化法n使使Roa V統計量最大化法統計量最大化法n

22、輸出結果，通常可以用輸出結果，通常可以用F值的大小作為變數進值的大小作為變數進入模型的標準，即一個變數是否能進入模型，入模型的標準，即一個變數是否能進入模型，取決於共變數分析的取決於共變數分析的F檢定的顯著水準檢定的顯著水準判別分析基本步驟判別分析基本步驟n分析分析(analyze)分類分類(classify)判別判別(discriminant)n選擇分組變數與自變數選擇分組變數與自變數n計算各組單變數敘述統計量，包括組內平均值、組內標準差、計算各組單變數敘述統計量，包括組內平均值、組內標準差、總平均值、總標準差、各組共變數矩陣、組間相關矩陣，並總平均值、總標準差、各組共變數矩陣、組間相關矩陣

23、，並對組間平均值相等及共變數矩陣相等的假設進行檢定對組間平均值相等及共變數矩陣相等的假設進行檢定n推導判別係數，進行檢定推導判別係數，進行檢定n建立建立Fisher線性判別模型線性判別模型n進行判別分組，根據進行判別分組，根據Bayes規則或規則或Fisher規則進行判別分組規則進行判別分組n進行樣本判別分析，計算錯分率進行樣本判別分析，計算錯分率n輸出結果輸出結果分組變數分組變數(grouping variable)：只只能指定一個。必須是數值型變數，能指定一個。必須是數值型變數，最少有最少有2個水準值。個水準值。汽車展示中汽車展示中14款新車，依造型、性能、價位三款新車，依造型、性能、價位

24、三要素，可以區分為高效能、中效能、低效能要素，可以區分為高效能、中效能、低效能三組，各有三組，各有5、4、5輛車。輛車。變異數分析：造型、性能、價位之平均數差異，均未達顯著水準（F值愈大，平均數的差異越大）組共變數相等的假設檢定：組共變數相等的假設檢定：Boxs M值值14.942,轉換成轉換成F值為值為0.714，F檢定檢定之之P值為值為0.738，未達顯著水準，接受虛無假設，未達顯著水準，接受虛無假設，三組母群體之共變數相等，符合判別分析的假三組母群體之共變數相等，符合判別分析的假定定特徵值（特徵值（Eigenvalue）愈大，表示此函數愈有判別力愈大，表示此函數愈有判別力典型相關係數：區

25、別分數與組別間的關聯程度典型相關係數：區別分數與組別間的關聯程度兩個典型區別函數值的顯著性檢定，兩個典型區別函數值的顯著性檢定，兩個典型區別函數均未達顯著水準兩個典型區別函數均未達顯著水準以造型、性能、價位，三個變數作為判別以造型、性能、價位，三個變數作為判別分析，可以有效地判別各車的整體效能，分析，可以有效地判別各車的整體效能，而且判別率相當高。而且判別率相當高。*分類錯誤的觀察值分類錯誤的觀察值分派錯誤率分派錯誤率n（error rate of misclassification）n如果兩組資料有重疊（如果兩組資料有重疊（overlap）部分，則）部分，則分派未知個體時會有錯誤發生，其分派

26、錯誤分派未知個體時會有錯誤發生，其分派錯誤的機會視兩組資料重疊部份之大小而定，其的機會視兩組資料重疊部份之大小而定，其計算分派錯誤率的方法有兩種。第一種自原計算分派錯誤率的方法有兩種。第一種自原來的樣本資料直接來看：各組判別之中，判來的樣本資料直接來看：各組判別之中，判別的錯誤比例是多少？另一種則是利用機率別的錯誤比例是多少？另一種則是利用機率函數來做計算。當然，在做第二種方法的時函數來做計算。當然，在做第二種方法的時候，要假設候，要假設X=的分布為多元常態的分布為多元常態（multivariate normal）。）。判別分析的例子判別分析的例子 n美國某商學院的註冊組（美國某商學院的註冊組

27、（admission office），向來以），向來以GPA 及及GMAT的分數作為他們審核申請研究所學生的一個指標。今以過的分數作為他們審核申請研究所學生的一個指標。今以過去的一份資料來尋找判別的標準，此份資料將申請者分為去的一份資料來尋找判別的標準，此份資料將申請者分為 A：接：接受受（admit），），N：拒絕：拒絕（not admit）及及B：備取：備取（borderline）三種結果。（在此例中，申請者母體資料的分類三種結果。（在此例中，申請者母體資料的分類乃是由該校的註冊組主任，依照他的經驗判斷而來的。另一方面乃是由該校的註冊組主任，依照他的經驗判斷而來的。另一方面由過去經驗顯示，

28、那些由過去經驗顯示，那些GPA及及GMAT分數較高者在研究所的表現分數較高者在研究所的表現也較好，而在此兩變項的閱讀能力較低者，通常在學習上也較困也較好，而在此兩變項的閱讀能力較低者，通常在學習上也較困難。）難。）n另假設有一個新的申請者，其另假設有一個新的申請者，其GPA為為3.21，GMAT為為497 分，試分，試以相同的事前機率下用此判別標準找出其入學許可之審核結果應以相同的事前機率下用此判別標準找出其入學許可之審核結果應當為哪一類。這是一個典型的判別分析問題：我們有三組數據當為哪一類。這是一個典型的判別分析問題：我們有三組數據（m=3的情形），而每一組的數據都是二維的（的情形），而每一組的數據都是二維的（p=2的情形）。的情形）。