资料採矿分类分析系统之建构与应用-信用贷款违约与选股系统应用.pptx

《资料採矿分类分析系统之建构与应用-信用贷款违约与选股系统应用.pptx》由会员分享，可在线阅读，更多相关《资料採矿分类分析系统之建构与应用-信用贷款违约与选股系统应用.pptx（54页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、資料採礦分類分析系統之建構與應用-信用貸款違約與選股系統應用,指導教授：姜林杰祐 博士,學生：陳冠名,摘要,本研究以資料採礦的分類方法為核心，嘗試建構一開放式的分類分析系統，其內含的分類演算法包括ID3、C4.5、貝氏分類法與記憶基礎推論法等。為驗證本系統的有效性，本研究以銀行信用貸款資料庫為例，分類正常戶與違約戶；並將此分類工具應用於股市的分析、預測，期能以此系統發展資料趨導式的選股模型,Company Logo,報告大綱,第一章、研究目的與動機。第二章、文獻探討。第三章、資料採礦分類分析系統開發。第四章、實例應用一。第五章、實例應用二。第六章、結論與未來研究。,Company Logo,研

2、究動機與目的,近年來資料氾濫，如何在過度氾濫的資料中去蕪存菁，將無用的資料過濾，進而獲得有用的資訊、知識是相當重要的議題，而資料採礦即是對資料進行分析，以求在大量資料中獲取資訊的有效方法。,Company Logo,資料採礦方法在財金領域應用現況,Philip Joos 等(1998) 將Logit Model以及決策樹用於比利時某大型銀行資料庫進行信用分類，獲得80%以上之的準確度。Nazli Ikizler等(2000)使用決策樹C4.5演算法對銀行放款資料進行分析，試圖找出令人感興趣的分類規則，此研究結果發現數條有用之分類規則，可供決策運用。Muh-Cherng Wu等(2006)以決策

3、樹結合濾嘴法則，應用於股市交易，獲得13%的報酬率。,Company Logo,資料採礦於金融業之應用,資料來源：吳振晃(2003),Company Logo,資料採礦方法,分群。分群是針對樣本進行劃分，與分類不同的是，進行分類時使用者必須明確知道要以何種準則來對樣本進行劃分，而分群屬於非監督式學習法，使用者不需知道樣本要依何種準則進行劃分(有時也無法得知)，分群演算法會自動對樣本進行劃分，在圖形辨識、市場區隔等領域都有優異的表現，主要演算法有K-平均法、K-物件法等。關聯。此演算法主要是要探究，當某一事件發生時，是否會帶動另一事件跟著發生，是一種探究因果關係的方法，最著名的應用為購物籃分析，

4、用以發現消費者的購買行為，以Apriori演算法最為經典。分類。為一監督式學習方法，主要用於對樣本進行類別的劃分，如對銀行客戶進行信用分級、預測違約戶等都是其主要應用領域，分類包含了眾多演算法可供使用，如決策樹、類神經網路、支援向量機(SVM)、貝氏分類法、記憶基礎推論法(MBR)等都是知名的分類演算法。,Company Logo,決策樹,ID3：以資訊理論作為屬性選擇之依據,C4.5：改良自ID3,Company Logo,貝氏分類法,貝氏定理：,現實中，類別C中出現X客戶的機率無法求得,再假設各屬性值相互獨立,由上述可得,Company Logo,記憶基礎推論法,步驟1 選取訓練樣本集 步

5、驟2 計算屬性距離絕對差：平方差：標準差：步驟3 計算資料距離，將上述求得各屬性距離加以組合成一個值，用以代表兩資料間的距離，常用合成方式如下 總和：標準化總和：歐基里徳距離：,Company Logo,記憶基礎推論法(續),步驟4 選取k筆鄰近資料進行表決，為了避免表決時有平手的情況，k應取單數為佳。步驟5 表決方式選擇，判定方式以選出之k個鄰近資料進行多數決，多者即為該預測樣本歸屬之類別，常用判定方式如下：民主選舉法：所選之k個鄰近樣本具有相同權重，以多者為勝。加權選舉法：依據所選之k個鄰近樣本與預測樣本的距離給予權重，距離預測樣本愈近，則權重愈大。,Company Logo,系統架構,C

6、ompany Logo,決策樹流程,Company Logo,貝氏分類法流程,Company Logo,記憶基礎推論法流程,Company Logo,銀行信用貸款違約分析,Company Logo,實驗流程,資料獲取：將欲進行分析之資料載入資料表資料前置處理：共有雜訊處理、資料離散化、訓練/測試樣本選取三部份雜訊處理：將兩標準差以外之資料視為雜訊。資料離散化：以等寬裝箱法將連續型資料分為五類。訓練/測試樣本選取：隨機挑選151筆資料進行訓練，75筆資料用於測試。探勘方法選取：依使用者需求選取合適之探勘方法，系統提供方法有決策樹、貝氏分類法、記憶基礎推論法。,Company Logo,決策樹分析

7、,實驗設定,Company Logo,決策樹分析(續),實驗結果 ID3 實驗結果C4.5 實驗結果,Company Logo,決策樹分析(續),分類規則,Company Logo,決策樹分析(續),樹狀圖,Company Logo,貝式分類法分析,實驗設定實驗結果,Company Logo,記憶基礎推論法分析,實驗設定,Company Logo,記憶基礎推論法分析(續),實驗結果,Company Logo,實例一總結,決策樹因為有一條條的分類規則輸出，較易解釋獲得之分類結果，在實務上較受歡迎，且輸出之規則可做為未來決策判斷之用。貝氏分類法以貝氏定理為基礎簡單易用，且只需知道各類別所包含的資料

8、個數，即可計算出機率，因此此方法具漸增性當資料增加時不必從頭計算，只需將新舊資料各類別之資料數加總即可 。記憶基礎推論法之預測效果最優，對於小樣本也可獲得不錯的準確度，然而卻也是此方法之缺點，此法因為計算量太過龐大，不適於大樣本之預測。,Company Logo,資料導向的選股模型建構,Company Logo,台灣上市公司個股應用,此部份將資料探勘技術應用於股票市場，分析上市公司的財務資料，用以預測下一季的股票平均季報酬，進而使用這些規則來協助投資者建立選股模型。本實驗採決策樹以及貝氏分類法進行測試，詳細如下,Company Logo,決策樹,實驗設定,Company Logo,決策樹(續)

9、,實驗結果 季平均報酬0% 實驗結果 季平均報酬3% 實驗結果 季平均報酬5% 實驗結果,Company Logo,決策樹(續),分類規則 由圖中規則可知，營收成長率、股東權益報酬率、資產週轉率等屬性較為重要，投資者在分析公司財務狀況時，可以多留意這些屬性，例如，由圖15之規則我們可知營收成長率介於1612.85 3437.00，且資產週轉率介於0.14 0.34則平均季報酬大於5%，因此在進行股票選擇時，投資者可優先考量符合此條件之公司。,Company Logo,貝氏分類法,實驗設定,Company Logo,貝氏分類法(續),實驗結果,Company Logo,台灣上市公司個股應用總結,

10、以季平均報酬5%所得預測效果不管終止條件為何皆較其他為好。實驗最佳準確度約為70%，表現並不優異，可就參與屬性多做調整，已達到更理想的目標。,Company Logo,台灣大盤指數應用,本案例使用技術指標，結合決策樹C4.5演算法，用以預測台灣大盤趨勢，先利用系統求得分類規則，再挑選出具代表性之規則，利用所挑選之規則進行回測，以測試投資績效。,Company Logo,資料區間,資料為1968年1月至2007年12月每日之TES指數，本實驗以移動視窗法將資料進行分段，每段十五年，共分六段，每段中以前八年為訓練樣本，次兩年為測試樣本，最後五年之資料進行回測，每段移動幅度為五年，如下圖：,Comp

11、any Logo,資料數值說明,Company Logo,實驗設定,Company Logo,實驗結果,最大深度3層實驗準確度 最大深度5層實驗準確度,Company Logo,有效規則篩選,Company Logo,有效規則篩選 (續),Company Logo,回測,系統所獲得之分類規則，無非想建立一選股模型，以運用於股票市場，期能對投資者有所幫助，此處說明將先前獲得之分類規則做適當處理，再利用程式交易軟體”TradeStation”對選股規則進行回測，驗證選股模型對投資者是否有所幫助。 報酬率,Company Logo,交易資訊以及報酬曲線,期間一(19781982)交易資訊 期間一(1

12、9781982)報酬曲線,Company Logo,交易資訊以及報酬曲線(續),期間二(19831987)交易資訊 期間二(19831987)報酬曲線,Company Logo,交易資訊以及報酬曲線(續),期間三(19881992)交易資訊 期間三(19881992)報酬曲線,Company Logo,交易資訊以及報酬曲線(續),期間四(19931997)交易資訊 期間四(19931997)報酬曲線,Company Logo,交易資訊以及報酬曲線(續),期間五(19982002)交易資訊 期間五(19982002)報酬曲線,Company Logo,交易資訊以及報酬曲線(續),期間六(2003

13、2007)交易資訊 期間六(20032007)報酬曲線,Company Logo,台灣大盤指數應用總結,由實驗結果看出，第二及第五段訓練期間所得之規則，使用移動平均作為判斷依據，在TradeStation回測下所得之報酬皆為負報酬，且由報酬曲線可看出，隨著交易次數增多，投資報酬率漸漸趨向於負，曲線呈負斜率，投資者在做投資時可稍加留意。由第三、第四以及第六訓練期間所得之規則，同時使用乖離率、趨向指標以及威廉指標作為選股依據，可獲得良好之報酬率，再觀察報酬曲線，可發現使用此三項指標作為策略依據之報酬曲線，期間雖小有震盪，但大致趨勢呈正斜率，此三指標應可作為投資者參考之用。,Company Logo

14、,結論與未來研究,此篇論文簡單說明了資料採礦方法及其應用，並以自建系統操作兩個實例，分別為銀行和股市方面的應用，期望能以系統所得之分類規則幫助使用者決策。在銀行應用方面，對銀行貸款資料進行分析，以本系統所提供之各方法求得之分類規則，準確度約為70% 90%。 在台灣上市各股方析方面，獲得數條分類規則，以本系統所得之分類規則及預測結果，最佳準確度約為70%。台灣大盤指數分析方面，本實驗將所得之分類規則代入TradeStation進行回測，在此實驗中以乖離率、趨向指標以及威廉指標作為選股依據，可獲得較佳之報酬。,Company Logo,結論與未來研究(續),在上述實驗中，本除了第一個實例中記憶基礎推論法可達90%，而其他演算法所得之準確度約為70%，尚有改善空間，未來將對演算法加以改善，結合不同的方法學及演算法，如(李允中 ，2002)模糊理論及其應用一書中將模糊理論與決策樹做結合。,Company Logo,Thank You !,決策樹,ID3,C4.5,Company Logo,貝氏分類法,假設一未知樣本：年齡大於30、已婚、收入中等,Company Logo,記憶基礎推論法,Company Logo,