回归分析RegressionAnalysis.ppt

《回归分析RegressionAnalysis.ppt》由会员分享，可在线阅读，更多相关《回归分析RegressionAnalysis.ppt（27页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、迴歸分析Regression Analysis1 1簡單迴歸與多元迴歸Simple and Multiple regressionl l基本定義基本定義l l簡單迴歸：以單一自變項去解釋（預測）依變項的迴歸分析簡單迴歸：以單一自變項去解釋（預測）依變項的迴歸分析l l多元迴歸：同時以多個自變項去解釋（預測）依變項的迴歸分析多元迴歸：同時以多個自變項去解釋（預測）依變項的迴歸分析l l各變項均為連續性變項，或是可為虛擬為連續性變項者各變項均為連續性變項，或是可為虛擬為連續性變項者l l方程式方程式l l簡單迴歸：簡單迴歸：Y=bY=b1 1x x1 1+a+al l多元迴歸：多元迴歸：Y=bY=

2、b1 1x x1 1+b+b2 2x x2 2+b+b3 3x x3 3+b+bn nx xn n+a+al l多元迴歸的特性：多元迴歸的特性：l l對於依變項的解釋與預測，可以據以建立一個完整的模型。對於依變項的解釋與預測，可以據以建立一個完整的模型。l l各自變項之間概念上具有獨立性，但是數學上可能是非直交（具各自變項之間概念上具有獨立性，但是數學上可能是非直交（具有相關）有相關）l l自變項間的相關對於迴歸結果具有關鍵性的影響。自變項間的相關對於迴歸結果具有關鍵性的影響。2 2迴歸分析的統計原理：變異數拆解與F testl l利用回歸方程式，依變項Y變異量當中可以被解釋的部分稱為回歸變異

3、量l l無法被解釋的部分稱為殘差變異量l lSSy=SSreg+SSresSSy=SSreg+SSres迴歸離均差誤差原始離均差Xi3 3迴歸可解釋變異量比（R2）l l迴歸可解釋變異量比，又稱為迴歸可解釋變異量比，又稱為R2R2（R squareR square），表示使用），表示使用X X去預測去預測Y Y時的預測釋力，即時的預測釋力，即Y Y變項被自變項所解釋的比率。變項被自變項所解釋的比率。反應了由自變項與依變項所形成的線性迴歸模式的契合度反應了由自變項與依變項所形成的線性迴歸模式的契合度（goodness of fitgoodness of fit）l l又稱為迴歸模型的決定係數（又

4、稱為迴歸模型的決定係數（coefficient of determinationcoefficient of determination），），R2R2開方後可得開方後可得multiple multiple R R，為自變項與依變項的多元相關。，為自變項與依變項的多元相關。l l此一數值是否具有統計上的意義，反映了此一迴歸分析或此一數值是否具有統計上的意義，反映了此一迴歸分析或預測力是否具有統計上的意義，必須透過預測力是否具有統計上的意義，必須透過F F考驗來判斷考驗來判斷 4 4Adjusted R2l l以樣本統計量推導出來的以樣本統計量推導出來的R R2 2來評估整體模式的解來評估整體模

5、式的解釋力，並進而推論到母群體時，會有高估的傾向釋力，並進而推論到母群體時，會有高估的傾向 l l樣本數越小，越容易高估，解釋力膨脹效果越明樣本數越小，越容易高估，解釋力膨脹效果越明顯，樣本數越大，膨脹情形越輕微顯，樣本數越大，膨脹情形越輕微 l l校正後校正後R R2 2（adjusted Radjusted R2 2），可以減輕因為樣本估），可以減輕因為樣本估計帶來的計帶來的R2R2膨脹效果。當樣本數越小，應採用校膨脹效果。當樣本數越小，應採用校正後正後R R2 2。5 5迴歸係數(regression coefficient)l l迴歸方程式迴歸方程式Y=bX+aY=bX+al lB B

6、係數：係數：l l為一未標準化的迴歸係數，其意義為每單位為一未標準化的迴歸係數，其意義為每單位X X值的變動時，值的變動時，Y Y所變動的原始量所變動的原始量l lB B係數適用於實務工作的預測數值的計算係數適用於實務工作的預測數值的計算l l 係數：係數：l l如果將如果將b b值乘以值乘以X X變項的標準差再除以變項的標準差再除以Y Y變項的標準差，即變項的標準差，即可去除單位的影響，並控制兩個變項的分散情形，得到新可去除單位的影響，並控制兩個變項的分散情形，得到新的數值的數值（BetaBeta），為不具備特定單位的標準化迴歸係數），為不具備特定單位的標準化迴歸係數l l 係數也是將係數也

7、是將X X與與Y Y變項所有數值轉換成變項所有數值轉換成Z Z分數後，所計算得到的迴歸方分數後，所計算得到的迴歸方程式的斜率，該方程式通過程式的斜率，該方程式通過ZXZX，ZYZY的零點，因此截距為的零點，因此截距為0 0。l l 係數具有與相關係數相似的性質，也就是介於係數具有與相關係數相似的性質，也就是介於-1-1至至+1+1之間，其絕對值之間，其絕對值越大者，表示預測能力越強，正負向則代表越大者，表示預測能力越強，正負向則代表X X與與Y Y變項的關係方向。變項的關係方向。l l 係數適用於變項解釋力的比較，偏向學術用途係數適用於變項解釋力的比較，偏向學術用途6 6多元共線性的檢驗l l

8、對於某一個自變項共線性的檢驗，可以使用容忍值（對於某一個自變項共線性的檢驗，可以使用容忍值（tolerancetolerance）或變異數膨脹因素（或變異數膨脹因素（variance inflation factor,VIFvariance inflation factor,VIF）來評估。）來評估。l lRi2Ri2為某一個自變項被其他自變項當作依變項來預測時，該自變為某一個自變項被其他自變項當作依變項來預測時，該自變項可以被解釋的比例，項可以被解釋的比例，1-1-Ri2Ri2（容忍值）為該自變項被其他自變（容忍值）為該自變項被其他自變項無法解釋的殘差比項無法解釋的殘差比 l lRi2Ri2

9、比例越高，容忍值越小，代表預測變項不可解釋殘差比低，比例越高，容忍值越小，代表預測變項不可解釋殘差比低，VIFVIF越大，即預測變項迴歸係數的變異數增加，共變性越明顯。越大，即預測變項迴歸係數的變異數增加，共變性越明顯。l l整體迴歸模式的共線性診斷可以透過特徵值（整體迴歸模式的共線性診斷可以透過特徵值（eigenvalueeigenvalue）與條）與條件指數（件指數（conditional index;CIconditional index;CI）來判斷。）來判斷。l l各變量相對的變異數比例（各變量相對的變異數比例（variance proportionsvariance proport

10、ions），可看出自變項），可看出自變項之間多元共線性的結構特性。當任兩變項在同一個特徵值上的變之間多元共線性的結構特性。當任兩變項在同一個特徵值上的變異數比例接近異數比例接近1 1時，表示存在共線性組合。時，表示存在共線性組合。7 7Basic assumptions to regressionl lAssumptionsAssumptionsl lAssumptions for residuals(error scores)Assumptions for residuals(error scores)l lZero MeanZero Meanl lHomoscedasticHomosced

11、asticl lIndependence with predictorsIndependence with predictorsl lNormalityNormalityl lAssumptions for specification errorsAssumptions for specification errorsl lLinear relationshipLinear relationshipl lAll relevant predictors must be includedAll relevant predictors must be includedl lNo irrelevant

12、 predictors can be includedNo irrelevant predictors can be includedl lAssumptions for measurement errorsAssumptions for measurement errorsl lRelevant measurement procedures and variable selectionsRelevant measurement procedures and variable selectionsl lProvidence of the goodness index of measuremen

13、tProvidence of the goodness index of measurement8 8Issues in Regressionl lMulticollinearityMulticollinearityl lTheoretical issuesTheoretical issuesl lAnalytic or Technical issuesAnalytic or Technical issuesl lMeasurement issuesMeasurement issuesl lCategorical variable as predictorsCategorical variab

14、le as predictorsl lEffect codingEffect codingl lDummy codingDummy codingl lType of regression analysisType of regression analysisl lDetermination of selection procedures of predictorsDetermination of selection procedures of predictorsl lSimultaneous regressionSimultaneous regressionl lStepwise regre

15、ssionStepwise regressionl lHierarchical regressionHierarchical regressionl lControlling for Type I and II errorControlling for Type I and II errorl lLess is moreLess is morel lTheoretical considerationTheoretical considerationl lMeasurement considerationMeasurement consideration9 9Homoscedasticity a

16、nd Standard error of estimate;SEest1010多元迴歸的應用策略1111迴歸的應用模式迴歸的應用模式l lTwo applications of correlation and regressionl lPredictionPrediction To predict events or behavior for practical To predict events or behavior for practical decision-making purposes in applied settingsdecision-making purposes in a

17、pplied settingsl lExplanationExplanation To understand or explain the nature of a To understand or explain the nature of a phenomenon for purpose of testing or developing phenomenon for purpose of testing or developing theoriestheories1212預測型迴歸預測型迴歸l lDetermining the Determining the predictor variab

18、lespredictor variables and and criterion variables criterion variables l lSearching for valid variables and removing the unnecessary variablesSearching for valid variables and removing the unnecessary variablesl lDeriving a linear formula:multiple regression equation(Usage of Deriving a linear formu

19、la:multiple regression equation(Usage of derivation study)derivation study)l lLinear equation is custom-made,therefore the accuracy and degree of Linear equation is custom-made,therefore the accuracy and degree of relationship may shrink among studiesrelationship may shrink among studiesl lStrategy

20、for shrinkageStrategy for shrinkagel lCross-validation studyCross-validation study Conducting a second study to evaluate how well the formula form the Conducting a second study to evaluate how well the formula form the derivation study actually predicts for other people from the same population deri

21、vation study actually predicts for other people from the same population l lShrinkage formulasShrinkage formulas determining the amount of shrinkage by obtain an estimate by means of one of determining the amount of shrinkage by obtain an estimate by means of one of several formulas,correcting for t

22、he number of predictors relative to the several formulas,correcting for the number of predictors relative to the number of subjectsnumber of subjects1313預測型迴歸的程序預測型迴歸的程序l lMultiple regression equationMultiple regression equationl lPartial regression coefficientsPartial regression coefficientsl lInte

23、rcept:score of the criterion varible when all of the predictors are Intercept:score of the criterion varible when all of the predictors are zerozerol lPredicted score Predicted score l lRaw scoreRaw score or or standard scorestandard score regression equation regression equationl lAccuracy of predic

24、tionAccuracy of predictionl lMultiple correlation coefficient(R)Multiple correlation coefficient(R)l lCoefficient of multiple determination(RCoefficient of multiple determination(R2 2)l lSimultaneousSimultaneous or or stepwisestepwise procedure procedure l lSignificance test for RSignificance test f

25、or R2 2 by ANOVA by ANOVAl lInterval estimation(standard error of estimate;SEInterval estimation(standard error of estimate;SEestest)l lStandard deviation of the distribution of the error scoresStandard deviation of the distribution of the error scoresl l95%confident interval of predicted scores95%c

26、onfident interval of predicted scores1414解釋型迴歸解釋型迴歸 l lConceptualization to the differencesConceptualization to the differences l lThe ability to make causative and explanatory interpretations is The ability to make causative and explanatory interpretations is determined primarily by the design of t

27、he data collection and the logic determined primarily by the design of the data collection and the logic of the reasoning rather than by the procedures for analyzing the dataof the reasoning rather than by the procedures for analyzing the datal lIncluding and dropping predictor variables has to be u

28、nder in both Including and dropping predictor variables has to be under in both serious theoretical consideration or data analysis proceduresserious theoretical consideration or data analysis proceduresl lTwo main tasksTwo main tasksl lIdentifying those factors with which is co-occursIdentifying tho

29、se factors with which is co-occursl lRuling out plausible alternative causal explanations using statistical Ruling out plausible alternative causal explanations using statistical control instead of experimental controlcontrol instead of experimental control1515解釋型迴歸的程序解釋型迴歸的程序l lAccuracy of explanat

30、ionAccuracy of explanationl lMultiple correlation coefficient(R)Multiple correlation coefficient(R)l lCoefficient of multiple determination(RCoefficient of multiple determination(R2 2)l lSignificance test for RSignificance test for R2 2 by ANOVA by ANOVAl lIndependent contribution and statistical co

31、ntrolIndependent contribution and statistical controll lCorrelation coefficientsCorrelation coefficientsl lFirst-order,partial,part coefficientsFirst-order,partial,part coefficientsl lPartial regression coefficientsPartial regression coefficientsl lRaw or Standardized coefficientsRaw or Standardized

32、 coefficientsl lRelative importance of predictorsRelative importance of predictors1616多元迴歸的變項選擇程序：II 技術考量：逐步分析法（stepwise multiple regression）l l所有的預測變項並非同時被取用來進行預測，而是依據解所有的預測變項並非同時被取用來進行預測，而是依據解釋力的大小，逐步的檢視每一個預測變項的影響，稱為逐釋力的大小，逐步的檢視每一個預測變項的影響，稱為逐步分析法。步分析法。l l(一一)順向進入法（順向進入法（forwardforward）l l預測變項的取用順序

33、，以具有最大預測力且達統計顯著水準的獨變預測變項的取用順序，以具有最大預測力且達統計顯著水準的獨變項首先被選用，然後依序納入方程式中，直到所有達顯著的預測變項首先被選用，然後依序納入方程式中，直到所有達顯著的預測變項均被納入迴歸方程式。項均被納入迴歸方程式。l l(二二)反向淘汰法（反向淘汰法（backwordbackword）l l與順向進入法相反的程序，所有的預測變項先以同時分析法的方式與順向進入法相反的程序，所有的預測變項先以同時分析法的方式納入迴歸方程式的運算當中，然後逐步的將未達統計顯著水準的預納入迴歸方程式的運算當中，然後逐步的將未達統計顯著水準的預測變項，以最弱、次弱的順序自方程

34、式中予以排除。直到所有未達測變項，以最弱、次弱的順序自方程式中予以排除。直到所有未達顯著的預測變項均被淘汰完畢為止。顯著的預測變項均被淘汰完畢為止。l l(三三)逐步分析法（逐步分析法（stepwisestepwise）l l綜合順向進入法與反向淘汰法，綜合順向進入法與反向淘汰法，1717多元迴歸的變項選擇程序：I 理論考量：同時、階層與路徑l l同時分析法同時分析法（simultaneous multiple regressionsimultaneous multiple regression）l l所有的預測變項同時納入迴歸方程式當中。所有的預測變項同時納入迴歸方程式當中。l l(一一)強

35、制進入法強制進入法l l在某一顯著水準下，將所有對於依變項具有解釋力的預測在某一顯著水準下，將所有對於依變項具有解釋力的預測變項納入迴歸方程式，不考慮預測變數間的關係，計算所變項納入迴歸方程式，不考慮預測變數間的關係，計算所有變數的迴歸係數。有變數的迴歸係數。l l(二二)強制淘汰法強制淘汰法l l與強迫進入法相反，強制淘汰法之原理為在某一顯著水準與強迫進入法相反，強制淘汰法之原理為在某一顯著水準下，將所有對於依變項沒有解釋力的預測變項，不考慮預下，將所有對於依變項沒有解釋力的預測變項，不考慮預測變數間的關係，一次全部排除在迴歸方程式之外，再計測變數間的關係，一次全部排除在迴歸方程式之外，再計

36、算所有保留在迴歸方程式中的預測變數的迴歸係數。算所有保留在迴歸方程式中的預測變數的迴歸係數。l l階層分析法階層分析法（hierarchical multiple regressionhierarchical multiple regression）l l預測變項間可能具有特定的先後關係，而需依照研預測變項間可能具有特定的先後關係，而需依照研究者的設計，以特定的順序來進行分析。究者的設計，以特定的順序來進行分析。1818逐步法與同時法比較l l逐步分析法較同時進入法可以找到最有預測力的逐步分析法較同時進入法可以找到最有預測力的變項，同時也可以避免共線性的影響，適合做探變項，同時也可以避免共線性

37、的影響，適合做探索性的研究使用。索性的研究使用。l l逐步法適合用以預測性研究，協助建立最佳預測逐步法適合用以預測性研究，協助建立最佳預測模型模型l l逐步法是以統計程序處理變項重要性，在理論解逐步法是以統計程序處理變項重要性，在理論解釋性研究缺乏基礎釋性研究缺乏基礎l l同時法的優點則是可以從整體效果模式中看到所同時法的優點則是可以從整體效果模式中看到所有自變項的效果，每一個自變項的解釋力皆被考有自變項的效果，每一個自變項的解釋力皆被考慮與呈現。慮與呈現。1919範例說明2020相關矩陣2121模式檢驗模式顯著性整體考驗用以檢驗整體迴歸模式的顯著性。F考驗值16.522與p=.009顯示上述

38、89.6%的迴歸解釋力是具有統計意義模式摘要顯示自變項對依變項的整體解釋力。所有自變項可以解釋依變項95.4%的變異。調整後的R平方為89.6%，因樣本小，宜採校正後的R平方。2222參數估計與共線性分析共線性估計個別變項預測力的檢驗。允差(即容忍值)越小，VIF越大表示共線性明顯。如期中考成績與其他自變項之共線性嚴重。整體模式的共線性檢驗特徵值越小，條件指標越大，表示模式的共線性明顯。條件指標181.422顯示有嚴重的共線性問題，偏高的變異數比例指出作業分數(.76)、期中考(.80)與期末考成績(.85)之間具有明顯共線性。2323殘差分析檢驗極端值的存在，以及是否違反常態性假設。殘差為觀察值與預測值的差，殘差越大表示誤差越大，標準化後的殘差絕對值若大於1.96表示為偏離值。雖無明顯偏離值，但是殘差並非呈現常態分配。(因樣本過少)。2424逐步迴歸法逐步迴歸法自變項進入或刪除清單。與選擇標準。進入以F機率.05，刪除以F機率.10為標準總計兩個變項分兩個步驟(模式)被選入迴歸方程式。期末考成績與缺席次數。2525模式檢驗2626參數估計2727