测验的信度与效度word版本.ppt

《测验的信度与效度word版本.ppt》由会员分享，可在线阅读，更多相关《测验的信度与效度word版本.ppt（49页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、测验的信度与效度信度的意義測量的一致性(就內容而言)或穩定性(就時間而言)，幾次測驗結果是否一致的程度範例一天之內以同一磅秤多次測量某人體重一天之內以同一磅秤多次測量某人體重結果一：大致相同結果一：大致相同測量結果可靠測量結果可靠結果二：有顯著性的差異結果二：有顯著性的差異測量結果不可靠測量結果不可靠信度並非全有或全無，而是程度的問題。若多次重複測量的結果都非常接近，則說明該評量結果信度高;反之，若各次評量結果的變異大，則信度低。與物質、生理特徵的測量相較，心理測驗的測量精確度較低。誤差來源個人狀況個人狀況(身體不適、大意身體不適、大意)題目本身的合宜性題目本身的合宜性(太難、太容易太難、太容

2、易)測驗情境的影響測驗情境的影響(實施、計分的錯誤實施、計分的錯誤)信度的原理實得分數與真正分數實得分數(X)=真正分數(T)+誤差分數(E)實得分數變異數(S2X)=真正分數變異數(S2T)+誤差分數變異數(S2E)信度變異=S2T/S2X信度的類型信度的類型再測信度（test-retest reliability）係指以同一種測量工具，對同一群受試者，前係指以同一種測量工具，對同一群受試者，前後測驗兩次的後測驗兩次的相關係數相關係數。又稱。又稱穩定係數穩定係數。通常。通常時間越長，再測信度越低時間越長，再測信度越低常見於：智力、性向、人格等測驗常見於：智力、性向、人格等測驗通常個別化診斷測

3、驗信度係數須達通常個別化診斷測驗信度係數須達.90.90，團體測，團體測驗為驗為.80.80，篩選測驗為，篩選測驗為.60.60優缺點？優缺點？信度的類型複本信度（複本信度（a1ternate-form reliabilitya1ternate-form reliability）同一群受試者接受兩種複本測驗的得分之同一群受試者接受兩種複本測驗的得分之相關係數。相關係數。複本常見於團體化測驗，可相互替代使用複本常見於團體化測驗，可相互替代使用(例如前後測例如前後測)，使用便利，使用便利 複本測驗需要在內容、型式、題數、難度、測驗指導複本測驗需要在內容、型式、題數、難度、測驗指導與時間等都需要與原

4、測驗相等，與時間等都需要與原測驗相等，主要誤差來源：內容取樣、時間間隔、練習效果、學主要誤差來源：內容取樣、時間間隔、練習效果、學習遷移習遷移 優缺點？優缺點？信度的類型內部一致性係數（coefficient of internal consistencycoefficient of internal consistency）反映測量工具內部同質性、一致性或穩定度。反映測量工具內部同質性、一致性或穩定度。同質性越高，代表量表試題是在同質性越高，代表量表試題是在測量相同的特測量相同的特質質。常用方法有：。常用方法有：方法方法庫李庫李(KR20)(1937)(KR20)(1937)適用於二分變數適

5、用於二分變數(對錯對錯)的測量的測量Cronbachs(1951)Cronbachs(1951)適用於多元尺度變數適用於多元尺度變數(多元計分多元計分)的測量的測量折半信度折半信度（split-half reliabilitysplit-half reliability）：測驗題目依題目）：測驗題目依題目的單雙數或其他方法分成兩半，計算受測者在兩半的單雙數或其他方法分成兩半，計算受測者在兩半測驗上的分數的相關係數。測驗上的分數的相關係數。優缺點？優缺點？信度的類型評分者間信度(inter-rater reliability)：不同的不同的評量者的觀察、紀錄、評分評量者的觀察、紀錄、評分的一致性

6、。的一致性。傳統：相關係數、同意百分比法傳統：相關係數、同意百分比法近代：類推性理論近代：類推性理論影響信度的因素影響信度的關鍵因素是測量誤差，可以減低誤差的方法，即影響信度的關鍵因素是測量誤差，可以減低誤差的方法，即能夠提高信度。能夠提高信度。基本原理：中央極限定理基本原理：中央極限定理 、測量標準誤、共變量的計算、測量標準誤、共變量的計算 影響信度的因素影響信度的因素 受試者因素（如受測者的身心健康狀況、動機、注意力、受試者因素（如受測者的身心健康狀況、動機、注意力、持久性、作答態度等變動）持久性、作答態度等變動）主試者因素（如非標準化的測驗程序、主試者的偏頗與主試者因素（如非標準化的測驗

7、程序、主試者的偏頗與暗示、評分的主觀性等等）暗示、評分的主觀性等等）測驗情境因素（測驗環境條件如通風、光線、聲音、桌測驗情境因素（測驗環境條件如通風、光線、聲音、桌面、空間因素等皆有影響的作用）面、空間因素等皆有影響的作用）測驗內容因素（試題取樣不當、內部一致性低、題數過測驗內容因素（試題取樣不當、內部一致性低、題數過少等）少等）時間因素時間因素 效度效度的意義n n效度的意義l l測量的測量的正確性正確性，指測驗或其他測量，指測驗或其他測量工具確能測得其所欲測量的特質或工具確能測得其所欲測量的特質或功能之程度功能之程度l l測量的效度愈高，表示測量的結果測量的效度愈高，表示測量的結果愈能顯現

8、其所欲測量對象的真正特愈能顯現其所欲測量對象的真正特徵徵 評估效度的方法n n判斷法（informed judgmentinformed judgment）l l測量特性與質的評估測量特性與質的評估 n n實徵法（gathering of empirical evidencegathering of empirical evidence）l l根據具體客觀的量化指標來進行評根據具體客觀的量化指標來進行評估估效度的類型n n內容效度（content validitycontent validity）n n效標關聯效度（criterion-related validitycriterion-rel

9、ated validity）n n建構效度（construct validityconstruct validity）內容效度（content validitycontent validity）n n內容效度l l反映測量工具本身內容廣度的適切程度，反映測量工具本身內容廣度的適切程度，強調測量內容強調測量內容(教材內容或預期的行為教材內容或預期的行為)的的廣度、涵蓋性與豐富性廣度、涵蓋性與豐富性 ，以做為外在推，以做為外在推論的主要依據。論的主要依據。l l針對測量工具的目標和內容，以系統的針對測量工具的目標和內容，以系統的邏輯方法來詳細分析，又稱為邏輯方法來詳細分析，又稱為邏輯效度邏輯效度（

10、1ogical validity1ogical validity）l l表面效度（表面效度（face validityface validity），指測量工具），指測量工具在外顯形式上的有效程度在外顯形式上的有效程度 l l限制：出於邏輯判斷，缺乏實證的統計限制：出於邏輯判斷，缺乏實證的統計數據評估指標，需以判斷法來進行效度數據評估指標，需以判斷法來進行效度評估評估內容效度的判斷方式n n專家效度專家效度n n雙向細目表雙向細目表l l表格左方表示教學所欲達成的目標，表格左方表示教學所欲達成的目標，上方表示教材內容範圍，並逐一檢上方表示教材內容範圍，並逐一檢視每一試題以考驗整份測驗之內容視每一

11、試題以考驗整份測驗之內容效度效度雙向細目表題數題數內內容範圍容範圍行為目標行為目標細胞能量代謝光合作用呼吸作用生物分子總題數分數百分比知識知識02110446.7理解理解201227711.7應用應用121116610.0分析分析112116610.0綜合綜合211217711.7評鑑評鑑01121558.3情意情意10111446.7技能技能10010223.3簡答題簡答題1111151931.7總題數總題數98912846分數分數111014151060百分比百分比18.316.723.325.016.7100提高內容效度的方法n n列出教材內容各項重點與所要測量的學習結果或行為n n各項

12、教材重點和學習結果要以相對的重要性來加權n n依據雙向細目表來編製測驗，所編製的測驗越符合細目表各細格所佔的比重，則內容效度越高。效標關聯效度意義 （criterion-related validitycriterion-related validity）n n效標關聯效度效標關聯效度l l測驗分數測驗分數與與外在效標外在效標之間的一致程度之間的一致程度l l外在效標：測驗所要測量的某些行為或外在效標：測驗所要測量的某些行為或特質的代表量數特質的代表量數l l又稱實證效度、統計效度。又稱實證效度、統計效度。l l以測驗分數和特定效標（以測驗分數和特定效標（criterioncriterion）

13、之）之間的相關係數，表示測量工具有效性之間的相關係數，表示測量工具有效性之高低。高低。l l個別測驗效度係數小於個別測驗效度係數小於.70.70，團體測驗，團體測驗效度係數小於效度係數小於.60.60，就需要謹慎地解釋，就需要謹慎地解釋效標關聯效度類型n n同時效度（concurrent validityconcurrent validity）：）：l l效標資料需在測量同時可以獲得之效標資料需在測量同時可以獲得之數據數據l l係指一種測驗與現有效標之間的相係指一種測驗與現有效標之間的相關程度所建立的效度。關程度所建立的效度。l l例如例如n n新編製一份幼兒發展量表，欲建新編製一份幼兒發展量

14、表，欲建立其效度，可對具有代表性的幼兒施立其效度，可對具有代表性的幼兒施測，並得一組分數，然後收集該群幼測，並得一組分數，然後收集該群幼兒在校實際發展情形，又得到一組分兒在校實際發展情形，又得到一組分數，並計算兩組之間的關係，所得相數，並計算兩組之間的關係，所得相關係數即為該測驗的同時效度。關係數即為該測驗的同時效度。效標關聯效度類型n n預測效度（predictive validity)：l l效標需在測量後再行收集者效標需在測量後再行收集者l l係指測驗分數與實施測係指測驗分數與實施測 驗一段時間驗一段時間後的實際行為表現，兩者之間的相後的實際行為表現，兩者之間的相關係數為預測效度，主要目

15、的存使關係數為預測效度，主要目的存使用測驗分數預測個人未來的表現。用測驗分數預測個人未來的表現。l l例如，想了解幼兒認知能力測驗例如，想了解幼兒認知能力測驗的效度，可先施測一群幼兒，等的效度，可先施測一群幼兒，等到孩子讀小學後，再蒐集其學業成到孩子讀小學後，再蒐集其學業成績做為效標，計算效標與早期測驗績做為效標，計算效標與早期測驗分數之相關，所求得的相關係數就分數之相關，所求得的相關係數就足預測效度。足預測效度。效標關聯效度的思考流程透過與效標間的相關透過與效標間的相關待檢驗其有效性的評量工具(如數學科成就測驗)作為效標的工具(如數理邏輯能力測驗)以以推推論論特質(如數理邏輯能力)效標關聯效

16、度的判斷方式n n相關係數建構效度n n建構效度（建構效度（construct validityconstruct validity）l l建構：是指一種理論性的架構，用建構：是指一種理論性的架構，用以說明某種具有持續性的心理特質以說明某種具有持續性的心理特質或屬性（例：智力、性向、人格或屬性（例：智力、性向、人格.）l l建構效度：指測量工具能測得一個建構效度：指測量工具能測得一個抽象概念或特質的程度抽象概念或特質的程度l l建構效度的檢驗需建立在建構效度的檢驗需建立在特定的理特定的理論基礎上論基礎上，透過理論的澄清，引導，透過理論的澄清，引導出各項相關於潛在特質或行為表現出各項相關於潛在特

17、質或行為表現的基本假設，並以實徵的方法，查的基本假設，並以實徵的方法，查核測量結果是否符合理論假設的內核測量結果是否符合理論假設的內涵涵建構效度範例魏氏智力測驗n n魏氏兒童智力量表便認為智力是一魏氏兒童智力量表便認為智力是一種總體性的行為表現種總體性的行為表現(陳榮華，民陳榮華，民8686，頁，頁2)2)，n n測驗編製採用測驗編製採用WechslerWechsler的定義，將智的定義，將智力界定為個體能夠有目的地行動、理力界定為個體能夠有目的地行動、理性地思考、並且有效地應付環境。性地思考、並且有效地應付環境。n n智力的構念解析為第一層次兩個向度智力的構念解析為第一層次兩個向度之能力：語

18、文與作業，以及第二層次之能力：語文與作業，以及第二層次的各個分測驗面向的各個分測驗面向第一層次第一層次第二層次第二層次常識常識類同類同算術算術語文語文辭彙辭彙理解理解記憶廣度記憶廣度智力智力圖形補充圖形補充符號替代符號替代連環圖系連環圖系作業作業圖形設計圖形設計物形配置物形配置符號尋找符號尋找迷津測驗迷津測驗字彙空間n n魏氏智力測驗的構念效度便在探討分魏氏智力測驗的構念效度便在探討分測驗中的各個題目是否可聯合相互支測驗中的各個題目是否可聯合相互支持說明第二層次的分測驗面向持說明第二層次的分測驗面向;而第二而第二層次的分測驗各面向又是否能夠相互層次的分測驗各面向又是否能夠相互支持解釋上屬第一層

19、次的向度能力支持解釋上屬第一層次的向度能力;最最後，此二不同向度能力是否能夠組合後，此二不同向度能力是否能夠組合起來解釋總體智力的運作狀況。起來解釋總體智力的運作狀況。n n如此階層性地將構念解析到最小單位如此階層性地將構念解析到最小單位一測驗題目，便是建立構念效度的第一測驗題目，便是建立構念效度的第一步驟。一步驟。獲得建構效度的方法(1)(1)發展上的改變發展上的改變n n對比樣本n n許多學前發展量表或智力測驗在建立效度時是以年齡差異為主要效標n n例如貝萊嬰幼兒發展量表以生理年齡來驗證其效度，瞭解測驗分數是否隨年齡增加而增加。各年齡層在托尼非語文智力測驗甲乙兩式量表得分關係圖，獲得建構效

20、度的方法 (2)(2)相關研究相關研究n n新編製的測驗與一份大家公認有效的類似測驗之間所求得的相關。n n例如新編的智力測驗分數和魏氏兒童智力量表的相關不錯，表示此新編的測驗也能測量類似魏氏兒童智力量表中智力這個構念。獲得建構效度的方法(3)(3)內部一致性分析，試題分析內部一致性分析，試題分析n n內部一致性分析的特徵是以測驗本身內部一致性分析的特徵是以測驗本身的總分為效標，如果採用對照團體的的總分為效標，如果採用對照團體的方法分析時，可依據測驗總分的高低方法分析時，可依據測驗總分的高低將受試者分成高分組與低分組，然後將受試者分成高分組與低分組，然後比較兩組在各個題目上的答對比例，比較兩組

21、在各個題目上的答對比例，如果題目顯示高分組答對比例不顯著如果題目顯示高分組答對比例不顯著高於低分組，則此題目是無效的，應高於低分組，則此題目是無效的，應該刪除或加以修改該刪除或加以修改(郭生玉，民郭生玉，民76)76)。n n除了對照團體方法外，也可採用相關除了對照團體方法外，也可採用相關方法及計算分測驗與總分之間的相關，方法及計算分測驗與總分之間的相關，求取效度。求取效度。獲得建構效度的方法(4)(4)因素分析因素分析(factor analysis)(factor analysis)n n因素分析是一種統計方法，主要足藉著共同因素的發現以確定題目中的結構成份n n如果原測驗有30個題目，經

22、由因素分析程序，減少為五個因素，倘若此五個因素能解釋30個題目，我們即以五個因素類型表示測驗的特性。獲得建構效度的方法聚斂效度聚斂效度(convergent validity)(convergent validity)與區別效度與區別效度(dischminant validity)(dischminant validity)(5)(5)多元特質多重方法矩陣法多元特質多重方法矩陣法n n一個測驗分數，不僅要與同樣構念的其他測驗分數有高相關，也要與不同構念的其他測驗分數有低相關，前者為聚斂性效度，後者為區別效度。多元特質多重方法矩陣法-範例問卷問卷評定量表評定量表能力能力態度態度能力能力態度態度問

23、問卷卷能力能力.89.89態度態度-.13-.13.93.93評評定定量量表表能力能力.59.59-.37-.37.95.95態度態度-.39-.39.62.62-.20-.20.95.95紅：單一特質-單一方法。複本信度（相關最高）藍：單一特質-多重方法。聚斂效度（相關次高）綠：多元特質-單一方法。區辨效度（低相關或無相關）多元特質多重方法矩陣法範例國語國語數學數學客觀測驗客觀測驗1 1作業評等作業評等1 1客觀測驗客觀測驗1 1作業評等作業評等1 1國國語語客觀測驗客觀測驗2 2A AB BC CD D作業評等作業評等2 2B BA AD DC C數數學學客觀測驗客觀測驗2 2C CD D

24、A AB B作業評等作業評等2 2D DC CB BA AA：複本信度（相關最高）B：聚斂效度（相關次高）C、D：區辨效度（低相關或無相關）多元特質多重方法矩陣法多元特質多重方法矩陣法n n測量結果有四種關係l l1.1.兩測驗若是以相同方法測量相同兩測驗若是以相同方法測量相同特質時，其相關應是最高的（相當特質時，其相關應是最高的（相當於複本信度）於複本信度）l l2.2.兩測驗若是以不同方法測量相同兩測驗若是以不同方法測量相同特質時，其相關應是次高的特質時，其相關應是次高的【聚斂聚斂效度效度】l l3.3.兩測驗若是以相同方法測量不同兩測驗若是以相同方法測量不同特質時，其相關應是較低的特質時

25、，其相關應是較低的【區別區別效度效度】l l4.4.兩測驗若是以不同方法測量不同兩測驗若是以不同方法測量不同特質時，其相關應是較低的特質時，其相關應是較低的【區別區別效度效度】多元特質多重方法矩陣法範例方方法法一一特質特質A A1 1B B1 1C C1 1方方A A2 2.63.63.31.31.10.10法法B B2 2.28.28.71.71.11.11二二C C2 2.16.16.07.07.75.75聚斂效度（相關高）：不同方法測相同特質區辨效度（低相關或無相關）：相同方法測不同特質，不同方法測不同特質影響效度的因素 n n測量過程因素l l實施過程標準化實施過程標準化 n n樣本性質l l選用異質性高的樣本選用異質性高的樣本l l樣本的代表性樣本的代表性 n n效標因素 l l不適當的效標選用不適當的效標選用l l效標本身的測量品質效標本身的測量品質 n n干擾變項 l l智力、性別、興趣、動機、情緒、智力、性別、興趣、動機、情緒、態度、身心狀況態度、身心狀況.。此课件下载可自行编辑修改，仅供参考！此课件下载可自行编辑修改，仅供参考！感谢您的支持，我们努力做得更好！谢谢感谢您的支持，我们努力做得更好！谢谢