(14)--医学研究生PBL教学评价问卷的编制及信度和效度分析.pdf

《(14)--医学研究生PBL教学评价问卷的编制及信度和效度分析.pdf》由会员分享，可在线阅读，更多相关《(14)--医学研究生PBL教学评价问卷的编制及信度和效度分析.pdf（4页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、现代预防医学2013年第40卷第9期Modern Preventive Medicine，2013，Vol.40，NO.9继续医学教育医学研究生 P B L教学评价问卷的编制及信度和效度分析摘要：目的编制标准化的医学研究生PBL教学质量评价问卷，为科学评价PBL模式的教学效果提供工具。方法从问卷的结构设计、答案项的分级与赋值，以及问卷的质量控制等方面，科学编制PBL教学评价问卷。采用现场调查方式，对其进行信度、效度检验。信度检验用ICC、Cronbach 系数和Kendalls W系数来评价，效度检验用单项与总和相关分析法和因子分析方法来评价。结果编制形成了医学研究生PBL教学质量评价问卷，重

2、测信度ICC0.75；内部一致性信度总Cronbach 为0.938；评分者信度Kendalls W为0.878（P0.05）；内容效度问卷各条目得分与总分的相关系数在0.4070.764（P0.01）；结构效度的因子分析结果与问卷设计结构完全吻合。结论该问卷具有良好的信度和效度，可广泛应用于医学研究生PBL课程的教学质量评价。关键词：医学研究生；PBL问卷；信度；效度中图分类号：R195文献标志码：A文章编号：1003-8507（2013）09-1796-04Compilation of quality evaluation questionnaire on PBL curriculum f

3、ormedical postgraduate and analysis of its reliability and validityZU Ya-qiong，MA Jun.Tianjin Medical University，Tianjin 300070，ChinaAbstract：OBJECTIVE To work out quality evaluation questionnaire on PBL，in order to provide a tool for scientific evalua-tion of PBL curriculum for medical postgraduate

4、.METHODS The questionnaire was set up，which took structural design，clas-sification of answers，quality control，etc.into consideration.Test-retest on reliability was determined by“Intraclass CorrelationCoefficient”，reliability was determined by ICC，Cronbach and Kendalls W，validity was determined by It

5、ems and SumCorrelation Method and Factor Analysis respectively.RESULTS The questionnaire of teaching effects on PBL curriculum formedical postgraduate was set up.Test-retest reliability by Intraclass Correlation Coefficient was0.75；Internal consistency reli-ability by Cronbach of totality was 0.938；

6、Scorer reliability by Kendalls W was 0.878（P0.05）；In the questionnaire ofthe content validity，the correlation coefficient between items and sum score was 0.407-0.764（P0.01）；In construct validi-ty，the result of the factor analysis was coincident with construction of questionnaire.CONCLUSION The resul

7、ts demonstratethe questionnaire has a good reliability and validity，and can be widely applied in quality evaluation of PBL curriculum for med-ical postgraduate.Key words：Medical postgraduate；Questionnaire on PBL；Reliability；ValidityPBL（Problem-Based Learning）“以问题为中心”的教学方法，是当前国际医学教育教学改革的主流方法之一1。随着现代医

8、学教学模式的不断更新、终身教育理念的提出，PBL模式的实践在国内多所高校的本科生教学中逐渐开展，并取得了突破性进展，而在研究生教学中的尝试尚处起步阶段。随着PBL在医学教学领域应用的不断扩大，对PBL课程教学质量基金项目：教育部2009年度人文社会科学研究规划基金项目“医学研 究 生PBL教 学 模 式 的 构 建 及 评 价 体 系 研 究”成 果（09YJAZH066）作者简介：祖雅琼（1981-），女，硕士，助理研究员，研究方向：医学研究生教育通讯作者：马骏，博士生导师，教授，研究方向：卫生统计学与综合评价决策，E-mail：评价方法的研究显得尤为重要。国内的一些学者对PBL课程的评价进

9、行了相关研究，但此类研究大都是基于单门课程或单个小班传统教学模式与PBL模式的对照研究，或是理论性的经验总结和对国外情况的介绍。在PBL模式的教学实践中，尚没有形成有效并经过统计学验证的教学质量评估量表，导致PBL在研究生教学中应用缺乏操作性强的评价标准和工具，这在一定程度上阻碍了PBL模式在医学研究生教学实践中的推广与应用2。应用问卷评估教学质量这一方法是目前世界上最广泛采用的一种教学质量评估手段3。但当前国内为教学质量评价所编制的问卷很少经过科学的统计学检验，信度和效度难以得到保证。基于此，我们在构建完整的医学研究生PBL教学质量评价体系的基础上，编制与之配套的标准化研究生PBL教学质量评

10、价问卷，并进行信度和效度检验，为科学评价医学研究生1796现代预防医学2013年第40卷第9期Modern Preventive Medicine，2013，Vol.40，NO.9PBL教学效果提供工具。1对象与方法1.1调查对象以某医科大学2008级、2009级参与PBL课程的112名硕士研究生为调查对象，对编制的医学研究生PBL教学质量评价问卷的效度和信度进行检验。在验证性因子分析中，采用相同问卷对198名参与课程的2010级硕士研究生再次进行调查。1.2研究方法1.2.1问卷的编制采用“Dephil法”，选聘医学研究生教育和PBL课程教学相关领域的权威专家，建立用于对医学研究生PBL课程

11、教学效果进行测定的评价体系框架；采用层次分析法（AHP）为经专家修订的指标体系中的各级评价指标设定权重，最终构建了包含三级评价指标的医学研究生PBL模式教学质量评价体系4。以该评价体系为基础，参考国内外现有相关量表工具的内容，设计问卷题目，编制半开放式调查问卷。问卷前部分采用封闭式问题，将评价体系中的27个三级指标细化到问卷的题目中，指标与问题逐一对应，对每门PBL课程的实际教学质量进行量化评价，被调查者通过选择已设定选项来作答。后部分设置了两道开放性问题，由被调查人根据主观认识自由回答，以弥补问卷设计者在客观问题部分可能忽略掉的信息。问卷的题目采用统一的正向提问方式，题目顺序安排遵循常规思维

12、过程，题量控制在15 min内完成。问卷的选项选用Likert量表中的5级等距分级来进行设定，分别赋值为5，4，3，2，1，每一个被调查者的态度总分是他对各道题的回答的分数经加权后的加总，这一总分是其对该门课程的总体评价。1.2.2问卷的质量控制为保证收集资料的真实有效性，在调查表的前言中明确本次调查的目的、意义、填表方法以及填表注意事项，并明确该问卷采用不记名的方式进行，从而提高调查信息的可靠性；同时设计了3组用于后期核查问卷有效性的逻辑相关性问题，如问卷中有2组及以上问题的回答存在矛盾，则该份问卷将被筛除，以保证分析数据整体的真实有效性；问卷的收集过程中，将问卷的发放安排在每门PBL课程结

13、课之后，由任课教师以外的专门工作人员完成，避免了由于师生关系情感因素的影响而造成的偏倚，并在问卷发放前就调查的主要目的和方式做简要说明，采用现场发放，现场收回的方式以提高回收率。数据的录入采用双人核对，录入同时进行逻辑校对的方式进行。1.2.3问卷的信度和效度分析信度分析主要采用内部相关系数ICC测量重测信度，Cronbach 系数法测量内部一致性信度，Kendall和谐系数W测量评分者信度；效度分析主要采用“专家判断法”和“单项与总和相关分析法”评价内容效度，结构效度采用探索性因子分析（EFA）与验证 性因 子分 析（CFA）相结合的方法进行检验。统计分析过程采用SPSS13.0和LISRE

14、L 8.7统计软件完成。2结果2.1形成调查问卷问卷共分为3个部分，包括36个问题。其中第一部分用于收集填表人的基本信息；第二部分是该调查问卷的主体部分，将评价体系中的27个三级指标细化到问卷的题目中，用于对教学效果进行量化评价；第三部分为两道开放性问题，问卷答案项由认为等距的5组陈述组成，每一陈述有“非常同意”、“同意”、“不确定”、“不同意”、“非常不同意”5种回答。问卷基本结构见表1。?1?PBL?。?!?#?$%?&?()?*+,?-./0?12?3456?789:;12?!?*ABCDEF?GHEF?IJ KL MN,EFOP?KL MQRSCEFT?U?N,OPV9:WXYCZ?U

15、?_9:*aTWXbcdefdghijkT*lmnopqrs?tp?s?upvwS?xpvs?ypqrvs?N!?z&?U?|?_9:T*l?b?K?H_9?e?2.2一般情况共发放问卷112份，回收问卷109份，根据问卷中设置的逻辑项和完整性进行筛查，得到有效问卷107份，问卷有效率95.5%。其中，男生占45.79%，女生占54.21%；年龄分布在2133岁，平均（24.52 1.74）岁。教学质量评价问卷调查结果可知，被调查者对PBL课程的总体评价得分为（83.53 10.26）分，总体评价得分呈负偏态分布，得分偏向高分一侧，即绝大多数参与学生对我校开设的PBL课程给予了较高评价。2.3

16、问卷的信度和效度分析结果2.3.1问卷的信度分析结果重测信度分析中，采用相同问卷对相同调查对象，间隔2周进行重复测量，共发放调查问卷112份，收回问卷105份，其中有效问卷105份，问卷有效率93.8%。先后二次测量的总分和各问题项的ICC值均0.75。内部一致性信度分析结果，总量表的Cronbach 系数为0.9380.7，达到内部一致性信度要求，问卷3个一级评价指标Cronbach 系数均达到0.7以上，具体见表2。评分者信度分析结果，Kendall W系数为0.878，P=0.000?2?PBL?000?!#?!$?#?%?&?!(?!)*?)?+?,-?!)./?!)(?.$?012?

17、!)(?!)3)?$*?1797现代预防医学2013年第40卷第9期Modern Preventive Medicine，2013，Vol.40，NO.90.05，可认为各评价者给出的评价结果有一致性倾向。2.3.2问卷的效度分析结果内容效度分析中，在本问卷设计之初，通过专家咨询的方式对问卷中各问题项的设置是否能准确的反映所对应评价指标体系中的三级评价指标内涵进行了客观判断。专家认为，量表的构成与研究生教学管理实际相一致，与各三级指标的吻合程度良好，支持内容效度。同时，我们采用“单项与总和相关分析法”对内容效度进行进一步验证，结果显示，该问卷各条目得分与总分的相关系数在0.4070.764（P

18、0.01）之间，相关均达到显著性。结构效度分析中，先行探索性因子分析（EFA）。采用主成分因子分析法，经方差最大正交旋转，得到3个公因子，其累计贡献率为63.543%，且3个共因子分别对应评价体系中的3个一级评价指标，即因子分析结果与问卷设计结构（一级评价指标）完全吻合，具体见表3。?3?!?#?!?#$?!?%#!?&?()*?!?#%?!?+?!?%+?#?,-.*?!?#$?!?&/%?!?/&#?012*?!?!33?!?#?!?%/?45?678?$?9?!?#%/?!?!%?!?$3$?%?:;?/?ABC?!?$+?!?/+?!?&?3?DEFG?!?3&?!?/%&?!?$%?

19、HI?+?JKLM?!?&!/?!?3&+?!?+?!?N?!?&?!?3!$?!?&?&?HO?!?#/?!?%/+?!?3!?PQ?&?RS?!?&?&?!?%?!?#&%?#?T?UV?!?&?!?%$?!?&+#?WXY?!?!$#?!?%&?!?#%$?$?ZR?!?&#!?!?$?&?!?!%?_?%?a?bc?!?$!?!?3+?!?&+3?/?d?!?%!&?!?#$?!?&?PQef?3?ghi?!?%+?!?&?!?#$?+?jk?6PQ?!?/3$?!?3?!?&%?&!?lmPQ?!?%+?!?&!+?!?#3?&?nopqPQ?!?/+!?!?%$?!?+$?&?rs

20、*Ht?!?%+?!?/!?!?&3!?&#?CuvwPQ?!?/&?!?#?&?!?!?+?&?xEPQ?!?%?!?#%#?=!?!?yz|?&$?Ht?!?%&?!?&3+?!?!#?&%?!?%/$?!?!%#?!?/?&/?C?y|?!?%/+?!?$+?!?&$?后 采 用 另 外 的198份 问 卷 资 料 进 行 验 证 性 因 子 分 析（CFA），得拟合指标：X2df为1.600，RMSEA为0.052（0.08），NNFI为0.96（0.9），CFI为0.95（0.9），模型拟合效果较好，表明结构效度可以接受。但因子负荷结果显示，其中X6（0.11）、X11（0.13）由

21、于因子负荷值（X6=0.11；X11=0.13）过低。删除因子6和因子11后，对修订后的模型重新进行拟合，较前者更理想，结果见表4。3讨论3.1问卷编制的科学、合理性问卷评估教学质量是目前世界上最广泛采用的一种教学质量评估手段3，对问卷编制的科学合理性显得尤为重要。本研究在问卷的设计中力求简单，有研究表明正向提问比反问提问更适合问卷调查5，故对该问卷中的题目采取合理且标准统一的正向提问方式。在题目顺序安排上，考虑了被调查者的心理影响因素，遵循常规思维过程，并在保证问卷内容完整性的同时控制问题数量，设置的题量确保在15 min内完成，避免了因被调查者产生厌烦情绪，导致调查信息的丢失。设定问卷选项

22、时，通常等级划分的越细评价结果也越精细，而又易因不同人对同一问题的判断标准不同，对问卷的统计分析造成误差。一项最近的实证研究指出，5等级、7等级?4?1798现代预防医学2013年第40卷第9期Modern Preventive Medicine，2013，Vol.40，NO.9和10等级选项的数据，在简单的资料转换后，其平均数、变异数、偏态和峰度都很相似6。故我们选用Likert量表中的5级等距分级来进行选项的设定。此外，问题答案项采用了符合人类语言模糊性特点的表达方式，选用“非常符合”、“基本符合”、“不确定”“不太符合”“很不符合”等带有一定模糊性的人类语言来评价所提出的问题使研究者通过

23、评价能得到更加准确的信息。并在问卷的设计过程、调查过程及数据处理环节分别通过设置逻辑筛查项，合理选择调查人员、调查时间及录入校对方式等手段进行了质量控制，确保研究的科学、有效性。3.2对问卷进行信度和效度评价信度是评价问卷测量可靠性的重要指标，度量的是问卷测量结果与测量目标的一致性程度。由于客观条件的限制，本研究中的医学研究生PBL课程教学质量评价问卷是基于新构建的评价体系基础上自行设计，国内尚没有开展类似相关研究，无法找到恰当的复本问卷，故无法进行复本信度的测定。本研究中信度主要采用重测信度、内部一致性信度及评分者信度。其中，重测信度ICC大于0.75表示极好，ICC在0.60.75表示较好

24、7，本研究中总分和各问题项的ICC值均0.75；对“内部一致性信度”Cronbach 系数结果满意度的界定，学者Henson（2001）认为这与研究目的有关，如果研究者的目的在于编制预测问卷或测验某构思的先导性研究，信度系数在0.50至0.60之间已经足够，但以基础研究为目的时，信度系数最好在0.70以上，本研究总Cronbach 系数及各一级评价指标的Cronbach 系数均0.7；“评分者信度”是指多个评分者对同一组数据进行独立观察和评分的一致性程度，Kendall和谐系数取值在01之间，越接近于1，一致性程度越高，一般要求Kendall W（a）0.7，本研究Kendall W为0.87

25、8。上述均表明本问卷具有较好的信度。效度是指测量的正确性，即量表能够测出其研究内容的程度。本研究选用了内容效度、结构效度两种检验方法。本研究设计的问题项与评价指标体系中的三级评价指标逐一对应，各指标的内涵及词语表达的准确定均经咨询专家审定，此外还采用了“单项与总和相关分析法”对内容效度进一步验证，结果显示该问卷各条目得分与总分的相关系数在0.4070.764（P0.01）之间，相关达到显著性；在结构效度的评价中，通常用因子分析进行检验8。EFA和CFA是因子分析的两个重要分支。区别在于，EFA是在未知因子的基础上，找出影响观测变量的因子个数以及各个因子和观测变量之间的相关程度，并借助因子载荷，

26、结合专业知识来推断数据的因子结构。CFA是在已知因子的情况下，用实际数据拟合特定的因子模型，验证数据与预期理论是否吻合。在实际应用中，这种将二者结合的做法是比较合理的，但前提是要用两组分开的数据来做9。本研究首先采用EFA对问卷的结构框架进行评价，并在此基础上采用CFA进行检验。研究结果显示，问卷的整体结构较合理，与3个一级评价指标理论构建一致，但同时发现其中2个项目的条目与该项目之间的载荷不具有统计学意义，进行删除后得到最优因子模型，表明对问卷的2个问题项进行删除后，可使问卷更加简化，结构得到进一步改善。3.3问卷的意义和实用价值不同国家、不同院校在引入PBL教学模式时，并不是机械地照搬经典

27、的PBL模式，多是从自身的实际出发，创造性地将PBL教学模式应用于实践，因而对PBL教学效果的真实检验就显得至关重要。本问卷的编制基于医学研究生PBL评价体系，经信度和效度检验，并经过修改调整，该问卷作为医学研究生PBL课程教学质量评估工具是科学、可信和有效的。在实际应用过程中，不仅能定量测量不同教师、不同学科开设PBL课程教学水平的差异，进行选优性评价，同时能从问卷所对应的PBL课程评价体系中各三级评价指标的得分，探究在医学研究生PBL课程体系完善过程中存在的薄弱环节，从而寻找进一步提高教学质量的有效途径，以实现对医学研究生PBL教学模式的不断优化。故本研究成果可广泛应用于医学研究生PBL课

28、程的教学质量评价，为PBL模式在医学研究生中的推广和发展提供理论依据。参考文献1 贾宝洋，关晓辉，杨志平，等传统教学联合PBL在消化科教学中的应用J现代预防医学，2010，37（22）：4261-42622 蓝江桥，冷余生，李小平，等中美两国大学课程教学质量评价的比较与思考 J高等教育研究，2003，24（2）：96-1003Marann B，Babara F.Assessing the teaching quality of accountingprogrammes：an evaluation of the course experience questionnaireJ Assess Ev

29、al High Educ，2003，28（2）：135-145.4 祖雅琼，马骏，李丽剑，等医学研究生PBL模式教学质量评价体系的构建 J复旦教育论坛，2011，9（2）：83-875 张颖，倪宗瓒，王国庆，等社会调查研究中问卷式调查质量控制的探讨 J现代预防医学，1992（2）：85-88，1276Dawes JG.Do Data Characteristics Change According to the Numberof Scale Points Used？An Experiment Using 5 Point，7 Point and10 Point ScalesJOL.http：sol3papers.cfm?abstract_id=20136137 蒋小花，沈卓之，张楠楠，等问卷的信度和效度分析 J现代预防医学，2010，37（3）：429-4318 李灿，辛玲调查问卷的信度与效度的评价方法研究J中国卫生统计，2008（5）：541-5449 周晓宏，郭文静探索性因子分析与验证性因子分析异同比较J科技和产业，2008，8（9）：69-711799