伯明翰阿拉巴马大学项目评估课件13819.pptx

《伯明翰阿拉巴马大学项目评估课件13819.pptx》由会员分享，可在线阅读，更多相关《伯明翰阿拉巴马大学项目评估课件13819.pptx（72页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、项目评估项目评估 Huey T.Chen,Ph.D.行为健康室行为健康室 伯明翰阿拉巴马大学伯明翰阿拉巴马大学美国美国 第一单元第一单元:基本概念和问题基本概念和问题项目评估的定义项目评估的定义nRossi,et al.,2004:利用社会学研究的程序来对社会学干预项利用社会学研究的程序来对社会学干预项目进行系统的研究目进行系统的研究nChen,2004:利用评估方法、技术和知识来系统评价和利用评估方法、技术和知识来系统评价和改善干预项目的计划，实施及效果改善干预项目的计划，实施及效果干预项目干预项目n通过有组织的努力来改善社会问题或增进通过有组织的努力来改善社会问题或增进人群健康人群健康n卫

2、生项目卫生项目项目评估的目的项目评估的目的n评价评价n项目改进项目改进基本概念和评估中的问题基本概念和评估中的问题n利益相关者利益相关者:个人，小组或组织对项目运行个人，小组或组织对项目运行的方式具有浓厚的兴趣的方式具有浓厚的兴趣项目评估中利益相关者的担心项目评估中利益相关者的担心n担心项目评估将消耗项目资源担心项目评估将消耗项目资源n担心项目将会终止担心项目将会终止n担心信息将会被滥用担心信息将会被滥用n担心评估的设计没有针对性或不公平担心评估的设计没有针对性或不公平有效的评估有效的评估n对未来有指导作用对未来有指导作用n具有科学性，并且具有利益相关者可信性具有科学性，并且具有利益相关者可信

3、性n科学上的可信度科学上的可信度:以科学的原则为指导以科学的原则为指导n利益相关者可信性：利益相关者可信性：利益相关者认为能利益相关者认为能够反映实际情况且公平够反映实际情况且公平n整体策略整体策略内部与外部评估者问题内部与外部评估者问题n管理者的信心管理者的信心n目标目标n对项目的理解对项目的理解n潜在的使用价值潜在的使用价值n自治自治评估者的作用和评估方法评估者的作用和评估方法(1)n独立评估独立评估:评估者作为客观的评估者评估者作为客观的评估者n参与式评估参与式评估:评估者与利益相关者合作来设计评估评估者与利益相关者合作来设计评估参与式评估的赞成与反对者参与式评估的赞成与反对者n赞成赞成

4、:增加了利益相关者的信任度增加了利益相关者的信任度减少了评估者与项目管理者及工作人员之间的冲突减少了评估者与项目管理者及工作人员之间的冲突有利于改善项目有利于改善项目减少了权力的不平衡减少了权力的不平衡提高了评估结果的利用率提高了评估结果的利用率n反对反对:耗费时间和资源耗费时间和资源可能不客观可能不客观n目前的趋势目前的趋势:第二单元第二单元:项目评估的分类项目评估的分类评估类型的传统分类评估类型的传统分类n形成性和结论性评估形成性和结论性评估n过程和结果评估过程和结果评估形成性和结论性评估形成性和结论性评估(1)Scriven,1980:评估可能向那些希望改善某些事情的人提评估可能向那些希

5、望改善某些事情的人提供反馈信息供反馈信息(形成性评估形成性评估);或向决策者提供信息以便他们决定资助、或向决策者提供信息以便他们决定资助、终止或购买某些东西终止或购买某些东西(结论性评估结论性评估).形成性和结论性评估形成性和结论性评估(2)n举例举例:“当厨师品尝汤的时候，这是形成性当厨师品尝汤的时候，这是形成性评估评估;当客人品尝时，就是结论性评估当客人品尝时，就是结论性评估”n问题问题:形成性研究与形成性评估之间的区别形成性研究与形成性评估之间的区别在哪里在哪里?过程和结果评估过程和结果评估n过程评估过程评估:评估一个项目是如何执行的评估一个项目是如何执行的n结果评估结果评估:评估项目的

6、结果评估项目的结果n问题问题:形成性结论性与过程结果评估之形成性结论性与过程结果评估之间有什么联系间有什么联系?评估分类评估分类n评估能够满足过程和利益相关者的需求评估能够满足过程和利益相关者的需求(Chen,2004)项目阶段项目阶段n项目计划项目计划n开始实施开始实施n实施的成熟阶段实施的成熟阶段n结果结果 第三单元第三单元:利用评估来评价和改善项目计划利用评估来评价和改善项目计划项目计划与评估项目计划与评估评估功能：提供相关信息和帮助以帮助利益相关者评估功能：提供相关信息和帮助以帮助利益相关者制定项目的计划和理论制定项目的计划和理论评估方法评估方法:需求评估需求评估 形成性研究形成性研究

7、 制定方法（制定方法（Development Facilitation）需求评估需求评估n需求的定义需求的定义n实际与需求状态之间的差异实际与需求状态之间的差异?n人必须在一种有满足感的状态下生存人必须在一种有满足感的状态下生存n需求与要求需求与要求高危人群高危人群n产生某种问题的几率较高的一组人群产生某种问题的几率较高的一组人群准备需求评估准备需求评估n要研究的人群要研究的人群目标人群特殊定义目标人群特殊定义举例举例:老年居民缺乏社会机遇老年居民缺乏社会机遇n社区中目前的资源社区中目前的资源需求评估的信息来源需求评估的信息来源n需求的社会指标需求的社会指标 统计数字，公共材料，普查统计数字，

8、公共材料，普查社区调查社区调查n面对面访谈面对面访谈提供深入的信息提供深入的信息费用可能较高费用可能较高n电话访谈电话访谈提供一般的信息提供一般的信息非常难于接触到高危人群非常难于接触到高危人群n信件调查信件调查可灵活地接触大量人群可灵活地接触大量人群在长的及开放性的问题方面会受到限制在长的及开放性的问题方面会受到限制应答率通常较低应答率通常较低关键知情人关键知情人n对社区非常了解的人或社区的领导对社区非常了解的人或社区的领导举例：卫生需求的关键知情人举例：卫生需求的关键知情人?n访谈或小组访谈的方法访谈或小组访谈的方法n作为一个好的倾听者的重要性，以及准备回答项作为一个好的倾听者的重要性，以

9、及准备回答项目相关的问题目相关的问题n潜在的问题潜在的问题过度估计过度估计个人日程个人日程小组访谈小组访谈n一个非正式的小组一起讨论需求一个非正式的小组一起讨论需求n小组人员的构成非常重要小组人员的构成非常重要n小组领导者不能与小组中的任何成员疏远小组领导者不能与小组中的任何成员疏远n气氛气氛:轻松且自由自在轻松且自由自在n小组访谈之前应当准备特殊的问题小组访谈之前应当准备特殊的问题形成性研究形成性研究n有利于寻找原因（决定因素）及干预策略有利于寻找原因（决定因素）及干预策略以及设计项目的一些相关背景信息以及设计项目的一些相关背景信息n帮助利益相关者发现重点关注的原因（决帮助利益相关者发现重点

10、关注的原因（决定因素）定因素）n帮助利益相关者找到干预策略帮助利益相关者找到干预策略n有利于缩小需求与要求之间的差距有利于缩小需求与要求之间的差距 第四单元第四单元 方法制定方法制定逻辑模型逻辑模型n项目活动与希望达到效果之间联系的图解项目活动与希望达到效果之间联系的图解逻辑模型的构成成分逻辑模型的构成成分结果结果产出产出活动活动投入投入逻辑模型的术语逻辑模型的术语n投入投入:执行项目所需要的资源执行项目所需要的资源资金，人员，合作，设备及物资供应资金，人员，合作，设备及物资供应n活动活动:执行项目所需要开展的主要活动及方式执行项目所需要开展的主要活动及方式招募及培训项目执行者，提供服务招募及

11、培训项目执行者，提供服务n产出产出:项目活动的主要产品项目活动的主要产品培训班数量，培训学员数量培训班数量，培训学员数量开展咨询的次数开展咨询的次数n结果结果:由于项目而导致明显的变化由于项目而导致明显的变化知识、技能、态度、行为、健康状态的变化知识、技能、态度、行为、健康状态的变化逻辑模型举例逻辑模型举例请参见所发的单页辅助材料请参见所发的单页辅助材料逻辑模型逻辑模型投入投入活动活动产出产出最初结果最初结果中期结果中期结果长期结果长期结果项目原理项目原理达到预想的目标所必须开展的活动详述，还会产达到预想的目标所必须开展的活动详述，还会产生什么样其他的重要影响，目标及影响是如何产生什么样其他的

12、重要影响，目标及影响是如何产生的生的 n项目基本原理项目基本原理(改变模式改变模式):它促使行动开始它促使行动开始n项目计划项目计划 (行动模式）行动模式）行动方案蓝图行动方案蓝图项目基本原理项目基本原理n项目将减少或解决什么问题？项目将减少或解决什么问题？n什么样的目标人群将会受到项目关注？什么样的目标人群将会受到项目关注？n项目将达到什么样的可测量的目标？项目将达到什么样的可测量的目标？n什么决定因素（问题的原因，平衡机制）促使变什么决定因素（问题的原因，平衡机制）促使变化的发生？化的发生？n什么样的干预活动可以影响这种决定因素？什么样的干预活动可以影响这种决定因素？什么问题什么问题?什么

13、目标人群什么目标人群?干预干预决定因素决定因素结果结果n黑箱评估黑箱评估n原理驱动型评估原理驱动型评估(行动及概念假设行动及概念假设)改变模型举例改变模型举例大众传媒大众传媒运动运动更健康的更健康的饮食饮食更健康更健康饮食饮食更健康更健康饮食饮食饮食知识饮食知识及意识及意识大众传媒大众传媒运动运动大众传媒大众传媒运动运动减少减少心脏病心脏病饮食知识饮食知识及意识及意识针对吸毒者提供艾滋病自愿咨询与检测的项目组成成分针对吸毒者提供艾滋病自愿咨询与检测的项目组成成分需要减轻的问题?目标人群?最终结果最终结果:减少吸毒者中艾滋病病减少吸毒者中艾滋病病毒的传播毒的传播近期结果近期结果减少共用针具减少共

14、用针具实施安全性行为实施安全性行为决定因素决定因素?干预干预艾滋病艾滋病自愿咨询自愿咨询与检测与检测项目计划项目计划n实施机构实施机构:技术方面的特长，文化方面的能力，人技术方面的特长，文化方面的能力，人力资源及其他资源力资源及其他资源?n干预及服务提供的方案：由谁负责？干预及服务提供的方案：由谁负责？n项目执行者项目执行者:招聘招聘,培训培训,保持资格保持资格,及承诺及承诺n同伴机构社区的合作者同伴机构社区的合作者:建立合作关系建立合作关系n社会生态学背景社会生态学背景:寻求其支持寻求其支持(微观水平上的支持微观水平上的支持及宏观水平上的支持及宏观水平上的支持)n目标人群目标人群:发现发现,

15、招聘，筛查及服务招聘，筛查及服务项目成功项目成功n实施成功实施成功n干预的完整性干预的完整性n行动原理成功行动原理成功n概念理论成功概念理论成功决定因素决定因素实施实施结果结果干预干预项目计划形成性评估形成性评估过程评估过程评估过程与结果评估过程与结果评估监督监督Huey T.Chen,Ph.D.第五单元第五单元过程评估过程评估n一个评价项目是否按照最初设计思想实施一个评价项目是否按照最初设计思想实施的评估过程的评估过程项目接触到预定的目标人群了吗？项目接触到预定的目标人群了吗？目标人群中的成员了解项目吗目标人群中的成员了解项目吗?形成性评估与过程评估形成性评估与过程评估n形成性评估形成性评估

16、:利用灵活的研究方法来评价项利用灵活的研究方法来评价项目实施中的障碍和促进因素，帮助利益相目实施中的障碍和促进因素，帮助利益相关者去克服困难关者去克服困难n过程评估过程评估:评价实施的质量评价实施的质量形成性评估举例形成性评估举例:安全套可及性项目安全套可及性项目n社区中的中学有安全套自动售套机社区中的中学有安全套自动售套机(每个安全套每个安全套2角角5分钱分钱).n售套机安装在护士办公室，活动中心及走廊售套机安装在护士办公室，活动中心及走廊.n形成性评估的目的是告诉你如何增加安全套的销售形成性评估的目的是告诉你如何增加安全套的销售n研究方法研究方法:开展了两个小组访谈开展了两个小组访谈.n障

17、碍障碍:售套机的安装位置售套机的安装位置2角角5分钱的费用分钱的费用安全套的包装安全套的包装n辅导者辅导者:青少年健康中心是一个安全获得安全套的地方青少年健康中心是一个安全获得安全套的地方过程评估举例过程评估举例:孕妇吸烟复吸预防项孕妇吸烟复吸预防项目目n干预内容干预内容与一个吸烟的健康教育者进行与一个吸烟的健康教育者进行10分钟咨询分钟咨询通过讨论和辅导提供并加强社会支持通过讨论和辅导提供并加强社会支持产前医务人员在门诊进一步强化产前医务人员在门诊进一步强化(护士和医生护士和医生)n研究方法研究方法从参加人员中选择一部分代表，利用规范的调查工具从参加人员中选择一部分代表，利用规范的调查工具进

18、行访谈，以了解计划的内容与学员实际获得的内容进行访谈，以了解计划的内容与学员实际获得的内容的一致性。的一致性。原理驱动过程评估原理驱动过程评估(标准化评估标准化评估)n利用项目原理的概念性框架利用项目原理的概念性框架(特别是行动模特别是行动模式式)来评估实施过程来评估实施过程n评估项目在干预、目标、及实施环境方面评估项目在干预、目标、及实施环境方面计划与实施之间的一致性。计划与实施之间的一致性。干预干预艾滋病艾滋病自愿咨询自愿咨询检测检测实施实施 实施者实施者 干预干预 同伴机构同伴机构 生态学生态学 目标人群目标人群 与服务与服务 背景背景 机构机构 提供提供 方案方案过程监督过程监督n阶段

19、性收集实施过程中的信息阶段性收集实施过程中的信息n举例举例有多少人接受了服务？有多少人接受了服务？谁接受了服务？谁接受了服务？向目标人群提供了什么样的服务？向目标人群提供了什么样的服务？过程和结果监督过程和结果监督n过程监督过程监督n结果监督结果监督n资料收集资料收集由评估者收集由评估者收集利用现有的记录利用现有的记录效果评估中的基本问题效果评估中的基本问题Huey T.Chen,Ph.D.第六单元第六单元内部有效性及外部有效性内部有效性及外部有效性n内部有效性内部有效性:干预工作影响到结果了吗？干预工作影响到结果了吗？n外部有效性外部有效性:哪些人群、场所和测量可以推哪些人群、场所和测量可以

20、推广这些效果？广这些效果？nCampbell:内部有效性是必须的内部有效性是必须的n选择选择-成熟交互作用成熟交互作用:选择偏性会导致成熟率的不同选择偏性会导致成熟率的不同试验设计试验设计n随机试验随机试验:试验组和对照组是随机分配形成试验组和对照组是随机分配形成的的n准试验设计准试验设计:试验组和对照组不是按照随机试验组和对照组不是按照随机分配的原则形成的分配的原则形成的n预试验设计预试验设计:设计什么东西不会对内部有效设计什么东西不会对内部有效性产生巨大影响性产生巨大影响预实验设计预实验设计n一组检测前后设计一组检测前后设计O X O对内部有效性的影响对内部有效性的影响-1n历史历史:在预

21、试验和后验证之间发生的干预活动以在预试验和后验证之间发生的干预活动以外的事件。外的事件。n成熟成熟:随着时间的推移在一个人或系统中所产生随着时间的推移在一个人或系统中所产生的变化，如成长，疲倦，社会趋势等。的变化，如成长，疲倦，社会趋势等。n检验检验:一次检测后进行第二次检测得分变化的效一次检测后进行第二次检测得分变化的效果果n仪器精度仪器精度:测量工具的精度发生变化或观察者的测量工具的精度发生变化或观察者的变化可能会导致观测结果的变化。变化可能会导致观测结果的变化。对内部有效性的影响对内部有效性的影响-2n历史衰减历史衰减:根据一个人或事物的极端特性进行选根据一个人或事物的极端特性进行选择后

22、所产生的假性变化。择后所产生的假性变化。n选择选择:选择对照组时由于平均测量结果的不同所选择对照组时由于平均测量结果的不同所带来的偏差。带来的偏差。n损失损失:由于对照组在成熟度选择方面的影响而导由于对照组在成熟度选择方面的影响而导致被观察个体在差异方面的丢失。选择偏性导致致被观察个体在差异方面的丢失。选择偏性导致成熟率不同。成熟率不同。n选择成熟度的影响选择成熟度的影响:选择偏性所造成的成熟率的选择偏性所造成的成熟率的变化。变化。随机试验随机试验n参加者随机被分配到对照组和试验组中参加者随机被分配到对照组和试验组中n利用随机原则建立可比性。利用随机原则建立可比性。n问题问题:随机化不是随机抽

23、样随机化不是随机抽样n问题问题:附近试验附近试验:“忽视忽视”的情况的情况n问题问题:如何测量试验中安慰剂所产生的影响。如何测量试验中安慰剂所产生的影响。干预组干预组 R O X O 对照组对照组 R O X O 对随机试验的批评对随机试验的批评n试验要求项目的连续性而不利于持续的改善。试验要求项目的连续性而不利于持续的改善。(管理者与评估者之间的冲突）管理者与评估者之间的冲突）n由于操作性的原因，试验倾向于一次测量一个项由于操作性的原因，试验倾向于一次测量一个项目变量，而实际上项目的成功取决于多项服务结目变量，而实际上项目的成功取决于多项服务结合在一起。合在一起。n一项实验试图控制太多的条件

24、，从而使项目不受一项实验试图控制太多的条件，从而使项目不受任何因素影响，但在实际中无法推广。任何因素影响，但在实际中无法推广。n试验不研究效果是如何或为什么会产生，也不能试验不研究效果是如何或为什么会产生，也不能理解什么因素是项目成功的关键。理解什么因素是项目成功的关键。开展试验最理想的时间开展试验最理想的时间n当引进一个新的干预措施时当引进一个新的干预措施时n当基准提高时当基准提高时n当对项目效果出现争论时当对项目效果出现争论时准实验设计准实验设计Huey T.Chen,Ph.D.第七单元第七单元非对称性对照组的设计非对称性对照组的设计干预组干预组 O X O -对照组对照组 O O 对内部

25、有效性的影响对内部有效性的影响?提高可比性的策略提高可比性的策略n对照组匹配对照组匹配个体特征，家庭特征个体特征，家庭特征组织单位的特征，社区特征组织单位的特征，社区特征n对照组的统计对照组的统计阻断型时间序列设计阻断型时间序列设计nO O O O O O X O O O O O O n对内部有效性的影响对内部有效性的影响?评价预定的和意外的结果评价预定的和意外的结果n目标模型的局限性目标模型的局限性管状视野管状视野忽视意外的效果忽视意外的效果n无目标评估无目标评估(Scriven)评估者事先不了解项目目标相关的知识评估者事先不了解项目目标相关的知识检查预定的和意外的结果检查预定的和意外的结果

26、n检查实施的活动检查实施的活动举例举例:对失职者的管教机构对失职者的管教机构n正式目标正式目标:恢复恢复n操作性目标操作性目标:监管监管使用现有的原理和或知识使用现有的原理和或知识原理驱动型结果评估原理驱动型结果评估Huey T.Chen,Ph.D.第八单元第八单元实施机构实施机构实施者实施者同伴机构社区合作者同伴机构社区合作者干预及提供服务的方案干预及提供服务的方案生态学背景生态学背景目标人群目标人群实施实施 干预干预 决定因素决定因素 结果结果应用举例应用举例 原理驱动型评估原理驱动型评估n控烟项目控烟项目n干预干预:连环画连环画n目标人群目标人群:初中学生初中学生n评估的设计评估的设计:非对称性对照组设计非对称性对照组设计n结果的测量结果的测量:吸烟相关的信念吸烟相关的信念,态度态度,行为行为n设计利益相关者项目原理反应问题的策略设计利益相关者项目原理反应问题的策略对吸烟的态度、信念对吸烟的态度、信念及行为改变及行为改变阅读连环画的次数阅读连环画的次数 有关连环画故事有关连环画故事 和特征的知识水平和特征的知识水平 干预干预Huey T.Chen 2004 实用性项目评估实用性项目评估:评估和改善项目的设计、实施及效果评估和改善项目的设计、实施及效果.Thousand Oaks,CA:Sage