《评价研究设计》PPT课件.ppt

《《评价研究设计》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《评价研究设计》PPT课件.ppt（40页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 评价研究设计评价研究设计实验的分类实验的分类实验实验物理学研究物理学研究化学化学动物实验动物实验实验的长处和不足实验的长处和不足类实验类实验无法完全控制实验条件无法完全控制实验条件研究的两个效度研究的两个效度内部效度内部效度针对于本研究的对象，研究结果的真实度针对于本研究的对象，研究结果的真实度外部效度外部效度 研究的结果在多大程度上能推论（广）研究的结果在多大程度上能推论（广）到其他地方到其他地方实验、类实验与两个效度实验、类实验与两个效度实验实验内部效度高，外部效度低内部效度高，外部效度低类实验类实验内部效度要打折，而外部效度高内部效度要打折，而外部效度高项目（干预）成功的两个基本条件项

2、目（干预）成功的两个基本条件1、有效的项目设计、有效的项目设计即：如果项目干预方案得到完全的实施，那即：如果项目干预方案得到完全的实施，那么，项目的目标就能实现，项目所要解决的么，项目的目标就能实现，项目所要解决的问题就能解决问题就能解决2、项目实施、项目实施即：项目的方案得以按质、按量地实施、完即：项目的方案得以按质、按量地实施、完成成二者缺一不可二者缺一不可项目失败项目失败错误的项目设计有效的项目设计有效的项目设计不好的项目实施很好的项目实施项目成功项目失败很好的项目实施项目失败项目理论失败项目理论失败项目实施失败项目实施失败项目理论项目理论建立项目理论、进行有效干预建立项目理论、进行有效

3、干预 基于项目理论、进行项目评价基于项目理论、进行项目评价 项目理论的例子项目理论的例子60年代美国卫生部关注婴儿死亡率和婴儿智力低下，年代美国卫生部关注婴儿死亡率和婴儿智力低下，拨经费开展干预项目拨经费开展干预项目前提假设前提假设婴儿死亡率及智力低下与低体重儿（早产）相关婴儿死亡率及智力低下与低体重儿（早产）相关低体重儿与孕妇孕期未及时治疗疾病和营养不良相关低体重儿与孕妇孕期未及时治疗疾病和营养不良相关这种情况可在某些人群中发现，如未成年怀孕，这种情况可在某些人群中发现，如未成年怀孕，35的的孕妇，多产孕妇，有早产史，或收入低下的家庭孕妇，多产孕妇，有早产史，或收入低下的家庭基于上述相关关系

4、。建立项目理论基于上述相关关系。建立项目理论如果找到高危母亲如果找到高危母亲如果能让她们参加项目如果能让她们参加项目如果能将针对这些因素服务有效地提供给她们如果能将针对这些因素服务有效地提供给她们那么，就能降低早产出生率那么，就能降低早产出生率那么，就可以降低婴儿死亡率和智力低下那么，就可以降低婴儿死亡率和智力低下社会问题及干预社会问题及干预社会问题社会问题贫穷贫穷疾病疾病失业失业犯罪犯罪项目干预设项目干预设计计需求评估需求评估项目设计项目设计项目评估项目评估项目实施项目实施项目项目产出产出项目效果过程过程评价评价项目评价的基本问题项目评价的基本问题鉴定的问题鉴定的问题项目设计项目设计项目实施

5、项目实施项目产出项目产出项目效果项目效果？1.是问题吗？问题有多严重、范围有多大、影响谁？是问题吗？问题有多严重、范围有多大、影响谁？需求评估需求评估2.项目设计有效吗？项目设计有效吗？项目论证（对设计进行评估）项目论证（对设计进行评估）3.项目执行了吗？项目执行了吗？实施评估（过程评估）实施评估（过程评估）4.项目有效果吗？项目效果评估项目有效果吗？项目效果评估5.项目干预值得吗？项目干预值得吗？成本成本-效果分析效果分析评价设计思路评价设计思路评价设计思路评价设计思路项目设计项目设计项目实施项目实施项目产出项目产出问题问题效果评价：项目解决了问题了吗效果评价：项目解决了问题了吗需求评估需求

6、评估方案论证方案论证实施的评价实施的评价评价研究的目的评价研究的目的评价研究的目的是评价研究的目的是检验新的做法是否被实施检验新的做法是否被实施如果被实施，效果如何？如果被实施，效果如何？目标人群是否收益？目标人群是否收益？项目的效果是否可持续？项目的效果是否可持续？如何进一步改进、完善如何进一步改进、完善评价的类型评价的类型过程评价过程评价效果评价效果评价基本评价设计基本评价设计1、前后比较、前后比较1、O X O2、干预组与对照组比较、干预组与对照组比较2.1、X O O2.2、O X O O O3.时间序列分析时间序列分析3.1.O1 O2 O3 X O4 O5 O63.2.O1 O2

7、O3 X O4 O5 O6 3.3.O1 O2 O3 O4 O5 O6效果评价的任务效果评价的任务如何估计完全是由于项目干预所如何估计完全是由于项目干预所带来的效果？带来的效果？项目净效益项目净效益1 2 项目效益Y=项目后(yepre)项目前（yepost）=1对照组的变化(yc)=项目后(ycpre)_项目前（ycpost）=2项目组的变化(ye)=项目后(yepre)_项目前（yepost）=1项目净效益=2 1项目前项目后Y利用回归模型控制混杂因素，估算项目效益项目干预项目干预组对照组变量的分类变量的分类项目目标变量、干预变量、控制变量项目目标变量、干预变量、控制变量1.因变量因变量Y

8、：早产儿出生率早产儿出生率婴儿死亡率，智力低下婴儿死亡率，智力低下2.干预变量干预变量X：针对各种因素的服务干预：针对各种因素的服务干预参加项目（是，参加项目（是，否）否）3.控制变量控制变量年龄、教育、性别年龄、教育、性别当地经济增长当地经济增长交通交通利益相关者评价方法利益相关者评价方法确定利益相关者确定利益相关者澄清利益相关者的关注点澄清利益相关者的关注点定义评价研究所要问答的问题定义评价研究所要问答的问题 （研究课题）（研究课题）如何回答评价研究所要回答的问题如何回答评价研究所要回答的问题选择指标选择指标选择评价设计选择评价设计数据分析方案数据分析方案利益相关者评价方法的评价步骤利益相

9、关者评价方法的评价步骤1.确定利益相关者确定利益相关者2.澄清利益相关者澄清利益相关者的关注点的关注点3.定义评价研究所定义评价研究所要问答的问题（研要问答的问题（研究课题）究课题）4.如何回答评价研如何回答评价研究所要回答的问题究所要回答的问题a.选择指标选择指标b.选择评价设计选择评价设计c.数据分析方案数据分析方案d.数据收集方案数据收集方案5.过程评价过程评价澄清项目理论澄清项目理论澄清项目干预关键澄清项目干预关键流程流程按照干预流程，检按照干预流程，检查干预的实施查干预的实施评价目标人群是否评价目标人群是否得到干预服务得到干预服务6.项目效果评价项目效果评价7.撰写项目评价报告撰写项

10、目评价报告8.报告的散发报告的散发利益相关者及其关注点和评价课题利益相关者及其关注点和评价课题利益相关者利益相关者 关注关注 评价命题评价命题 农民农民 能否看得起病？能否看得起病？能不能看好病能不能看好病 项目合作医疗是否会降低农民项目合作医疗是否会降低农民看病的费看病的费用？合作医疗对服务的质量是否合作医疗对服务的质量是否有所改进？有所改进？卫生局、卫生局、政府政府 农村卫生服务的改进农村卫生服务的改进 服务的利用服务的利用 有哪些新服务开展？有哪些新服务开展？服务的质量高吗？服务的质量高吗？谁利用卫生服务？谁利用卫生服务？服务成本效益吗？服务成本效益吗？-讨论题讨论题中关村地区高血压患病

11、率较高，当地中关村地区高血压患病率较高，当地卫生部门拟开展试点，寻求有效的、卫生部门拟开展试点，寻求有效的、经济的可持续的高血压干预方法，以经济的可持续的高血压干预方法，以便在面上推广应用。便在面上推广应用。1、你如何设计干预试点项目，请列出、你如何设计干预试点项目，请列出步骤及每一步骤期望的结果；步骤及每一步骤期望的结果；2、你如何设计试点评价方案，请列出、你如何设计试点评价方案，请列出步骤及每一步骤期望的结果。步骤及每一步骤期望的结果。利益相关者评价方法利益相关者评价方法确定利益相关者确定利益相关者澄清利益相关者的关注点澄清利益相关者的关注点定义评价研究所要问答的问题定义评价研究所要问答的

12、问题 （研究课题）（研究课题）如何回答评价研究所要回答的问题如何回答评价研究所要回答的问题选择指标选择指标选择评价设计选择评价设计数据分析方案数据分析方案利益相关者及其关注点和评价课题利益相关者及其关注点和评价课题高血压试点效果评价高血压试点效果评价利益相关者利益相关者关注点关注点评价命题评价命题结果指标结果指标自变量指标自变量指标评价设评价设计计选择评价指标选择评价指标明确概念明确概念初选评价指标初选评价指标评价评价指标评价评价指标选择评价指标选择评价指标明确概念明确概念明确各种不同的概念定义明确各种不同的概念定义确定概念的定义确定概念的定义明确概念的不同角度明确概念的不同角度选择评价指标选

13、择评价指标初选评价指标初选评价指标选择多少指标选择多少指标如何制定指标如何制定指标如何将指标转化成调查表如何将指标转化成调查表选择评价指标选择评价指标评价评价指标评价评价指标必须明确测量真正要测量的，必须明确测量真正要测量的，测量的结果是可靠得住的测量的结果是可靠得住的评估有效性、可靠性评估有效性、可靠性试调查试调查制定调查问卷制定调查问卷选择的区域选择的区域结果指标的测量结果指标的测量干预指标及研究指标的测量干预指标及研究指标的测量背景指标的测量背景指标的测量问卷内容问卷内容提问的用词、语序、语气提问的用词、语序、语气简短、直接和非直接提问（敏感问题）、简短、直接和非直接提问（敏感问题）、无

14、诱导无诱导提问的种类提问的种类开放式问题和封闭式问题开放式问题和封闭式问题场景式提问场景式提问抽样抽样抽样方法抽样方法概率抽样概率抽样简单概率抽样简单概率抽样系统抽样系统抽样分层抽样分层抽样多步整体抽样多步整体抽样非概率抽样非概率抽样目的性抽样目的性抽样限额（按比例）抽样限额（按比例）抽样样本大小样本大小评价设计的有效性评价设计的有效性有效性与评价设计相联系有效性与评价设计相联系内部有效性内部有效性所谓评价设计是内部有效的，那么，项目所谓评价设计是内部有效的，那么，项目评价人员则能自信地说评价的结果是正确评价人员则能自信地说评价的结果是正确的。的。外部有效性外部有效性指评价的结果能推广到其它地

15、方的程度指评价的结果能推广到其它地方的程度内部有效性对于评价来说是至关重要的，如内部有效性对于评价来说是至关重要的，如果没有内部有效性，就不能说效果是项目带果没有内部有效性，就不能说效果是项目带来的还是其它因素造成的。来的还是其它因素造成的。利益相关者评价方法的评价步骤利益相关者评价方法的评价步骤1.确定利益相关者确定利益相关者2.澄清利益相关者的关澄清利益相关者的关注点注点3.定义评价研究所要问定义评价研究所要问答的问题（研究课题）答的问题（研究课题）4.如何回答评价研究所如何回答评价研究所要回答的问题要回答的问题a.选择指标选择指标b.选择评价设计选择评价设计c.数据分析方案数据分析方案d

16、.数据收集方案数据收集方案5.过程评价过程评价澄清项目理论澄清项目理论澄清项目干预关键澄清项目干预关键流程流程按照干预流程，检按照干预流程，检查干预的实施查干预的实施评价目标人群是否评价目标人群是否得到干预服务得到干预服务6.项目效果评价项目效果评价7.撰写项目评价报告撰写项目评价报告8.报告的散发报告的散发项目评价建议书项目评价建议书1、背景、背景简介简介陈述项目要解决的问题陈述项目要解决的问题2、评价命题、评价命题3、描述项目干预、描述项目干预4、项目的预期效果、项目的预期效果5、原因分析及项目理论、原因分析及项目理论6、项目目的、项目目的7、项目目标、项目目标8、项目目标人群、项目目标人

17、群9、论述项目干预前的需求评、论述项目干预前的需求评估，如果没有进行需求评估，估，如果没有进行需求评估，则论述在需求评估时应关注的则论述在需求评估时应关注的问题，以及相应的评估方法问题，以及相应的评估方法10、批判性地评论项目是否、批判性地评论项目是否有项目执行情况的监测，如有项目执行情况的监测，如果没有，提出并论述你的具果没有，提出并论述你的具体建议。体建议。11、描述评价设计（、描述评价设计（OXO）12、结果指标、干预指标及、结果指标、干预指标及分析性指标分析性指标13、如何测量结果指标，论、如何测量结果指标，论述测量的可靠性、有效性述测量的可靠性、有效性14、如何测量控制性变量、如何测

18、量控制性变量15、抽样方法、抽样方法16、分析方法、分析方法17、详细讨论该评价设计的、详细讨论该评价设计的内部有效性、外部有效性的内部有效性、外部有效性的影响因素。影响因素。18、评价的意义、评价的意义评价报告评价报告I.简介（背景）简介（背景）卫生问题卫生问题干预项目干预项目评价命题评价命题II.方法方法评价设计评价设计干预的目标、活动干预的目标、活动样本样本结果指标结果指标信度信度(稳定度，可靠性稳定度，可靠性)效度效度指标收集的质量保证指标收集的质量保证分析方法分析方法III.结果结果回答率回答率人口及其它特征的描述人口及其它特征的描述效果分析效果分析成本效果分析成本效果分析IV.结论

19、结论V.建议建议表格、图表格、图表表1表表2图图1附件附件调查表调查表问卷问卷样本量计算样本量计算调查员培训材料调查员培训材料项目评价建议书（设计）项目评价建议书（设计）1、背景、背景简介简介陈述项目要解决的问题陈述项目要解决的问题2、评价命题、评价命题3、描述项目干预、描述项目干预4、项目的预期效果、项目的预期效果5、原因分析及项目理论、原因分析及项目理论6、项目目的、项目目的7、项目目标、项目目标8、项目目标人群、项目目标人群9、论述项目干预前的需求评、论述项目干预前的需求评估，如果没有进行需求评估，估，如果没有进行需求评估，则论述在需求评估时应关注的则论述在需求评估时应关注的问题，以及相

20、应的评估方法问题，以及相应的评估方法10、批判性地评论项目是否有项、批判性地评论项目是否有项目执行情况的监测，如果没有，目执行情况的监测，如果没有，提出并论述你的具体建议。提出并论述你的具体建议。11、描述评价设计（、描述评价设计（OXO）12、结果指标、干预指标及分析、结果指标、干预指标及分析性指标性指标13、如何测量结果指标，论述测、如何测量结果指标，论述测量的可靠性、有效性量的可靠性、有效性14、如何测量控制性变量、如何测量控制性变量15、抽样方法、抽样方法16、分析方法、分析方法17、详细讨论该评价设计的内部、详细讨论该评价设计的内部有效性、外部有效性的影响因素。有效性、外部有效性的影

21、响因素。18、评价的意义、评价的意义选择评价指标选择评价指标初选评价指标初选评价指标选择多少指标选择多少指标如何制定指标如何制定指标如何将指标转化成调查表如何将指标转化成调查表评价报告评价报告I.简介（背景）简介（背景）卫生问题卫生问题干预项目干预项目评价命题评价命题II.方法方法评价设计评价设计干预的目标、活动干预的目标、活动样本样本结果指标结果指标信度信度(稳定度，可靠性稳定度，可靠性reliability)效度效度(validity)指标收集的质量保证指标收集的质量保证分析方法分析方法III.结果结果回答率回答率人口及其它特征的描述人口及其它特征的描述效果分析效果分析成本效果分析成本效果分析IV.结论结论V.建议建议表格、图表格、图表表1表表2图图1附件附件调查表调查表问卷问卷样本量计算样本量计算调查员培训材料调查员培训材料