第五章--卫生评价ppt课件.ppt

掌握评价的基本概念，评价研究的基掌握评价的基本概念，评价研究的基本类型。本类型。熟悉经济学评价方法包括成本效果分熟悉经济学评价方法包括成本效果分析、成本效益分析、成本效率分析等。析、成本效益分析、成本效率分析等。熟悉评价的基本程序与方法。熟悉评价的基本程序与方法。了解评价的目的；了解评价的内容。了解评价的目的；了解评价的内容。 J. S. Wholey(1970) “评价是对一个正在评价是对一个正在执行的计划，估计达到其预期目标的程度。执行的计划，估计达到其预期目标的程度。通过科学设计的调查研究方法判断计划的通过科学设计的调查研究方法判断计划的效果。以便完善和改进现行计划。效果。以便完善和改进现行计划。” R H. Brook(1973) “评价是对某一项目计划评价是对某一项目计划达到目标的程度，其中计划的关键变量相对达到目标的程度，其中计划的关键变量相对的作用及其有关影响因素的测量。的作用及其有关影响因素的测量。”美国公共卫生学会美国公共卫生学会(1978) “评价是确定成果达评价是确定成果达到其目标程度的过程到其目标程度的过程”。T.G. Rundall(1985) “评价是为了确定某一计评价是为了确定某一计划执行情况，对信息的收集与分析的过程。划执行情况，对信息的收集与分析的过程。”P.H.Rossi(1989) “评价是研究者应评价是研究者应用社会学研究方法去判断和改进人类用社会学研究方法去判断和改进人类服务政策的途径，以及对计划从立项、服务政策的途径，以及对计划从立项、设计、发展及实施的指导。设计、发展及实施的指导。”Newman(1992) “评价是对某一特定评价是对某一特定的目标与一个可接受的标准比较的目标与一个可接受的标准比较”1.评价是整个管理过程的重要组成部分，贯穿评价是整个管理过程的重要组成部分，贯穿于整个管理过程始终。于整个管理过程始终。2.评价的基本原理是比较，其目的是在此基础评价的基本原理是比较，其目的是在此基础上做出判断。上做出判断。3.确定价值是评价的前提。确定价值是评价的前提。4.准确的信息是成功评价的基础。准确的信息是成功评价的基础。5.调查测量是评价的重要手段。调查测量是评价的重要手段。6.卫生项目评价具有很强的社会性和政策性。卫生项目评价具有很强的社会性和政策性。二、评价的目的二、评价的目的1.判断计划达到预期目标的程度。判断计划达到预期目标的程度。2.计划实施结果的比较。计划实施结果的比较。3.完善管理过程。完善管理过程。 评价的分类方法很多，人们根据不同的分评价的分类方法很多，人们根据不同的分类标识，来确定不同的分类方法。类标识，来确定不同的分类方法。 1.按内容分按内容分 恰当性评价恰当性评价 适宜度评价适宜度评价 进度评价进度评价 结果评价结果评价2.按时间顺序分按时间顺序分 事先、中间、事后、跟踪评价。事先、中间、事后、跟踪评价。3.按方法分按方法分 定性评价和定量评价。定性评价和定量评价。4.按范围分按范围分 宏观评价和微观评价。宏观评价和微观评价。5.按评价主体分按评价主体分 内部评价和外部评价。内部评价和外部评价。一、恰当性评价一、恰当性评价（Appropriate Evaluation） 主要评价所确定的卫生问题的针对性主要评价所确定的卫生问题的针对性二、适宜度评价二、适宜度评价（Relevancy Evaluation) 是对卫生计划目标及其实施方案的一致性是对卫生计划目标及其实施方案的一致性及其可行性，进行论证性评价。及其可行性，进行论证性评价。 主要通过论证方式进行，评价时间安排在主要通过论证方式进行，评价时间安排在项目计划正式实施之前。项目计划正式实施之前。论证评价的重点是评价项目计划与现论证评价的重点是评价项目计划与现行的卫生政策、社会经济政策及社会行的卫生政策、社会经济政策及社会经济卫生文化发展水平是否相适应；经济卫生文化发展水平是否相适应；项目计划所提出的卫生问题及其目标项目计划所提出的卫生问题及其目标与人群的客观需要是否相适应；与人群的客观需要是否相适应；卫生资源的提供能否满足项目计划实卫生资源的提供能否满足项目计划实施的需要。施的需要。三、过程或进度评价三、过程或进度评价（Process or Progress Evaluation) 在项目计划实施后到总结评价之前进行，对计划在项目计划实施后到总结评价之前进行，对计划的实施进度与过程进行监控与控制，评价的核心的实施进度与过程进行监控与控制，评价的核心内容是检查项目计划干预措施的实施与落实情况，内容是检查项目计划干预措施的实施与落实情况，对覆盖率及其质量进行测量。对覆盖率及其质量进行测量。 进度评价关注三点：时间、活动及所消耗的资源。进度评价关注三点：时间、活动及所消耗的资源。四、结果评价或结局评价四、结果评价或结局评价（Outcome Evaluation) 指对项目计划实施所产生的结果进行评价。指对项目计划实施所产生的结果进行评价。 结果评价以项目实施所产生的结果为基础，结果评价以项目实施所产生的结果为基础，但并不局限于结果，有时还要结合项目的但并不局限于结果，有时还要结合项目的投入做效率与效益评价。投入做效率与效益评价。 结果评价包括以下四种类型：结果评价包括以下四种类型：1.效果评价（效果评价（Effectiveness Evaluation) 定义：定义：指由于计划的实施对某一卫生问题或改善指由于计划的实施对某一卫生问题或改善卫生状况所取得的卫生结果。卫生状况所取得的卫生结果。 效果可以用来评价项目计划中干预措施实施后，效果可以用来评价项目计划中干预措施实施后，对目标卫生问题解决程度或达到计划预期目标的对目标卫生问题解决程度或达到计划预期目标的实际程度。实际程度。 目的：目的：对项目计划的价值做出科学的判断。对项目计划的价值做出科学的判断。2.效率评价（效率评价（Efficiency Evaluation） 定义：定义：指干预措施实施后，卫生服务量与质的变指干预措施实施后，卫生服务量与质的变化（产出）与项目实施所投人的资源之间的比较化（产出）与项目实施所投人的资源之间的比较评价，也就是每提供单位资源所产生的符合质量评价，也就是每提供单位资源所产生的符合质量要求的服务量。要求的服务量。 目的：目的：在于改善与提高服务系统实施与管理水平。在于改善与提高服务系统实施与管理水平。3.效益评价（效益评价（Benefit Evaluation） 定义：定义：效益是指实施卫生计划所获得的结果以货效益是指实施卫生计划所获得的结果以货币的形式表达。效益评价是指为实施项目计划，币的形式表达。效益评价是指为实施项目计划，所投入的成本与所产生的卫生效果或将卫生效果所投入的成本与所产生的卫生效果或将卫生效果转换成货币量度之间比较分析，前者为成本效果转换成货币量度之间比较分析，前者为成本效果分析，后者为成本效益分析，效益是在卫生效果分析，后者为成本效益分析，效益是在卫生效果的基础上测得的。的基础上测得的。4.影响评价（影响评价（Impact Evaluation)包含两层意思：包含两层意思：一是项目某项干预实施后在项目实施地区内对一是项目某项干预实施后在项目实施地区内对卫生与社会经济发展的贡献和影响卫生与社会经济发展的贡献和影响1) 另一是项目实施后，产生预期结果的可持续性另一是项目实施后，产生预期结果的可持续性(Sustainability)，此时干预措施仍在继续实施，此时干预措施仍在继续实施并发挥作用，特别是当去除干预措施中外来施并发挥作用，特别是当去除干预措施中外来施加影响部分如资源支持后，转入常规运行，完加影响部分如资源支持后，转入常规运行，完全依靠项目产生的运行机制而产生的效果。全依靠项目产生的运行机制而产生的效果。 影响项目可持续性的因素主要有三个：影响项目可持续性的因素主要有三个：项目机制完善的程度；项目机制完善的程度；项目机制与政策环境的一致性；项目机制与政策环境的一致性；社会人群对该项目的认同程度与参与程度。社会人群对该项目的认同程度与参与程度。 这三点越完善，项目的可持续性就越好。这三点越完善，项目的可持续性就越好。 一、准备工作一、准备工作1.建立评价组织建立评价组织 评价组织可以和计划制定的组织结合或单独建立，这取评价组织可以和计划制定的组织结合或单独建立，这取决于评价的主体。评价组织包括评价领导小组、评价技决于评价的主体。评价组织包括评价领导小组、评价技术小组和评价实施小组。术小组和评价实施小组。2.熟悉被评价对象熟悉被评价对象 熟悉有关被评价对象的全部内容，并收集相关的信息。熟悉有关被评价对象的全部内容，并收集相关的信息。二、制定评价计划二、制定评价计划1.确定评价目的确定评价目的 要做好一个评价，首先要明确是要评价计划的可行性，要做好一个评价，首先要明确是要评价计划的可行性，评价实施的进度还是评价计划实施的结果。目的不同，评价实施的进度还是评价计划实施的结果。目的不同，对象不同，所应用的方法也不相同。对象不同，所应用的方法也不相同。2.确定评价对象确定评价对象 卫生事业管理的评价对象，大多数都是以一个地区、卫生事业管理的评价对象，大多数都是以一个地区、一个单位或特定的人群、特定的项目为基本评价单位。一个单位或特定的人群、特定的项目为基本评价单位。3.确定评价的价值标准、评价指标，建立指标体系确定评价的价值标准、评价指标，建立指标体系指标选择应考虑以下几点特征：指标选择应考虑以下几点特征： (1)有效性：有效性：指标能够测量所要测量的事物；指标能够测量所要测量的事物； (2)可行性：可行性：指标对所要测量的事物可以进行实际指标对所要测量的事物可以进行实际测量，指标容易获得；测量，指标容易获得； (3)灵敏性：灵敏性：指标对所要反映的变化是敏感的；指标对所要反映的变化是敏感的； (4)特异性：特异性：指标只反映特定事物的变化；指标只反映特定事物的变化； (5)可靠性：可靠性：不同的人应用这一指标，结果都一样。不同的人应用这一指标，结果都一样。确定指标体系确定指标体系应遵循的原则应遵循的原则 (1)全面与系统性全面与系统性 (2)一致性一致性 (3)机构层次性机构层次性 (4)指导性指导性 (5)简单可行简单可行指标体系的构建指标体系的构建 (1)专家咨询法专家咨询法 (2)现场调查法现场调查法4.确定指标权重确定指标权重 权重是以数量形式对比、权衡被评价事权重是以数量形式对比、权衡被评价事物在总体中诸因素相对重要程度。物在总体中诸因素相对重要程度。 具体说权重反映了每个指标对总体综合具体说权重反映了每个指标对总体综合评价结果所做出的贡献。评价结果所做出的贡献。5.消除指标量纲消除指标量纲 量纲即指标的测量单位。量纲即指标的测量单位。 综合评价基本做法是将反映某一事物不综合评价基本做法是将反映某一事物不同方面的指标进行同方面的指标进行“综合综合”，使之成为，使之成为一个总的数值，以此数值代表某一事物一个总的数值，以此数值代表某一事物的总特征。的总特征。 由于反映某一事物的不同指标的量纲可能不同，由于反映某一事物的不同指标的量纲可能不同，用一般的计算方法无法进行综合，因此必须将用一般的计算方法无法进行综合，因此必须将指标的实测值（有量纲的指标值），经过无量指标的实测值（有量纲的指标值），经过无量纲化成为指标的评价值（无量纲指标值），然纲化成为指标的评价值（无量纲指标值），然后才能进行综合。后才能进行综合。 所谓指标无量纲化即指标的标准化，它是通过所谓指标无量纲化即指标的标准化，它是通过简单的数学计算来消除指标实测值量纲的影响。简单的数学计算来消除指标实测值量纲的影响。6.指标评价值的综合指标评价值的综合 消除量纲后的指标评价值，应按照指标消除量纲后的指标评价值，应按照指标体系的框架，分层次地进行综合，反映体系的框架，分层次地进行综合，反映某一事物不同部分的综合状况，最终综某一事物不同部分的综合状况，最终综合成一总值，反映该事物的总体状况。合成一总值，反映该事物的总体状况。三、评价实施三、评价实施 在评价实施之前，要求所有的参与者熟悉评在评价实施之前，要求所有的参与者熟悉评价方案，包括熟悉调查目的、调查对象、调价方案，包括熟悉调查目的、调查对象、调查方法和调查表，以便使大家对评价方案的查方法和调查表，以便使大家对评价方案的形式、内容、步骤达成共识在管理领域中，形式、内容、步骤达成共识在管理领域中，评价的实施又不同于一般的调查，因为它除评价的实施又不同于一般的调查，因为它除了收集必要的信息之外，还具有现场发现问了收集必要的信息之外，还具有现场发现问题、指导工作的职能。题、指导工作的职能。四、资料整理分析四、资料整理分析1.描述性分析描述性分析 将综合评价值按指标体系不同层次或类别进行将综合评价值按指标体系不同层次或类别进行分布分析，被评价对象之问排序比较，找出差分布分析，被评价对象之问排序比较，找出差异，分析原因。异，分析原因。2.经济学评价经济学评价 将指标体系中按投入与产出指标评价值计算其将指标体系中按投入与产出指标评价值计算其各自的综合值，然后做产出投人比较分析。各自的综合值，然后做产出投人比较分析。(1)效率分析效率分析 指卫生服务量与质变化与资源投入间的比较指卫生服务量与质变化与资源投入间的比较 通常效率是效果的前提，但二者不一定存在通常效率是效果的前提，但二者不一定存在必然的因果关系，也就是说，效果的产生，必然的因果关系，也就是说，效果的产生，除了与为实施干预措施而投入的资源有关外，除了与为实施干预措施而投入的资源有关外，还存在着其它未能控制的影响因素。还存在着其它未能控制的影响因素。(2)成本效果分析成本效果分析(Cost-Effective Analysis) 成本效果分析时，投入成本按货币单位表成本效果分析时，投入成本按货币单位表示，产出的效果则以健康指标或卫生问题示，产出的效果则以健康指标或卫生问题的改善来表示，实际是研究资源消耗与健的改善来表示，实际是研究资源消耗与健康结果之间的关系。通常用成本效果比值康结果之间的关系。通常用成本效果比值(CER)表示表示(3)成本效益分析成本效益分析(Cost-Benefit Analysis) 是在成本效果分析的基础上进行的，投是在成本效果分析的基础上进行的，投人成本与产出效果都用货币单位计算，人成本与产出效果都用货币单位计算，最后用效益成本比值最后用效益成本比值(BCR)表示。表示。 效益通常包括以下四个方而：效益通常包括以下四个方而： 个体健康效益个体健康效益 卫生保健资源效益卫生保健资源效益 经济效益经济效益 社会效益社会效益(4)成本效用分析成本效用分析(Cost-Utility Analysis) 将卫生计划的效果数据转化为共同的人工计量将卫生计划的效果数据转化为共同的人工计量单位指标来比较评价分析。效用指标通常有生单位指标来比较评价分析。效用指标通常有生命年、质量调整生命年、失能调整生命年等。命年、质量调整生命年、失能调整生命年等。 特点：特点：十分重视对规划方案健康效果的质量研十分重视对规划方案健康效果的质量研究。与成本效果分析相比，成本效用分析只使究。与成本效果分析相比，成本效用分析只使用最终产品指标，中间产品指标（如发现的病用最终产品指标，中间产品指标（如发现的病人数、减少的发病数）则不适宜。人数、减少的发病数）则不适宜。3.投入、产出、效果三维分析投入、产出、效果三维分析 将指标体系中投入、产出、效果指标评价值，分将指标体系中投入、产出、效果指标评价值，分别计算各自综合值，并分出高低等级，然后三者别计算各自综合值，并分出高低等级，然后三者问做交叉分析，分出若干类型，如问做交叉分析，分出若干类型，如“低投人、高低投人、高产出、高效果产出、高效果”，进一步分析优缺点及改进对策。，进一步分析优缺点及改进对策。4.效果指数计算效果指数计算(Effect Size, ES) 适用于有对照组的评价模式。适用于有对照组的评价模式。ES(Y1-Y2）/Sy1Y1 为干预措施前指标评价值；为干预措施前指标评价值；Y2为干预措施后指标评价值；为干预措施后指标评价值；Sy1为干预措施前指标评价值之标准差；为干预措施前指标评价值之标准差；ES为效果指数。为效果指数。评价效果表达形式有以下两种：评价效果表达形式有以下两种：净效果净效果=ES(实验组实验组)一一ES（对照组）（对照组）1)效果比值效果比值ES(实验组实验组)/ ES（对照组）（对照组）