财政支出项目绩效评价操作指南.pdf

《财政支出项目绩效评价操作指南.pdf》由会员分享，可在线阅读，更多相关《财政支出项目绩效评价操作指南.pdf（95页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、财政支出项目绩效评价操作指南（试行）海南省财政厅 2010 年 8 月目录 表 20 图 图 2-1 项目逻辑模型.6 专栏1 引言 1.1 背景 2009 年 6 月 22 日，财政部发布了财政支出绩效评价管理暂行办法（财预 200976号）（以下简称办法）。财政支出绩效评价自此有了统一的部门规章。办法对绩效评价的实施和管理提出了明确要求，对绩效评价涉及的各方职责、评价内容、评价指标的确定、评价方法、实施程序、报告撰写和评价结果应用作出了原则性的规定。办法同时指出，各地可据此办法制定切合本地实际的管理办法和实施细则。为此，海南省财政厅参照财政部 国际金融组织贷款项目绩效评价操作指南并在开展绩

2、效评价试点的基础上，组织编写了 财政支出项目绩效评价操作指南（以下简称指南），用以指导全省各级政府部门开展绩效评价工作。1.2 目的 本 指南 旨在向全省各级政府部门和评价人员开展财政支出项目绩效评价（简称绩效评价1），提供具体操作指导，从而帮助他们更好地理解、管理和实施评价活动，并提高评价的规范性和质量。本指南有 3 个主要目的：帮助各级政府部门管理人员、项目实施人员和评价人员更好地理解并掌握财政支出项目绩效评价的基本概念、一般准则、方法及其他相关知识；帮助各级政府部门有效地开展绩效评价管理工作，并对绩效评价进行质量控制；1 以下如无特殊说明，绩效评价均指的是财政支出项目绩效评价。指导评价人

3、员规范地实施绩效评价任务，从而提高绩效评价的质量。此外，本指南还可以作为各级政府部门建立适合本地、本部门实际的绩效目标管理系统的重要参考。1.3 内容 本指南包括9 章内容。第 1 章是引言，主要说明指南编写的背景、目的、内容及其使用。第 2 章是绩效评价的基本概念，主要介绍本指南涉及的定义、评价原则、准则、评价步骤等。第 3、4 章是绩效评价管理，主要阐述评价任务的组织和评价任务大纲的设计与编写。第 5-7 章是绩效评价的设计与实施，重点介绍绩效评价的设计、实施和评价报告编写。第 8 章是评价结果的使用与扩散，介绍如何使用评价结果，如何进行评价结果的扩散。第 9 章是绩效评价的质量控制。质量

4、控制对于绩效评价非常关键，是评价管理者重要工作之一。质量控制贯穿于绩效评价从设计、实施到撰写报告的全过程。图 1-1 财政支出项目绩效评价操作指南框架 1.4 使用 本指南适用于办法中涉及的财政性资金安排的支出项目（以下简称项目2）。本指南的使用者包括各级财政部门及其他政府部门中负责绩效评价管理的人员、参与财政支出项目绩效评价的评价人员、咨询专家及其他相关人员。本指南的内容针对不同使用者的需求进行了编排。第 1、2、8 章适用于所有 2 如无特殊说明，以下“项目”均指财政性资金安排的项目。前期准备（准备阶段）确定评价任务 确定评价任务的实施模式（第 3 章）编制评价任务大纲（第 4 章）评价设

5、计（设计阶段）前期准备 开发绩效评价框架（核心）形成评价实施方案 质量控制（第章）评价实施 证据收集 质量控（第使用者阅读和使用，第 3、4、9 章主要供绩效评价管理者阅读和使用，第 5、6、7 章则主要供评价人员、咨询专家阅读和使用。当然，我们鼓励使用者阅读完 指南的全部内容，以便更好地理解并开展绩效评价工作。2 项目绩效评价的基本概念 绩效评价的定义 绩效评价的定义是开展项目绩效评价相关各方相互沟通和理解的一个基础。本指南所称的绩效评级，是指财政部门和预算部门（单位）根据设定的绩效目标，运用科学、合理的评价方法、指标体系和评价标准，对财政支出产出和效果进行客观、公正的评价。绩效评价的原则

6、客观、公正原则。应当依据绩效评价准则、关键评价问题等开展评价活动，确保评价结果的真实性。科学、规范原则。绩效评价的设计应当具有科学性和可操作性，评价的实施应该遵循规范的程序和方法。可靠性原则。绩效评价应该既要报告项目成功的方面，也要报告项目失败的方面。目标导向原则。绩效评价以项目目标为导向，重点评价项目目标的相关性、目标实现程度、相对于目标实现程度的效率、以及项目成效的可持续性。参与性原则。项目各利益相关者，包括项目管理方、项目实施单位、项目受益群体、有关专家等，要尽可能地以适当方式参与到考评过程中来。项目的逻辑模型 财政支出项目的设计都应使用逻辑模型。项目逻辑模型是一种理解从投入到结果之间的

7、因果关系的有效工具。项目逻辑模型包括投入、活动、产出、成效、影响 5 个关键要素。其背后的逻辑是：对一个项目投入一定的资源，以便其开展必要的活动；至少有一些活动会获得一些产出，比如产品和服务；通过使用这些产出应该会带来某种变化。投入（Inputs）：指用于项目实施的各种资源，包括人力、资金、实物、时间和专业技能等资源。活动（Activities）：我们所做的。指为实现项目目标而调动和使用各种资源的各项行动和工作，活动可以使用动词来表述（开展、建设、培训、调研等）。产出（Outputs）：我们所生产的。指通过实施各项活动而产生的产品和服务，是有形的，可计算的。比如为 50 个人提供了医疗服务，培

8、训了 100 名小学教师，修建了 100 公里公路。成效（Outcomes）：我们为何做。指通过使用项目的产出而带来的短期或中期的直接效果，成效能够被增加、减少、增强、改善或维持。比如新修公路使通行时间缩短，提高了运输效率。设定清晰的成效对于设计和构建结果导向的监测与评价体系至关重要，成效不能直接考核，它必须转化为一组关键指标，这些指标能够提供关于成效是否得以实现的信息。影响（Impacts）：指由成效累积导致的长期的或全面的变化，类似于战略目标。比如运输效率提高降低了运输成本（成效），从而促进了当地经济的发展（影响）。图 2-1 以某培训项目为例，解释项目逻辑模型。图 2-1 项目逻辑模型以

9、某培训项目为例 绩效评价的准则 本指南采用以下 4 个评价准则，即相关性、效率、效果和可持续性。2.4.1 相关性 相关性是指项目目标与政府的发展政策和优先重点、部门/行业发展规划以及受益群体的需求的相符程度。通过对相关性的评价，可以检查项目设计和项目实施是否针对当地的实际需求，解决当地的实际问题。2.4.2 效率 效率是指资源/投入转化为结果的经济性。效率评价的内容包括项目实施的时间效率、资金使用、在使用既定资源下的产出情况、项目的经济内部收益率（EIRR）。项目实施的时间效率考察项目是否按计划的时间开工、是否在计划实施周期内完工。资金使用考察项目资金的使用是否按照预算执行。在使用既定资源下

10、的产出情况是指项目是否实现了所有的预计产出。项目经济内部收益率是指项目周期内经济净现值累计等于零的折现率，是反映项目对国民经济和社会贡献的相对指标。2.4.3效果 效果是指项目目标的实现程度，它也表现为目标群体的受益情况。效果从项投入 活动 产出 成效 影响 1.资金 2.人员 3.物料供应 1.培训 2.教育 3.咨询服务 1.服务时数 2.完成课程的参加者人数 1.技能提升 2.态度改变 3.新的就业机会 1.培训者在5 年内比那些没有接受培训的人挣得更多 目目标实现程度和项目瞄准度两方面进行评价。项目目标是在项目设计时的预计成效，指通过一系列项目活动而要实现的结果，通常表现为对社会、经济

11、、社区、目标人群所产生的积极作用。项目瞄准度是指考察项目成果是否真正地被目标群体享有。也就是说，项目效果的评价不仅取决于项目实现预期目标的程度，也要考察其成果（一般表现为项目提供的产品或服务）是否使目标人群受益。2.4.4 可持续性 可持续性是指项目完工后持续运行和发挥成效的可能性。它针对保障项目持续运行并发挥成效的各方面因素进行评价，这些因素包括项目管理或运行机构的持续性、项目产出的维护和利用、制度保障等。此外，由于财政部门对项目还款十分关注，可持续性还对项目还款能力进行评价。绩效评价的步骤 绩效评价一般包括以下几个步骤，每个步骤的详细内容和做法将在以后各章进行阐述。第 1 步：前期准备 前

12、期准备包括确定绩效评价任务和评价组织实施模式（见第3 章）、编制评价任务大纲（见第 4 章）等。第 2 步：评价设计 根据评价任务大纲设计详细的评价实施方案，包括开发绩效评价框架、选择证据收集方法、设计面访、座谈会和实地调研等的问题清单、进行人员、时间和经费安排等（见第 5 章）。第 3 步：评价实施 按照设计的方案开展绩效评价，包括证据收集整理、证据分析、形成评价结论、经验教训和建议等（见第 6 章）。第 4 步：报告评价结果 按照本指南附件 3 的格式编写绩效评价报告，在此过程中要与利益相关者进行沟通，并将他们的观点和意见吸收到评价报告中来（见第 7 章）。第 5 步：评价结果使用和扩散

13、项目管理部门利用评价结果，用于解决问题、改进管理或为决策提供依据。财政部门将评价结果与以后年度的预算安排进行挂钩（见第 8 章）。3 评价任务的组织 具体评价任务由财政部门以文件形式下达的年度评价计划确定。3.1 评价任务的组织模式 评价任务可以由管理部门（各级财政部门和预算部门）组织实施，也可根据需要委托外部专业机构或专家进行，并与其签订委托合同。无论采取哪种方式，管理部门都应指派一名评价管理者，并要组建合格的评价小组实施绩效评价。3.2 评价管理者的职责 评价管理者应为熟悉被评项目的管理人员，应履行以下职责：编写绩效评价任务大纲；与评价小组进行充分沟通，使其完全理解评价任务大纲的每一项内容

14、；为评价活动提供必要的支持和及时的反馈；监督评价活动的进展并进行质量控制；对评价活动中出现的情况及时做出决策；如委托合同需要变更，应与评价小组进行协商；检查评价报告初稿是否符合合同和指南的要求；对评价报告初稿提出反馈意见；确保各利益相关者有机会对评价报告初稿提出意见和建议，并保证这些意见和建议反映在评价报告终稿中；促进评价结果的使用和扩散。3.3 绩效评价小组 3.3.1 评价小组应具备的知识和技能 不管是管理部门自己评价，还是委托外部专业机构或专家评价，都需要成立绩效评价小组。评价小组是进行绩效评价的设计、实施和报告编写的团队。评价小组对于绩效评价尤为重要。它是评价任务能否成功实施的关键因素

15、。虽然绩效评价需要的知识和技能因不同项目而异，但以下列出的知识和专业技能是评价小组必须具备的：绩效评价知识和技能：这是一种综合的能力，包括绩效评价理论知识、方法和其他技能，如经济分析、统计分析、社会调查等。沟通能力：沟通能力十分重要，它有利于与利益相关者进行友好沟通，促进利益相关者参与绩效评价并提供必要协助，并向不同用户有效地报告评价结果。组织协调能力：组织协调能力是保证绩效评价顺利实施的关键，包括组织和调动各种资源、协调评价中不同任务的进展、控制评价任务在规定的时间内完成。行业知识：评价小组要熟悉项目所在的行业背景、发展状况、相关政策、专业知识等。了解当地情况：因为项目实施的成功与否有时取决

16、于当地因素，所以了解当地社会和文化背景很重要。评价小组还需要了解当地的发展政策、优先重点、以及面临的主要发展问题。如果项目的目标群体还涉及少数民族，还应该了解并尊重他们的生活习俗，以便更好地与他们进行沟通。3.3.2 评价小组的构成 评价小组由若干名评价人员组成。评价小组成员不得与项目管理、实施、运行等有利益冲突。并不要求评价小组的每名成员都具备上述知识和能力，允许评价人员各具专长，通过互相补充、互相学习而使整个评价小组具备上述知识和技能，从而胜任评价任务。评价小组必须指定一名评价组长。组长应该具备以下条件：具有较为深厚的绩效评价知识和技能；熟悉被评项目所在领域的相关政策、技术、管理等知识；具

17、有较强责任心。评价组长应履行以下职责：负责与管理部门沟通；督促并协调评价小组成员的工作并管理日常工作；在评价小组出现不同意见时充当协调人；确保评价小组按照评价任务大纲实施评价；编写评价报告并负责报告最终定稿。4 编制评价任务大纲 评价任务大纲（Terms of Reference，TOR）是一个书面文件，它载明评价的目的和范围、评价使用的方法、绩效评价或分析针对的标准、需要的资源、时间安排和评价报告要求。每个项目绩效评价都必须编写一个评价任务大纲。功能 评价任务大纲体现了管理部门对绩效评价的要求，是从评价任务组织到评价结果使用与扩散的整个评价活动必须遵循的核心文件。评价任务大纲对于绩效评价至关

18、重要，主要发挥以下4 个方面的作用：将年度评价计划中的任务转化成可操作的评价工作；为评价小组进行具体评价设计和实施提供基础；为各利益相关方对评价任务形成共识提供基础；为评价管理者进行绩效评价质量控制、核查评价小组任务完成情况提供依据。编写步骤 评价任务大纲由评价管理者根据确定的评价任务进行编写，编写评价任务大纲一般包括 4 个步骤：前期准备、起草评价任务大纲初稿、与利益相关者沟通、形成最终评价任务大纲。4.2.1 前期准备 编写之前要对项目进行必要的研究和分析，要明确评价目的，熟悉项目目标、特点、实施和完成情况，了解项目实施的社会经济背景，掌握项目现有数据信息情况。4.2.2 起草评价任务大纲

19、初稿 在前期准备和估算用于评价的资源（包括经费、人员和时间）等基础上，编写评价任务大纲初稿。4.2.3 与利益相关者沟通 评价任务大纲初稿要与项目主管部门、项目实施及运行机构、行业专家等主要利益相关者进行沟通，听取他们的意见和建议。4.2.4 形成最终评价任务大纲 在考虑利益相关者的建议和意见基础上，修订完善评价任务大纲初稿，形成最终评价任务大纲。内容 高质量的评价任务大纲应该包括以下几部分内容：评价目的、项目描述、评价范围、涉及的利益相关者、关键评价问题、方法、预期成果、评价小组、实施计划、费用与支付、管理部门责任等。4.3.1 评价目的 评价任务大纲的第一部分要明确评价目的。评价目的要具体

20、写明为什么要开展此项评价，评价结果将如何使用，以及由谁使用。4.3.2 项目描述 对项目背景、项目目标、项目投入与活动、实施情况等方面进行简要描述，以便评价人员能够迅速了解项目基本情况。项目背景：项目实施的国家层面和地方层面的社会经济发展状况，项目所属的领域，所要解决的主要问题，如基本医疗卫生服务不足问题、城市交通发展瓶颈问题、环境污染问题等。项目目标：项目的预期产出和成效，如果项目设定了具体目标，还应描述其具体目标。项目投入与活动：项目投入金额和构成，为了实现项目目标而设置的项目组成（Components）及其开展的活动（Activities）。实施情况：项目的实施周期（从开工到完工），实施

21、地点，实施组织情况。4.3.3评价范围 评价范围确定了绩效评价的广度和深度，包括时间范围、地域范围和收益群体范围。评价范围往往与评价目的有关。4.3.4 涉及的利益相关者 项目往往涉及多个利益相关者，包括管理部门、项目实施机构、项目运行机构、目标群体、社区等。要说明希望他们参与绩效评价的形式。上述描述是为了使评价人员了解项目的利益相关者，并尽可能从他们那里收集到绩效评价的有用信息。4.3.5 关键评价问题 这部分要列出绩效评价想要回答的关键问题。关键评价问题是针对评价目的，在评价准则基础上进行开发的。本指南列出了12 个必须回答的关键评价问题（见第 5.2.1 节）。管理部门根据需要，可以突出

22、其中若干个问题，或补充其他问题。4.3.6 方法 描述证据收集可能用到的方法，比如案卷研究、面访、实地调研、问卷调查、座谈会等。不同方法的成本不同，在选择使用何种方法时要考虑绩效评价的预算。具体方法由评价小组进行开发。4.3.7 预期成果 通过绩效评价管理部门想要获得的成果，如绩效评价报告、评价进展报告及其提交时间。如果评价成果要用于扩散（如研讨会），那么这部分还要描述评价人员在成果扩散中应发挥哪些作用。4.3.8 评价小组 这部分要描述评价小组所需要的知识、能力和经验，以及其他相关能力，如语言能力；还要描述建议的评价小组人数。4.3.9 实施计划 这部分说明评价任务将要开展的活动及时间安排，

23、尤其是评价成果的提交时间节点。这里主要列出评价任务实施的关键时间节点和任务负责人，详细的实施计划由评价小组开发。实施计划模板（见表 4-1）。表 4-1 评价任务大纲评价任务实施计划模板 序号 活动描述 时间安排 负责人 1 签订任务合同 XX 年 XX 月 XX 管理部门、评价小组 2 开发绩效评价框架 XX 年 XX 月 评价小组 3 形成评价方案 XX 年 XX-XX 月 评价小组 4 评价实施 XX 年 XX-XX 月 评价小组 5 提交报告初稿 XX 年 XX 月 评价小组 6 利益相关者反馈 XX 年 XX 月 XX 管理部门及其他利益相关者 7 评价报告终稿 XX 年 XX 月

24、评价小组 注：如果由财政部门自己开展绩效评价，这个步骤则省略。4.3.10 费用与支付 这部分说明评价任务的预算费用和支付方式。4.3.11 管理部门责任 评价任务大纲要写明管理部门在绩效评价中的责任，包括管理部门要提供相关项目文档，为评价小组提供必要的协调，参与绩效评价实施过程中的某些活动，如实地调研、座谈会和讨论，对绩效评价进行质量控制等。由于评价任务大纲对绩效评价的成功实施至关重要，因此在公布最终评价任务大纲之前，管理部门要对其质量进行检查（见专栏 4-1）。专栏 4-1 高质量评价任务大纲的核查问题清单 为什么要开展此项评价？评价涉及了哪些利益相关者？所提出的评价问题是否明确？是否所有

25、问题都能被回答？评价任务大纲是否提出了关于评价方法或评价程序的硬性要求？这些要求是否合理？是否有足够的资源和时间来完成评价任务？在评价实施过程中，管理部门和其他利益相关者将为评价小组提供哪些必要支持？管理部门对于评价报告的要求是否清晰？评价小组能否根据评价任务大纲深化评价设计和实施评价任务？评价任务大纲格式见附件1。5 绩效评价设计 仅仅有高质量的评价任务大纲还不能保证绩效评价的成功实施。因为评价任务大纲由评价管理者负责设计，主要对绩效评价的关键要素进行说明，是绩效评价实施的纲领性文件。但是，绩效评价任务由评价小组负责具体实施，这就要求评价小组要在对评价任务理解的基础上，将评价任务大纲转化为可

26、操作的实施方案，这才能保证绩效评价的成功实施。因此，绩效评价的设计要基于评价任务大纲，并主要满足评价任务大纲的要求。绩效评价设计的主要产出就是绩效评价框架和绩效评价实施方案。绩效评价设计流程见图 5-1。在绩效评价设计的每个步骤中，评价小组都要与管理部门进行沟通。图 5-1 绩效评价设计流程 前期准备 前期准备包括尽量收集并熟悉现有的项目文件，与管理部门（或委托方）进行沟通，了解他们的意图并理解评价任务大纲的内容。前期准备要查阅的项目文件包括项目立项文件、项目实施计划、项目进展报告、项目中期检查报告、项目完工报告、项目工作总结等。前期准备要形成绩效评价过程文件之一项目基础信息表（见表 5-1）

27、。前期准备 开发绩效评价框完成评价实施方 熟悉项目文件 与管理部门沟通 开发评价指标 选择证据收集方法 评价任务分解 评价小组分工 实施时间安排 表 5-1 项目基础信息表 一、项目概况 项目名称 项目类型 根据项目预算管理办法对项目的分类填写 投资金额 其中：中央财政 省级财政 地方配套 金额以人民币为单位 实施周期 按项目完工报告中实施周期填写 实施地点 按 XX 省 XX 市 XX 县的格式填写 项目发展目标 按项目立项文件中的目标填写，若项目目标经过调整且经过财政部门同意，还应填写调整后的目标 项目组成 按项目立项文件中的项目组成简要填写 项目实施单位 二、项目背景 重点从以下几方面描

28、述项目的背景，但不限于这几点，注意提取关键数据和事实：-项目的提出针对国家社会经济发展的哪些特定需求？（例如：与相关战略、政策或其他重大项目的关系等）-项目的提出针对所在行业的哪些关键问题？（例如：解决空白问题、瓶颈问题、还是在现有条件下改进提高）-确定项目的具体内容以及选择项目实施地点的理由，或有哪些考虑？（例如：该地区最 贫困，或具备实施条件，或估计影响较大等）三、项目目标和活动内容 分别简述每一个项目组成部分的目标、投入、产出和实施地点。开发绩效评价框架 绩效评价框架是开展绩效评价的核心。绩效评价框架包括评价准则、关键评价问题、评价指标、证据、证据来源、证据收集方法等（见表 5-2）。表

29、 5-2 绩效评价框架结构 评价准则 关键评价问题 评价指标 证据 证据来源 证据收集方法 相关性 效率 效果 可 持 续性 绩效评价框架中的术语解释如下：评价准则：即第 2 章第节提到的相关性、效率、效果和可持续性 4 个评价准则。关键评价问题：用来将绩效评价聚焦于若干有限的关键方面，进而分析和评判准则的工具，一个评价准则下可以有多个关键问题。评价指标：定量或定性的因素或变量，是用来衡量成果、反映变化的手段；这里，评价指标是用来回答关键问题的一种工具，一个关键问题下可能有多个评价指标。证据：用来对评价指标进行评判的各种信息，包括项目数据、事实、利益相关者观点等。证据来源：说明证据的出处，以便

30、评价人员能够收集到所要的证据。证据收集方法：绩效评价中用于收集各种证据的手段，如案卷研究、实地调研、面访、问卷调查等。本指南的宗旨是既要为评价人员提供操作性的指导，又要发挥评价人员的积极性和专业技能，根据不同项目特点开发合适的评价框架。基于这种考虑，指南 根据 4 个评价准则设计出 12 个关键评价问题。这 12 个关键评价问题是每个项目绩效评价的共性问题，而评价指标留待评价人员根据不同项目具体开发。这样，统一的关键评价问题保证了不同评价都涉及了共同的关键绩效内容，而个性的评价指标则体现了不同项目的特点。如果管理部门还提出了其他的关键评价问题，评价小组可以根据问题的性质归入评价准则当中；如果不

31、能归入，可以放在评价报告第4 章需要说明的事项中进行说明。以下按照图 5-2 的流程一步一步介绍如何开发绩效评价框架。图 5-2 设计阶段绩效评价框架开发流程 5.2.1 关键评价问题 本指南针对每个评价准则共设计出 12 个关键评价问题，具体如下：相关性 相关性包括 2 个关键评价问题：问题：在评价之时，项目是否符合政府的发展规划、优先发展重点？理解关前期 设计评 明确证选择证问题：项目是否针对某一实际问题和需求？问题是评价项目的政策相关性。即项目与当前国家、行业发展战略、优先重点的相符程度。问题是评价项目与面临的问题和需求的相关性。它考察两方面内容。首先，在设计之时项目活动是否针对当时的实

32、际问题。比如某农业发展项目，当时当地农业发展面临的主要问题是农业用水严重缺乏（水源性缺水）需要引水灌溉，那么要评价这个项目设计的活动（比如建设水渠和水库）是否针对了上述问题。其次，在进行绩效评价之时，项目完工后提供的产出是否能够满足当前的需求。仍然以上述项目为例，如果当地农业灌溉问题已经由水源性缺水变成水质性缺水（即引过来的水严重污染而无法用于灌溉），那么项目建设的水渠和水库仍然无法满足当地农业用水需求。这说明项目与当前当地的问题相关性不强。效率 效率包括 4 个关键评价问题：问题：项目是否按照计划的资金预算实施？问题：项目是否按照计划的时间周期实施并完工？问题：项目是否实现了所有的预期产出？

33、问题：项目完工后是否达到预期的经济内部收益率？问题是评价项目的资金使用情况。它考察项目资金是否按照预算使用，使用是否节约。对于完工项目，实际投入以项目完工报告中的为准；对于正在实施的项目，实际投入以项目年度进展报告中的为准。问题是评价项目实施的时间效率。它考察两方面内容，一是项目是否按预期的开工时间开工，二是项目是否在计划的时间周期内完工。项目的预计开工时间和预计实施周期以项目评估文件/设计文件或项目实施计划中的时间为准，实际时间以项目完工报告中的为准。问题评价项目产出的实现情况。一般项目会分成若干个组成部分，每个组成部分包括一些具体活动。通过实施这些活动，才能保证项目实现预期产出（如产品、服

34、务、设施等），而通过产出的使用，实现预期目标。这里要评价项目是否按质按量实现了所有预期产出。问题考察项目的经济内部收益率。该问题并非对所有项目都适用。如果项目评估文件或项目完工报告中写明经济内部收益率对该项目不适用，那么绩效评价就不对其进行评价。效果 效果包括 2 个关键评价问题：问题：项目是否实现了预期目标？问题：项目的实际受益者是否是项目的目标受益群体？问题是评价效果最核心的内容。如果项目目标经过修改并且获得财政部门的批准，则应采用修改后的目标。问题是评价项目瞄准度问题，只有项目的实际受益群体是项目计划的目标受益群体，项目的效果才能充分体现出来，也才能说项目实施是成功的。可持续性 可持续性

35、包括 4 个关键评价问题：问题：项目的管理和/或运行机构的设置、人力资源、技术能否满足项目持续运行的需要？问题：项目的产出能否得到持续地提供、维护和利用？问题：项目运行所依赖的政策、制度能否得到持续地实施？问题：项目财务是否可持续？问题考察的是项目完工后，项目的管理机构和/或运行机构能否保证项目的持续运行。问题中的产出是指通过项目实施获得的基础设施、设备、教室、医院等实物产出，以及培训、服务、技术支持等软产出。这个问题考察的是项目产出能否持续地提供、维护和利用，以保障项目持续发挥作用。问题是考察制度或政策对项目持续性的保障程度，比如用水制度对水资源保护和利用项目十分重要，如果用水制度没有得到持

36、续地执行，那么项目的效果也就无法持续。问题是考察项目投入运行后的收支情况或经费保障情况。上述 12 个关键评价问题是针对一个完工项目而设计的；而对于正在实施的项目有些问题不适用。当然，对正在实施项目的评价，评价小组也可以对其中一些问题进行预测性回答，并说明预测的理由，以提醒管理者注意，采取必要措施保证项目的成功实施。表 5-3列出了所有关键评价问题，并说明其适用的项目类型。表 5-3 关键评价问题的适用性 关键评价问题 适用的项目 完工 项目 正在实 施项目 相关性 在评价之时，项目是否符合政府的发展规划、优先发展重点？项目是否针对某一实际问题和需求？效率 项目是否按照计划的资金预算实施？项目

37、是否按照计划的时间周期实施并完工？项目是否实现了所有的预期产出？项目完工后是否达到预期的经济内部收益率？*效果 项目是否实现了预期目标？项目的实际受益者是否项目的目标受益群体？*可持续性 项目的管理和/或运行机构的设置、人力资源、技术能否满足项目持续运行的需要？项目的产出能否得到持续地提供、维护和利用？项目运行所依赖的政策、制度能否得到持续地实施？项目财务是否可持续？*注：带“”的问题对完工项目和正在实施的项目都适合，带“*”的问题表示对于正在实施的项目可以通过现有的事实和利益相关者的观点进行预测评价，带“*”的问题表示如果项目设计之时对经济内部收益率没有计算，则对该项目不适用。5.2.2 开

38、发评价指标 评价指标是针对关键评价问题而开发的，评价指标是回答关键评价问题的工具。二者的关系如下：（1）有的关键评价问题包含了多项评价内容，需要用不同的指标加以区分，所以有的关键评价问题会包含若干个评价指标；（2）通过指标收集回答关键评价问题的相关证据，避免收集过多的无关证据；（3）通过指标可以体现具体项目的特点；（4）通过指标能够直观地对关键评价问题进行分析，从而得出关键评价问题的评价结果。评价指标的开发至关重要，它影响到其后证据及其来源的确定、证据收集方法的选择和评价分析等活动。专栏 5-1 列出了评价指标开发要遵循的原则。如果评价指标没有满足这些原则，将会影响到绩效评价的质量，进而评价结

39、果的应用也将大打折扣。专栏 5-1 开发评价指标的原则 开发评价指标的 SMART 原则：具体的（Specific）：指标定义清晰，不产生歧义；可衡量的（Measurable）：有确定的评价基准对其进行衡量和分析；可实现的（Achievable）：在现实条件下可以收集到相关证据；相关的（Relevant）：指标与对应的关键评价问题要相关，能够为管理提供有用的信息；时限的（Time-bound）：具有确定的时间范围。下面以辽宁城市交通项目（见专栏 5-2）为例介绍评价指标的开发。3 专栏 5-2 辽宁城市交通项目简介 辽宁城市交通项目的发展目标是提高城市交通系统的生产力，促进辽宁省沈阳市、抚顺市

40、和鞍山市的经济和社会发展。具体目标包括：（1）通过扩展高等级道路设施、改善次干道和铁路交叉口、打通断头路和道路拓宽，来改善道路基础设施瓶颈路段；（2）通过建设公交走廊和乘客设施、引进先进公交维护设备，提 3 在本征求意见稿中使用的案例，将随着研究和试点评价的深入开展而进行完善。考虑到指南的权威性和指导性，最终的指南可能会对案例进行修改，甚至采用新的更加完善和适合的案例。此处仅仅为开发评价指标提供示例。高公交服务的效率和效果；（3）通过开发先进的、可持续的路面管理系统，改进道路维修养护的投资状况；（4）通过制定机动车尾气排放控制策略（MVECS），持续改善项目的投资环境；（5）通过交通示范项目的

41、渠化、修建非机动车设施、设置信号和其他交通管理措施，改善道路系统的运营效率和安全性；（6）通过考察、技术援助和有针对性的培训，加强城市交通系统管理能力。项目从 1999 年 12 月 28 日开始生效，于 2005 年 12 月 31 日结束。项目总投入 33795 万美元，其中世行实际贷款金额 14760 万美元。项目包括 4 个分项目（component）：沈阳分项目、抚顺分项目、鞍山分项目和技术援助（TA）分项目。沈阳、抚顺、鞍山分项目都包含公共交通、交通管理、道路基础设计和道路养护4 个分子项目（subcomponent）。具体资金使用如下表所示。项目实际使用经费统计表 单位：百万美元

42、 分项 沈阳 鞍山 抚顺 小计 公共交通 交通管理 道路基础设施 道路维修养护 技术援助 先征费 合计 注：截止到 2005 年 12 月的项目经费实际使用情况 数据来源：项目完工报告 相关性 开发相关性的评价指标之前，要检查项目目标是否经过修改，修改后的目标是否得到批准。如果项目目标经过修改且获得批准，那么应以修改后的项目目标来开发评价指标。表 5-4 相关性评价指标开发-以辽宁城市交通项目为例 准则 关键评价问题 评价指标 相关性 在评价之时，项目是否符合政府发展政策或优先发展重点？项目与当前城市交通发展政策的相符程度 项目是否针对当地的实际问题和需求？项目与当时项目市城市交通发展问题的针

43、对程度 项目对当前项目市城市交通发展需求的满足程度 效率 针对效率的 4 个关键评价问题，评价小组首先要明确项目的计划和实际的实施周期、项目的资金预算及使用情况、项目预期要开展的和实际开展的活动、项目的预期和实际产出、项目是否测算其经济内部收益率、如有预期值是多少。然后基于这些内容开发评价指标。对于问题要尽量使用项目评估文件或设计文件中的产出目标，如果评价小组认为项目设计的产出目标存在重大缺陷，无法对产出进行客观地衡量，可以设计新的产出目标，但要与管理部门、项目单位协商，并考虑证据收集的难度和成本。同时，要在评价报告第 4 章需要说明的事项中加以说明。表 5-5 效率评价指标开发-以辽宁城市交

44、通项目为例 准则 关键评价问题 评价指标 效率 项目是否按照计划的资金预算实施？项目资金使用与预算的一致性 项目是否按照计划的时间周期实施并完工？项目预期和实际的实施周期相符程度 项目是否实现了所有的预期产出？项目公共交通部分产出的实现程度 项目交通管理部分产出的实现程度 项目道路基础设施部分产出的实现程度 项目道路维修养护部分产出的实现程度 项目技术援助部分产出的实现程度 项目完工后是否达到预期的经济内部收益率？项目经济内部收益率（EIRR）的实现程度 注：该项目包括公共交通、交通管理、道路基础设施、道路维修养护和技术援助5 项活动，因此，针对这 5 方面内容设置产出指标。效果 开发效果评价

45、指标之前，要明确项目目标和目标受益群体是谁。对于问题要尽量使用项目评估文件或项目设计文件中的效果目标。如果评价小组认为项目设计的效果目标存在重大缺陷，无法对目标实现程度进行客观地衡量，可以设计新的效果目标，但要与管理部门、项目单位协商，并考虑证据收集的难度和成本。同时，要在评价报告第4 章需要说明的事项中加以说明。本项目效果目标分为若干个具体目标（Specific Objectives），并且每个具体目标都设有评价指标，那么可以将问题按具体目标分解成若干个子问题，然后根据子问题设计效果评价指标。表 5-6 效果评价指标开发-以辽宁城市交通项目为例 准则 关键评价问题 评价指标 效果 项目是否实

46、现了预期目标？3.1.1 项目是否实现减少基础设施瓶颈路段的目标？交通走廊出行时间 3.1.2 项目是否实现改进道路维修养护投资状况的目标？路面状况 维修养护预算 维修养护平均费用 3.1.3 项目是否实现持续改善项目的投资环境的目标？大气质量标准 机动车尾气排放控制战略的制定 机动车尾气排放控制战略的采用和实施 3.1.4 项目是否实现提高道路系统的运营效率和运 营 安 全 的 目标？对通过交通屏蔽线的各种交通模式的交通流量、出行时间和占有率进行调查以衡量系统的运营能力 与行人和自行车有关的事故总数、总死亡人数及百分比 3.1.5 项目是否实现提高公交服务的效率和效果的目标？年度补贴 年均单

47、位里程的运营费用 每年客运量 可运营的公交数量 营运线路数量 3.1.6 项目是否实现加强城市交通系统管理能力的目标？当地能力的加强和决策的改善 项目的实际受益群体是否是项目的目标受益群体？目标受益群体覆盖率 可持续性 对于问题，评价小组要明确项目完工后的管理机构和/或运行机构有哪些，它们的机构设置是否合理，人力资源是否充足、是否具备必需的管理和技术能力等。对于问题，评价小组要分析项目的哪些产出对项目持续发挥成效是关键的，比如对于高速公路项目，高速公路的维护和利用是保证项目发挥效益的关键；对于扶贫项目，对贫困人口进行持续地生产和劳动技能培训是项目实现扶贫效果的关键。对于问题，评价小组要明确项目

48、制定的政策以及国家、行业和当地相关的政策有哪些，这些政策对项目持续运行发挥什么作用，如果没有这些政策，项目能否持续下去。对于问题，评价小组要考虑机构获得的经费等能否满足项目运行的各项成本支出。表 5-7 介绍可持续性的关键评价问题的指标开发。表 5-7 可持续性评价指标开发-以辽宁城市交通项目为例 准则 关键评价问题 评价指标 可持续性 项目的管理和/或运行机构的设置、人力资源、技术能否满足项目持续运行的需要？项目市市政道路养护处的人力资源和技术对道路持续养护的满足程度 项目市交管部门的人力资源和管理对持续开展交通管理的满足程度 项目的产出能否得到持续地提供、维护和利用？道路基础设施的持续利用

49、程度 道路基础设施维护的持续性 交通管理的持续性 项目运行所依赖的政策、制度能否得到持续地实施？项目所依赖的优先发展公共交通政策的持续性 项目财务是否可持续？项目收支情况 5.2.3 证据及其来源 证据是用来测量评价指标、回答关键问题、支持评价结论等的数据、事实和观点。在开发评价指标时就要考虑证据及其来源。评价小组要尽量收集高质量的证据。高质量的证据具备以下特点：相关性：所收集的证据要与指标相关、并且是最重要的信息，比如要测量贫困地区适龄女童的小学入学情况，那么就要收集女童而不是男童的入学率数据。有效性：所收集的证据要能真实反映指标内容，比如要测量某个省的贫困地区适龄女童的小学入学情况，那么要

50、收集全省的适龄女童入学率数据，而不是县级的数据。可靠性：测量相同指标的证据可以通过相同方法进行收集并验证，比如适龄女童入学率数据每年都可以通过“某地区适龄女童入学人数/某地区适龄女童人数*100%”来获得。准确性：所收集的证据要准确，特别是对于收集的利益相关者观点要注意其代表性，比如对于“社区环境是否改善”这一问题，有 8名居民认为环境得到改善，而只有 2 名居民认为环境没有改善，那么要采用 8 名居民的观点。绩效评价证据来源主要有以下 3 类，见专栏 5-3。专栏 5-3 绩效评价证据来源 第一类：制度、政策和法规 国家相关法律、法规、规章；国家发展规划和相关部门行业发展规划及政策，地方政府