●重大科技项目中评估研究.pdf

《●重大科技项目中评估研究.pdf》由会员分享，可在线阅读，更多相关《●重大科技项目中评估研究.pdf（7页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 第玎卷第 2 期(1 9 9 3 年)科学 学 研究 St u di e s i n Sc i e nc e of Sc i e nc e Voi 1 1，No (1 9 9 3)科授硬臼 项目 评，研 _ 7，重大科技项 目中评估研究“科技 项 目评 价”课题组 毛 乒，。(中国科学院科技政策 与管理科学研究所)摘要 苯文针对我 国重 大科 技项 目的特点、管理 体剞 及运 行机制，着重讨论 T重 大科 技项 目中评 估 的地 位与作用、中评 估 的基 末要素 分析、评价模型、评价指 标体 系及评 价方法等 问题，提 出 7根据项 目的工期、技 术和管理特 生 进 行分类评 估 的 a S

2、T M动态模 型”，嘿及按指 标层 面(水平)推进 的动 态 权 重“递 进 评 价”模 型 方 法。一，中评估 的地位，作用及特点 对于重大科技项 目来说，管理的内容主要分为计划的制定和实施过程中的调控两个方面。计划描 述了即将开始的行动，行动开始后调控就成为主要的工作。当然，调控 的主要 目的在 于采取 校正措施 以纠正偏差，如果计 划和工作 程序都完全按 步就班 地进 行，也就不需 要进行 调控 了。但这种情况只会发生在静态分析中，实践中几乎是不存在 的。事实 上，管理政策，管 理 目标和 管理的战略 战术 随时随地 都随着系统本身 和环 境的变化 而变 化。因而，调控 也就 成 为必不

3、 可少 的管 理内容。尤其 是对 于 国家科 技攻关计划 和高 技术 计划等重大科 技项 日，研 究周期长、投 资强度高，探索性强、涉 及面广 技术难度太、不可预见因素多，在项目实施 过程 中更有必要实行严格的科学管理和有效 的调控措施。调控是根据已经建立的工作测定指标系统或标准规范，对项 目执行中发生 的偏差进行校 正 的过 程。这 一过 程由 以下三个 步骤组成t (1)测定，通过正式或非正式的报告，确定实际进度与既定 目标之间存在 多大的差距，(2)评 价，对 已经完成 的工作给 出评 价，并找 出计划 实施 中主要偏差 的原 因和可能 的影 响因素，(3)校正，采取必要的调控措施以实现

4、或超过既定 目标。因此，对重 大科 技项 目的实施 状况和实施效 果的测 定和评价，是对项 目进 行调控 的基础。中评估和调控在项目管理中的地位和作用如图1 所示。项 目实施过程中的评价和调控工作正是我国重大科技项目管理中的薄弱环节。由于缺乏 科学的评价指标和评价方法，评价结果就难以做到客观和准确，致使调控 经常要靠“拍脑袋一 来决 策，势必 影响决策 的质量 和管 理工作的水平。因此，针 对我 国重 大科 技项 目的特 点、管 课题组成员 t蔡晨，孙玉麟、连燕华，陈浩，穆荣平，童健。维普资讯 http:/ 科技项 目评价一课题组重大科技项 目中评估研究 第1 1 卷 l 立项l 1_ 图 l

5、 中评估在项 目管理中的f 乍 用 验 收 理体制及运行机制，参考国外科技项 日中评估的理论与方法，研究出一整套适合中国国情的 科 技项 目中评估的理 论、方 法、评价指 标体系及实施办 法，对于科技 项 目管理 的科 学化 和规 范化，提高整个 国家科 技管理的水平，都具有 十分重要 的意义。调控作 为一 个不 断校正 偏差 的管理过程，好 比是一个 空调 系统 中的恒温调节装 置，而 相 应的评 价指标 体系或标 准规 范就 象一 个温度指示 器，利用 它可 以及时地发现项 目实施过 程 中 出现的偏差。通过中评估的信息反馈，我 出 现偏差 的主要原因及薄弱环节，以便采取相应 的校正措施。

6、校正措施有三种方式，即自我校正、针对性校正和强制性校正。自我校正由项 目承担单 位在实际工作中自己校正较小的偏差；针对性校正一般由项 目主管部门和项 目承担单位共同 作 出，针刑 项 目实施过程 中的薄弱环 节，采取相应的调控措 施，强 制性 校正一般由 主管 部门 作出，通过改变 既定 的 目标、技术路线和变更 承担单位等措 施来弥补较 大的偏差。中评估 的 目的不仅在 于发 现项 目实施过程 中的偏差，而 且对于宏观 管理部门及 时了解整 个项 目的进展情况，对于项 目承担单位不断自我监测各个管理环节并及时发现和解决问题，对于 提高整 个项 目的管理 水平 都具有重要 的意义。二、中评估基

7、本要素分析 1 中评估 的对象与 内容 重大科技项 目内部通常都存在着多个层次，由不同层次 的研 究与开发活动、不同领域的 知识 与技术，不 同类型 的单位与人 员所 构成。因而，重大科技项 目的管理十分复杂。以国家 科技攻关项 目为例，从项目内容和任务划分的角度分析，一般每个大项 目下面设有若干个课 题，每个课题又是由若干个专题组成，有些专题下面还设有子专题，。其内部结构如圈2 所 示。重大项目除了内部层次较多以外，各专题间也存在复杂的相关性。有 的是并行关系，有 的则是前后关系，许多专题之 间存在着相互依存的关系。如果一个专题不能按 时保质完成，可能 会影 响其他专题甚至整个 项 目的进

8、度。从项 目管理的角度看，重 大项 目中的最基本 的活 动单元是 专题 因此，重 大项 目中评估 的基 本单元也 应为专 题，通过对专题 的评估 可 以反馈 课题 和项 目的实施状 况 中评估主要是剥项 目的执行情况进行评价。从上述分析可以得出，进度和质量应是中评 估的重要内容。重大科技项目除了具有层次多、结构 复杂的特点外，还有投资强度 大、研究 周期长，资金来源渠道多和环境条件的变化影响大等特点。这些特点导致组织管理的复杂性 和对环境的依赖性加大。因此，中评估在注意进度和质量的同时，还必须对费用、环境条件 和组织管理情况进行评估。维普资讯 http:/ 第2期 科 学 学 研 究 图 2

9、国家科技攻关项 目结构。，、I l 2 中评估 的 目标和方 式 中评估 的主要 目的是各级管理者掌握 项目 执 行的基本状况，以便总结经验，提 出问题、及时调控。宏观管理部门可以通过中评估 及时了解基层的进展帮存奄的困难，决定是 否应当 继续拨款，并采取必要措施协助基层解决 问题。基层管理善可以通过中评估总结 自 己 魄、工 作，反映存在的问题和困难，提高管理水平。中评估与立项和验收不同，是砸 目。执行过程中 对执 行情况的评 价，因此 中评估 工作 不应耗费过 多的时 间和人 力，以免影 响项 目的 正常进 行。中评估 的结果应能将被评估的专题划分为不同档次，弗对各楷珠专 题提出初步诊断意

10、见和有 针对性的调控建议，供决策部门参考。评估 结果一般应将被评像静专题划分为A，B C D、E 等五个档次。其中，A 类为执行情况馋异，应给予表彰及其他鼓励性措施，13 袭为执行情况 正常，按原计划拨款，C 类为执行情况基本正常，但存在一 些薄弱环节，：要求有关部门采取 相应的改进措施后，继续拨款l D类为执 行情况较差，暂缓拨款l E类为执行情况很差，应停止拨款。对于后两类专题，主管部门应组织专 r 1 调查组进行调查并提出处理意见。中评估 的目标决定了中评估的基本方式。中评估应采取自查与他查相结合 普查与抽查 相结合，管理部门，执行部门与专业评估机构相结合的方式 通过自壹，促使项 目承担

11、单位 及时发现薄弱环节和可能出现的偏差，通过他查，可以确保 自查锆果的真实性和评价的有效 性 通 过评估 专家组 的综合评价，可使 主管部 门及 时了解各 个专题 的进展情 况和整个项 目的 执 行情 况，以便及时采取 相应 的调控 措施。为 了减轻基层管 理者 的负担，中评估 应与年度总 结 相结 合，尽量 用年报表的数据。5 中评估数据的收集和处理 中评估所需数据驹 收集可以采取多种方式和多种渠道，例如中评估调查表、抽查报告、重 点评 估报告，课 题与项 目的 自查报告，历年 的年度 报 表、历年的年度总结 报告、立项合 同 资料、可行性研 究报告等等。中评估不能 只依赖一 次性 的调查表

12、，而是要 I殳 集 各种相关 资料，这样才 能使一次性 中评估 调查的工作量不会过l大，又能保证 信息 的充 分和准确。中评估资料的多样性决定了数据处理的复杂性，要求中评怙数据的处理必须采取定性与 定量相结合 的方式。对中评估调查表、年度报表、专题合同数据库等犬量 般性信息，应刊 用事先研究确定的评价模型进行加工计算，由各方面专家组成的中评估委员会作 出 评 估 结 论。对 绝大多数 专题来 说，一般都应能顺 利通过 中评估，获 得进一步的拨款。存 在较严重 问 题 的专 题总是少数，中评估正 是要筛 出这 些专 题，进 行初步分 析，以便采取有效 的凋控 措施。维普资讯 http:/ 曲 “

13、科技项 目评价”课题组-重大科技项 目中评估研究 第l 1 卷 三、中评估评价模型探讨 重大科技项 目大都 涉及不 同的学科领 域和 技术类 型，项 目所属各专 题 及课 题的工期、费 用，管理模 式 以及 相互 之间的关系等都 有较大 的差异，难 以用统一 的评 价指 标来进 行评价。随着 项 目的实施，不仅 项 目本身的状 况在发 生变 化，而 且其技术环 境、市场环 境，甚至 有关 政策 法律 也在不 断 的变 化，难 以用统一 的质 量标 准来 测定。因此，应根据 专题 婚特 征将其划 分为不 同的类型，针对 不同的类 型采 用相应的评价指 标，列于 同一类 型 的专 题，也要 动奄地

14、 看 待实践 的全过程，即在不 同的阶段应使 用不同 的权 重来 评价。为使上述思想能够具体落实，建立一个实用的、0 结构良好的、以计算机技术为基础的评 估模型是十分必要的。这有助于在评估过程中利用定量 半定量的评佶技术使评估方法逐步 转向结构化或半结 构化，尽 量减少个人偏好 等主观 因素 的影 响。评估模 型应具备科学 性和经济性，即能使评估结 果准确、公正，又 能节约人 力、物 力和 时间。当然，一开抬不能对模型寄予过高的期望，但随着经验 的积累和技术的完善，原始的 概念模型终究会变为成熟的实用模型，而将分类评价和动态测度的思想引入中评估过程本身 就有助于提 高评价工作 的水平。模型 结

15、构主要涉 及蹰类 问题 一是项 目分类 的表征困素(表征指标)，二 是项 目执 行 的 评价因素和度量标准(评价指标和参数，及其取值范围)。第一娄问题构成模型 的 主 要 框 架。为准 确起 见，应尽可髓挑选那些 对 项 目评估有实质性影 响的表征指标，并且要 求备指标 间应 无派 生 或连带 关系，类似 于代 数 中的“线性无关”的概 念 这样选 出的一 组指标 集，在 几何 上可 构成 一个 多维 空间，每一表征指 标 对应于 一维坐标轴。为简单和直观 起 见，一般将 其处 理成 三维 空 问。我们 在进 行重大科技 项 目中评估时，将 模型框架设计成 一个三维坐 标系模 型。三 维坐 标

16、 轴分别 是I S 维(S c h e d u 1 e 工期)、T维(Te c h n i c a l s t e 技术类型)、M维(Ma n a g e me n t s t y l e 管理类型)。其中，S 维的度量分为长，短两类、T 维分为R(研究)类 和D(开 发)类，M维 分为 紧密型和松散 型两类(见图3)。这样，就将 三维 空间划分 为八个 M(M a n n s e m a n t s t yl e)S 图 3 三 维分类横型示意图 T M 维普资讯 http:/ 第 2期 科 学 学 研 究 6 1 一 1_ 一 小立方体，凡属于同一个小立方体的专题被认为具有类似的评估属性，

17、即可使用同一类评估 标准。这样就 可使 项 目所属专 题 的不可 比情 况大为改善。从图 3 中可 以看 出，若 每个维 度取 两个刻度，则有 2。个小立方体 将所 有被 评价专 题 划 分 为八种类型，仅仅 是为 了使 模型较 为简单 并便于操 作。在 实际应用过程 中，完全可 以设 计 更 多的维 度或给每一维度 以更 精确 的刻 划 在专 题的分类属性确 定 以后，其评 价指 标也就 比较容易 确定 了。鉴于 项 目管理的动态特 性，在专题实施 的不 同阶段 对其进 行评估时，尽管 评价指 标没 有变化，但 每一指标 的权重则 可能 需要 不 断修订。因此，要 保证 中评估 的科学性，除

18、 了应用三维分类模 型外，还必 须建 立 科学的评价模型。四、中评估评价方法探讨 如前所 述，一个 重 大科技项 目往往 由若干个课 题组成，而 每个课 题又 由若干个 专题所组 成。由于专 题涉 及面较窄，而 本身具有 明确 的经费 计划，进 度要 求和完成 目标，因而 可 以把 专题评价作 为项 目评价 的基本单 元，通过 对各个 专题 的综合 评价，以及对各专 题之间相互关 系和课题之 间的相互 系统 的综合分析，可 以对项 目做 出更全 面 的评价。本节所 述评价方法将 局 限于 专题评 价。选择 台适 的评价指 标是进行专题 评价要解决 的关键 问题之一。我们采用从 中评 估 目标分

19、 解着 手 的方 式，提出反映和 影响专 题执行 的六 个方面，即进度，经 费、质 量、配 合支撑条 件、组织管理和专题前景，并从这些方面出发层层分解，找出能够刻画或反映这六个方面 的基本 元素，在此基础上建立专题评价的基层指标。这些指 标从特征上可分为两类：一类是硬指标，可 以直接度量或间接度量；另一类是软指标，这类指标具有较大程度的模糊性，需要 由专家 评 议测 定。如何 减少软指 标 的模 糊性 及其 在评 价 中产生 的偏差，是处理软指标 的困难所 在 设1(s i)=x ，x 0，x )为专题g i 的指标集，i=l，2，m。其 中x 为第j 个指标 在S i 中的测定值。当m很 大

20、时，对m个专题进 行评价 的方 法一般都可归结 为：V(S i)=P _ I x l j=1 其 中P j 为对应指 标x ”的“权重。这种评价方法突出之处是蕴含了“权重”不变 性 假 定 但 事实上，无论 是在 专题执 行的不同阶段，或者在同一阶段 的不同层面，同一指 标对专 题 的重要程度都在改 变；这种指 标重要程度 的“动态 变化要求 从新的角度考虑 评价方 法。专题评价的基本依据是合同规定的内容。有些专题可能因为规定的要求过高而迭不到，有 些专 题可能 因为规 定 的要 求过 低而 远远超过，还有 的专 题可能 因为环l境 的变化 而需要 调整 等 等，所有 这些情况又都有 别于 合

21、 同规定 的内容。专题数 目较 少时，一般可 以组织 专 家组 对 各个专题 逐个进行评估分 析。旦 专题数 目很多，又莆 要在较短 的时间内完成这 一批专题 的评价 时，则将 是一件极 为 困难的任 务。为了妥 善解决 专题评价 中出 现的上述情 况，我们首 先对“指标集 进行必要的扩充，其次在评价方法上提出动态权重“递进评价 的模型方法。并建立包括有“存在问题 和“对策建议 等信息反馈的输出系统。下面仅对评价方法做一 简单说明 维普资讯 http:/ 6 2 “科技项 目评价”课题组t重大科技项 目中评估研究 第l I 卷 从基本指标集I=xl，x ，x 出发，构造k 个指标层西I 1，I

22、 2，I k，其 中 刘 一 切j(1 j k)有I J I J t I J=I。这k 个指标层面分别对应于专题的k 个不同水平(一般可取 i=1 k 一3 5)。在不同的水平上，同一指标可能具有不同的重要性，从而反应出“权重 曲变化。我们把这种按 指标层面(水平)推进 的评估方 法称为“递进评 价(见图4 和 5)。值 得指 出 的是，软指 标在 此耐 有较 明显的趋 势，可 以对 评价提供 更 多的信息。“递进评 价”推进方向 卜 图 4“递进评价 模型示意图 图 5 “递进评价 流程示意图 五、牛评估研究方法及工作重点 。综 上所 述 重大科技项 目中评估评价指标体系 及评价方 法研 究

23、，是一项集评 价理论、评 价方 法与具 体操 作系统为一 体的综 台性研究项 目，既包括 评价 的理论 与方法的铷新，又 要解 决实际操作中的许多技术难点 这种研究在国内尚属首次，加之国外的文献又狠少见到，因 而 要在短期 内完 成研究工作 并满 足实 际管理工作 的迫切需要，难度 是相当大 的 为此，我们 确 定了 四个阶 段 十个 步骤 的研究 工作流程，即：披术路 线制定阶段，包括确 定研 究 目标、确 定研究任务和研 究方法翱确定研究计划三个步骤调查研究与分析阶段，包括确定调查范 围与方法、实际 调研和 中评佶对象分析三 个步 骤，技术方 寨设计，包括 中评苗 评价方 法设 计，中评估

24、方案设计与优化两个步骤，技术方案试用与结果分析阶段，包括中评估方案验 证与调整和 中评估结果处理与分析两个阶段 条 理 撑管 景 支 与 前 度 赞量 合规题 进 经质 配组专 维普资讯 http:/ 第 2期 科 学学 研究 6 3 中评估研 究的结果是将在 管理 实践 中实 环使 用的软科学研 究成 果，因此在设计研 究方案 及其研究与试用的过程中，必须采取多种措施保证评价模型与评价指标体系的科学性、中评 估数据的可靠蛙 以及评估结论 的有效性与权威性。为 了保证评价模 型与 评价指标 的科学性，不仅要有一定 的评 估理论措 导，还赢对评价 对 象进行深入的研究。针 对我 目重大 科技项

25、目的宴 际状况，在 已有 的评 价模型基 础上，从评 价 指 标库 中提炼 出少 量关 键性指标，以便 能够更 准确地反映评 价对象的实 际情 况。为 了保证 中评 估数 据 的可靠性，在 评价指标 中预先设定若干 个容易核 实和证伪 的关键 点，通过 j j 这 些关 键点的抽样调查来确 定中评佶数据 的准确程度，同时对作 伪者予 以严 肃处理，以提 高各专题 上报数据 的责任感。为 了保证 评价结论的有效性和 权威性，需要 有一批各方面 的专 家(包括管 理专 家、技术 专家和评估专家)共同对评价资料进行综合分析。参加评估工作的专家的资格、组成 以及工 作方式等都 应满 足 中评估 的要

26、求。考文蕊 1 A W i l k i n s o n (1 9 9 1)“De v e l o pi n g a n Ex p e r t Sy s t e m o n Pr o j e c t Ev a l u a t i o n ，R D Mana g eme nt，2 I，J a nur ay，P1 9 2B a l a c h a n d r a；Ra n d Ra e l l n，J A(1 9 8 0)Ho t o De c i d e W h e n t o a b a n d o n a Pr e c U?，Re s e ar c h Ma na g e me nt，ff u

27、l y，P24 (3 Da n i l a，N(9 8 9)，“S t r a t e g l c Ev a I 6 t i o n a n d S e l e c t i o n o f RD Pr o j e c t s”，RD Ma n a g e me n t，1 9，I，ff a n u a r y 4MK巴选维：开发科技人员的管理才能，经济管理 出版社，I 9 8 7 年6 月。(奉文责 任编辑连海)(上接第5 6 页)对于一项 获奖成 果，奖励等级 和奖 状 用于满 足集体 心理的需 求，而奖 励分值和奖励证 书用于 个人精神奖的分配，满足个体心理的需求。所有参加研究工作的主要完

28、成人员按贡 献太小分 配到不同分值，把科技人员在一定时间段的哭励分值总和作为考核、晋升、提薪等方面的依 据。这 样可合 理地 实现完 成单位和个人对 科技奖 励的分配，避免 一些矛盾 和不 公平，更 好地发 挥科技奖励的激励作用和整体效益。另外，评定奖威分值也有剩于发挥 内部约束机制的作用。关于发明奖励 的分配方式，除 了“敞开署名 之 外，还可 以作一 些改革。我们 认为，作 为一项有创造性，先进 性，实 用性，有 一定社会，经 济效 益的发明成果，要经 过 研 究、开 发，推广应 用等各个环 节，每个环节都 是不可缺少的，否 则就不成 其为发 明成 果。因此，在 完成发明创造的过程中，作出了重要贡献的主要完成人员，都应该成为发明成果的完成者，享受这项发明成果奖，而这样一来，对发明奖的创造性贡献即发明者就显得“不安出 了。解决这一伺题的办法是在发明奖条件不变的情况下，采取一种分类署名的方式，可 以妥善地 解决这一矛盾，即每一项发明奖署名时，可分为；发明单位和发明人(即发明奖励条例 中所规定的发明者，他们必须是提 出发明杈项的人和所在单位h“研究单位和 主 要 完 成 大(指参加并完成 了主要研究、试验、应用等工作而没有发明杈项的科技人员)。这样，使完成发明奖所必须具备的三个条件的主要完成人员，都能参与合理分配，各得其所。(本文责任编辑连燕华)维普资讯 http:/