科学技术评价方法及综述优秀PPT.ppt

科学技术评价方法及科学技术评价方法及主要国家的做法主要国家的做法 刘刘 云云北京理工高校北京理工高校20042004年年1212月月内容提要内容提要一、引一、引 言言二、什么是科学技术评价二、什么是科学技术评价三、为什么要开展科学技术评价三、为什么要开展科学技术评价四、科学技术评价方法及其应用四、科学技术评价方法及其应用五、主要国家科技评价的做法五、主要国家科技评价的做法六、几点启示六、几点启示一、引一、引 言言 科学技术评价活动在科学技术发展的不同历史时期具有不同的特征。在近代科学技术发展的早期，由科学家个人爱好和新颖心驱动的自由探究探讨成为科学技术活动的主要形式，科研活动主要依靠自筹资金、社会资助和权贵的捐助，政府的投入很少。科技活动的文化属性突出。科学技术评价主要限于科学共同体内部的学术评价和对科学家重大科学发觉的优先权的识别，评价的目的在于促进学术沟通、建立科学规范、引导探讨方向。一、引一、引 言言 20世纪以来，人类的科学技术活动进入“大科学”时代，科学技术在国家经济、社会和平安中的战略地位日益凸现,成为第一生产力。特殊是二战以后，发展科学技术成为国家战略和国家政策的重要方面。科技活动的文化属性和生产力属性并重。政府对科学技术活动的宏观引导与组织管理不断加强，对科学探讨的投入不断加大。科学技术评价不仅限于科学共同体内部的学术评价机制，也成为政府制定科技政策、配置科技资源和实施有效管理的重要行为（手段）。科技活动的本质规律对评价的要求科技活动的本质规律对评价的要求共同理念自由发展物质资源-精神产品水平、质量、精品方针、政策引导个人创造与灵感观念观念过程过程环境环境成果成果组织组织共同目标严格管理物质财富循环增值效益、数量、规模制度规范团队精神与合作等 科学技术工作是集生产力和文化属性为一体的活动科学技术工作是集生产力和文化属性为一体的活动科技活动的本质规律对评价的要求科技活动的本质规律对评价的要求n科技评价的困难在于：科技评价的困难在于：n 须须要要找找寻寻一一种种能能兼兼顾顾生生产产力力评评价价和和文文化化评评价为一体的方法。价为一体的方法。二、什么是科学技术评价二、什么是科学技术评价概念内涵 科学技术评价是对科学技术活动及其产出和影响的价值进行推断的相识活动。科学技术评价既是科学共同体和科学技术发展内在的、基本的学术评价机制，也是科学技术管理的工具，是对科学技术活动进行预料、规划、决策、管理、监督的手段。二、什么是科学技术评价二、什么是科学技术评价科学技术评价分类科学技术评价分类按科技活动阶段：事前评价、事中评价、事后评价。按科技活动阶段：事前评价、事中评价、事后评价。按评价目的：立项评审、中期评估、结题验收、绩效评价。按评价目的：立项评审、中期评估、结题验收、绩效评价。按评价对象：政策评价、支配评价、项目评价、机构评价、人按评价对象：政策评价、支配评价、项目评价、机构评价、人员评价、成果评价等。员评价、成果评价等。按评价方法：定性评价、定量评价、综合评价等。按评价方法：定性评价、定量评价、综合评价等。按评价执行方：内部评价、外部评价。按评价执行方：内部评价、外部评价。二、什么是科学技术评价二、什么是科学技术评价科学技术评价的原则科学技术评价的原则科学性科学性独立性独立性 客观性客观性(留意客观与主观的统一留意客观与主观的统一,反映事物的本质属性反映事物的本质属性)公正性公正性国际性国际性 实效性实效性公开性公开性三、为什么要开展科学技术评价三、为什么要开展科学技术评价 科学技术评价的需求：科学技术评价的需求：优化配置政府科技资源；优化配置政府科技资源；提高政府科技决策与管理的科学化水平；提高政府科技决策与管理的科学化水平；提高科研工作的效率和质量（引入竞争激励机制）；提高科研工作的效率和质量（引入竞争激励机制）；促进科学发展目标与国家目标紧密结合（政策引导）；促进科学发展目标与国家目标紧密结合（政策引导）；营造有利于原始性创新的环境和文化；营造有利于原始性创新的环境和文化；向公众向公众“交帐交帐”和说明公共资金运用效果（赢得公众的支持、和说明公共资金运用效果（赢得公众的支持、预算制度改革的要求）。预算制度改革的要求）。四、科学技术评价方法及其应用四、科学技术评价方法及其应用q定性评价定性评价：同行评议法、回溯和案例评价法同行评议法、回溯和案例评价法q定量评价定量评价：文献计量法、经济计量法文献计量法、经济计量法q综合评价：多指标综合评价法、综合评价：多指标综合评价法、定标比超法定标比超法1 1、同行评议方法、同行评议方法(制度制度)同行评议（同行评议（peer review）是充分依靠科学）是充分依靠科学家群体对科学技术活动（包括科研活动、科家群体对科学技术活动（包括科研活动、科研资助、科研管理等）进行民主管理的一种研资助、科研管理等）进行民主管理的一种方法（或制度）。方法（或制度）。具体而言，同行评议是指某一领域或与其邻具体而言，同行评议是指某一领域或与其邻近领域的专家接受同一种评价标准，共同对近领域的专家接受同一种评价标准，共同对涉及相关领域的某一事项进行独立的价值评涉及相关领域的某一事项进行独立的价值评议的过程，其评价结果为有关部门的决策供议的过程，其评价结果为有关部门的决策供应依据。应依据。1 1、同行评议方法、同行评议方法(制度制度)q同行评议是科技评价中应用最广泛和可信度较高的评价方同行评议是科技评价中应用最广泛和可信度较高的评价方法，尤其是对用定量方法难以测度和推断的科研活动的价法，尤其是对用定量方法难以测度和推断的科研活动的价值评估值评估(merit review)(merit review)，具有其他方法不行替代的优势。，具有其他方法不行替代的优势。q 美国经济发展委员会美国经济发展委员会 ：“美国基础探讨体系的一个美国基础探讨体系的一个基本优势就是，通过一种细致和具有竞争性的同行评议过基本优势就是，通过一种细致和具有竞争性的同行评议过程来安排经费拨款。程来安排经费拨款。”q q 美国国家科学技术理事会基础科学委员会：美国国家科学技术理事会基础科学委员会：“在对在对单个政府部门当前支配的评审中，以同行评议为基础的价单个政府部门当前支配的评审中，以同行评议为基础的价值评价将接着是主要工具。值评价将接着是主要工具。”1 1、同行评议方法、同行评议方法(制度制度)美国美国GPRA确定的评价原则：确定的评价原则：“为确保为确保世界级探讨水平而对科学事业进行管理，同行世界级探讨水平而对科学事业进行管理，同行评议是基础。探讨项目要由专家来评定其价值评议是基础。探讨项目要由专家来评定其价值，资金的配置也须以探讨项目的科学价值为依，资金的配置也须以探讨项目的科学价值为依据。潜在的科研项目和科研支配要依据学问前据。潜在的科研项目和科研支配要依据学问前沿领域的卓越的探讨活动的标准进行评价。同沿领域的卓越的探讨活动的标准进行评价。同行评议的价值评估同样可以被用来对一个机构行评议的价值评估同样可以被用来对一个机构的基础科学项目作回顾性评价。的基础科学项目作回顾性评价。1 1、同行评议方法、同行评议方法(制度制度)q同行评议广泛应用于各类科技评价活动：同行评议广泛应用于各类科技评价活动：q 科学出版物（论文、著作等）的评审科学出版物（论文、著作等）的评审q 学位、荣誉和职称评定学位、荣誉和职称评定q 科研项目评审科研项目评审q 科研成果的验收与评奖科研成果的验收与评奖q 科研机构评价科研机构评价q 科技政策和科技支配评价科技政策和科技支配评价q q同行评议的方式：同行评议的方式：q 通信评议（函评）；会议评审；函评通信评议（函评）；会议评审；函评+会评；会评；q 现场评议。现场评议。1 1、同行评议方法（制度）、同行评议方法（制度）q同行评议法的优点：同行评议法的优点：价值评价价值评价q存在的缺陷：存在的缺陷：“熟人关系网熟人关系网”崇尚权威崇尚权威 “马太效应马太效应”不利于支持创新性的非共识项目不利于支持创新性的非共识项目 剽窃行为剽窃行为NIH申请探讨资助的同行评议申请探讨资助的同行评议 1、机构设置、机构设置 主任办公室主任办公室 18个专业探讨所个专业探讨所 4个综合探讨中心、资源中心和图书馆个综合探讨中心、资源中心和图书馆 3个临床医疗、信息技术服务和评估机构（科个临床医疗、信息技术服务和评估机构（科学评估中心学评估中心CSR）2、NIH科学评估中心（科学评估中心（CSR）（1）设立三大综合评审组（临床与人口基础探讨、生理系统、）设立三大综合评审组（临床与人口基础探讨、生理系统、分子和细胞机理）和分子和细胞机理）和100多个专业评审组多个专业评审组集中受理申请集中受理申请将项目申请安排给将项目申请安排给CSR的各专业评审组或探讨所的学科评审组的各专业评审组或探讨所的学科评审组将潜在的资助项目申请安排给将潜在的资助项目申请安排给NIH的探讨所的探讨所100多个专业评审组对提交的项目申请的科学创新价值进行评多个专业评审组对提交的项目申请的科学创新价值进行评议议 2、NIH科学评估中心（科学评估中心（CSR）（2）安排项目申请的依据）安排项目申请的依据 专业评审组基于专业评审组基于每个专业评审组的评审指南每个专业评审组的评审指南 探讨所基于探讨所基于探讨所的使命探讨所的使命探讨所的方向探讨所的方向3、申请资助的双重评估系统、申请资助的双重评估系统（1）第一层次的评估（项目评价）第一层次的评估（项目评价）专业评审组（专业评审组（SRG）对申请资助项目的科学创新价值进行评议对申请资助项目的科学创新价值进行评议对于是否予以资助和资助期限提出建议对于是否予以资助和资助期限提出建议（2）其次层次评估（管理和政策评价）其次层次评估（管理和政策评价）国家询问理事会（国家询问理事会（NAC）评估评估SRG对申请资助项目评议的质量对申请资助项目评议的质量对对NIH项目官员提出资助建议项目官员提出资助建议评估优先资助项目评估优先资助项目提出政策建议提出政策建议探讨资助申请探讨资助申请医学院或探讨中心医学院或探讨中心 国立卫生探讨院 科学评估中心科学评估中心 将申请安排给各专业评审组和探讨所 创新探讨思想 提交申请提交申请 专业评审组专业评审组 评估科学价值评估科学价值 探讨所 评估项目的可行性评估项目的可行性 询问理事会和委员会 提出建议行动提出建议行动 探讨所所长 向NIH主任提出最终决策建议 安排经费 执行探讨 4、NIH探讨资助的评议过程探讨资助的评议过程 5、CSR的同行评议制度的同行评议制度（1）CSR的同行评议的同行评议各专业评审组由一位与该专业亲密相关的资深专家担当专业评审主管各专业评审组由一位与该专业亲密相关的资深专家担当专业评审主管（SRA）每一个专业评审组由每一个专业评审组由12-24名专家组成（主要来自学术界）名专家组成（主要来自学术界）每一次专业评审组会议要评审约每一次专业评审组会议要评审约60-100个项目申请个项目申请（2）同行评议专家遴选标准）同行评议专家遴选标准科学探讨造诣深、专业水平高科学探讨造诣深、专业水平高博士学位或相当水平博士学位或相当水平成熟的推断力成熟的推断力工作成效显著工作成效显著学术视野宽敞学术视野宽敞公允公正公允公正热心服务热心服务妇女和少数民族的适当代表妇女和少数民族的适当代表 5、CSR的同行评议制度的同行评议制度（3）无利益冲突的证明并签字（回避制度）与申请者的关系：配偶、父母、儿女、合作者担当过有关机构的官员、主任、理事、雇员或合作者与有关机构进行过谈判或存在预期雇佣的有关协议及其他类似关系（4）保密制度评议材料和评审会会议录所反映的特殊信息仅供探讨和NIH项目官员运用在形成每次会议结论时，探讨材料要销毁或反馈全部与评审有关的材料除评审主管（SRA）外，探讨内容将不列入评审会议录评审过程中的有关问题应提交评审主管6、专业评审组评审会专业评审组评审会（1）评审标准）评审标准科学意义：本探讨能解决一项重要问题吗？能发展新的科学学问吗？科学意义：本探讨能解决一项重要问题吗？能发展新的科学学问吗？方法和路径：设计思路和方法是否先进、可行？能解决遇到的问题吗？方法和路径：设计思路和方法是否先进、可行？能解决遇到的问题吗？创新：有无新颖创新：有无新颖 的概念和方法？其探讨目标是原始创新吗？的概念和方法？其探讨目标是原始创新吗？主要成员：主要成员接受过良好的训练吗？主要成员：主要成员接受过良好的训练吗？环境：现有条件能支持可能的成功吗？科研环境有独一无二的特点吗？环境：现有条件能支持可能的成功吗？科研环境有独一无二的特点吗？（2）确定是否同意资助的要素）确定是否同意资助的要素科学价值科学价值项目实施的考虑项目实施的考虑经费运用的合理性经费运用的合理性6、专业评审组评审会专业评审组评审会（3）专业评审组的行动）专业评审组的行动对申请项目科学价值的优先等级给分（对申请项目科学价值的优先等级给分（1.0-3.0；百分制）；百分制）基于有关的评审标准，评审组首先推断该申请项目科学价值的等级在基于有关的评审标准，评审组首先推断该申请项目科学价值的等级在全部被评审项目的一半以上的行列，对恳求的探讨时间和资助经费提出全部被评审项目的一半以上的行列，对恳求的探讨时间和资助经费提出建议，给出优先等级的评分，综合探讨中的看法和建议，给出评议结论。建议，给出优先等级的评分，综合探讨中的看法和建议，给出评议结论。不评分（一半以下）不评分（一半以下）评审组成员全体一样认为该申请项目的科学价值的等级在全部被评审评审组成员全体一样认为该申请项目的科学价值的等级在全部被评审项目的一半以下的行列，就不予评分。通讯评议看法汇总后经评审组审项目的一半以下的行列，就不予评分。通讯评议看法汇总后经评审组审议反馈给申请者。议反馈给申请者。延缓延缓 在没有附加信息的状况下，评审组无法给出举荐看法。当然，可以访在没有附加信息的状况下，评审组无法给出举荐看法。当然，可以访问该项目的有关网站，或由申请者供应补充材料。问该项目的有关网站，或由申请者供应补充材料。6、专业评审组评审会专业评审组评审会（4）专业评审组的后续行动）专业评审组的后续行动按优先等级分数和百分数计算排序按优先等级分数和百分数计算排序供应总结材料供应总结材料对通过评审的申请项目，专业评审组要以书面的形式给出总结建议，希望对通过评审的申请项目，专业评审组要以书面的形式给出总结建议，希望探讨所对该项目进行资助。探讨所对该项目进行资助。书面总结建议一般包括：书面总结建议一般包括：评议的概要和结论评议的概要和结论 原始的指责看法原始的指责看法 优先级评分和百分制评分排序优先级评分和百分制评分排序 预算建议预算建议 项目管理留意事项项目管理留意事项移交国家询问理事会作进一步考虑移交国家询问理事会作进一步考虑7、国家询问理事会的评议行动 同意专业评审组的看法修改专业评审组的看法对延缓的项目组织复审 同行评议的制度支配同行评议的制度支配 1、同行评议专家资格审查制度、同行评议专家资格审查制度 是保证同行评议有效性的是保证同行评议有效性的基本前提基本前提确定专家遴选标准确定专家遴选标准同行或单位举荐同行或单位举荐专家基本状况登记专家基本状况登记专家资格审查专家资格审查专家公示专家公示专家入库专家入库 同行评议的制度支配同行评议的制度支配2、建立同行评议专家库、建立同行评议专家库 为评价活动供应足够的、符合为评价活动供应足够的、符合要求的专家人选要求的专家人选依据评价的须要确定专家数量规模依据评价的须要确定专家数量规模专家信息的完整性专家信息的完整性专家信息的动态跟踪与更新专家信息的动态跟踪与更新专家评议信息记录专家评议信息记录专家库定期评估与动态更新制度专家库定期评估与动态更新制度专家公示（尤其是评价委员会和专家组成员）专家公示（尤其是评价委员会和专家组成员）专家库共享机制专家库共享机制 同行评议的制度支配同行评议的制度支配3、评价专家遴选的随机原则、评价专家遴选的随机原则 避开人为因素干扰，保证遴避开人为因素干扰，保证遴选程序的公正性选程序的公正性依据评价须要提出所需评价专家的特征信息依据评价须要提出所需评价专家的特征信息 （探讨领域、专长、职称、年龄、地区、部门、机构等）（探讨领域、专长、职称、年龄、地区、部门、机构等）遵循相应规则在专家库中随机遴选遵循相应规则在专家库中随机遴选 同行评议的制度支配同行评议的制度支配4、评价专家定期更换制度、评价专家定期更换制度保证评价专家委员会（专家组）保证评价专家委员会（专家组）的权威性、公正性和代表性，避开相关利益关系对评价工作的权威性、公正性和代表性，避开相关利益关系对评价工作的影响的影响实行任期制，定期更换实行任期制，定期更换评价专家委员会（专家组）成员任期一般不超过两届评价专家委员会（专家组）成员任期一般不超过两届在规定的届期内逐年按比例更换专家在规定的届期内逐年按比例更换专家 同行评议的制度支配同行评议的制度支配5、评价专家回避制度、评价专家回避制度避开评价专家与被评价者之间的利益避开评价专家与被评价者之间的利益关系，保证评价的客观、公正性关系，保证评价的客观、公正性被评价者可以提出回避专家的名单，书面出据证据和理由被评价者可以提出回避专家的名单，书面出据证据和理由评价专家保证与被评价者之间无利益冲突关系，并书面签字评价专家保证与被评价者之间无利益冲突关系，并书面签字6、评价看法反馈制度、评价看法反馈制度提高专家评价的客观、公正和科学性提高专家评价的客观、公正和科学性被评价方具有知情权被评价方具有知情权评价看法反馈给被评价的人员或单位评价看法反馈给被评价的人员或单位 同行评议的制度支配同行评议的制度支配7、对评价看法的申诉制度、对评价看法的申诉制度加强对评价活动的监督制约机制加强对评价活动的监督制约机制被评价方对评价看法持有异议，可以向评价托付方或评价监督委员会提出申被评价方对评价看法持有异议，可以向评价托付方或评价监督委员会提出申诉诉被评价方供应书面材料被评价方供应书面材料评价监督委员会负责调查并做出仲裁评价监督委员会负责调查并做出仲裁8、评价专家信用制度、评价专家信用制度提高评价专家的责任感和信誉度，保证评价工作客提高评价专家的责任感和信誉度，保证评价工作客观、公正观、公正跟踪记录评价专家的评价活动信息跟踪记录评价专家的评价活动信息建立评价专家信用库建立评价专家信用库定期在内部组织对评价专家信用的反评估定期在内部组织对评价专家信用的反评估反评估结果为调整和更换专家供应依据反评估结果为调整和更换专家供应依据 同行评议的制度支配同行评议的制度支配9、国际评价机制、国际评价机制保证评价工作客观、公正，提高评价的质量和水平保证评价工作客观、公正，提高评价的质量和水平建立海外评价专家库建立海外评价专家库按合适比例邀请国际一流专家参与评价工作按合适比例邀请国际一流专家参与评价工作留意国家平安和保密问题留意国家平安和保密问题10、对、对“非共识非共识”项目建立小额探究资助机制项目建立小额探究资助机制保证创新性保证创新性“非共识非共识”项目的项目的探究机会探究机会识别识别“非共识非共识”项目项目建立小额探究资助基金建立小额探究资助基金评审专家署名举荐评审专家署名举荐项目主管提议，请个别专家复审项目主管提议，请个别专家复审探讨期限探讨期限1-2年年 同行评议的制度支配同行评议的制度支配11、对申请项目的新构思实行、对申请项目的新构思实行“优先权优先权”制度制度避开剽窃行为避开剽窃行为对申请项目的新构思实行对申请项目的新构思实行“优先权优先权”的书面备案的书面备案爱护申请人的原始性创新思想爱护申请人的原始性创新思想2 2、案例与回溯评价法、案例与回溯评价法 q特点：特点：q 对关键事务或典型案例进行回顾和剖析，分析导致对关键事务或典型案例进行回顾和剖析，分析导致关键事务发生的科学内外部因素，分析探讨工作环境和资关键事务发生的科学内外部因素，分析探讨工作环境和资助机制对取得重要成果的作用与影响，总结成功阅历与不助机制对取得重要成果的作用与影响，总结成功阅历与不足，预见科研工作可能产生的影响，提高科学探讨与科研足，预见科研工作可能产生的影响，提高科学探讨与科研管理工作的显示度。管理工作的显示度。2 2、案例与回溯评价法、案例与回溯评价法q优点：清晰描绘探讨工作的关键事务及其价值，以及内外优点：清晰描绘探讨工作的关键事务及其价值，以及内外因素对探讨工作的影响。因素对探讨工作的影响。q缺点：评价结果难以反映整体，结论不具普适性。缺点：评价结果难以反映整体，结论不具普适性。q 成本高、探讨周期长。成本高、探讨周期长。q一般适用于投资周期长、投资强度大的重大科技支配（项一般适用于投资周期长、投资强度大的重大科技支配（项目）、大科学工程以及科研机构的评价等。目）、大科学工程以及科研机构的评价等。2 2、案例与回溯评价法、案例与回溯评价法应用：应用：美国美国NSFNSF接受案例和回溯评价方法，定期展示基础探讨的接受案例和回溯评价方法，定期展示基础探讨的贡献。著名的评估工作有：贡献。著名的评估工作有：1968 1968年，技术回溯与科学中的重大事务年，技术回溯与科学中的重大事务 1973 1973年，创新过程中科学与技术的相互作用年，创新过程中科学与技术的相互作用 1980 1980年，基础探讨如何获得了意想不到的回报年，基础探讨如何获得了意想不到的回报3 3、文献计量评价法、文献计量评价法 q文献计量评价法是利用科学产出的文献计量指标的定量数文献计量评价法是利用科学产出的文献计量指标的定量数据，接受数学和统计学方法，对科学活动规律及其影响进据，接受数学和统计学方法，对科学活动规律及其影响进行探讨与分析的一种方法。行探讨与分析的一种方法。q文献计量评价法基于科学引文索引（文献计量评价法基于科学引文索引（SCI）和专利数据）和专利数据库，实行论文指标、引文指标、专利引文指标等从宏观层库，实行论文指标、引文指标、专利引文指标等从宏观层面探讨国家的科学实力、科学前沿发展趋势、科学活动的面探讨国家的科学实力、科学前沿发展趋势、科学活动的水平及影响具有统计学意义上的合理性和可信度，对国家水平及影响具有统计学意义上的合理性和可信度，对国家宏观科技政策和科技管理具有确定的参考价值。宏观科技政策和科技管理具有确定的参考价值。3 3、文献计量评价法、文献计量评价法 代表性的工作代表性的工作美国美国NSF科学与工程指标（双年份）科学与工程指标（双年份）美国美国ISI科学视察（双月刊）科学视察（双月刊）英国英国OST科学、工程与技术年度统计报告（年度）科学、工程与技术年度统计报告（年度）中国科技信息探讨所中国科技论文统计与分析（年度）中国科技信息探讨所中国科技论文统计与分析（年度）中科院文献情报中心世界科学中的中国探讨报告中科院文献情报中心世界科学中的中国探讨报告(不定期不定期)3 3、文献计量评价法在中国科学国际比较中的应用、文献计量评价法在中国科学国际比较中的应用2002年，年，SCI收录中国论文数量达到收录中国论文数量达到39015篇，篇，占世界科学论文的比占世界科学论文的比例从例从1987年的年的1.25%上升到上升到4.38%，位于美、英、日、德、法之后，位于美、英、日、德、法之后，居世界第居世界第6位。位。（1994年居第年居第15位）位）1991-2003年间，中国论文被引频次年间，中国论文被引频次62万多次，名列世界第万多次，名列世界第19位、亚位、亚洲第洲第3位。位。1997-2002年，中国论文数量平均增长年，中国论文数量平均增长19%，论文平均被引篇数平均，论文平均被引篇数平均增长增长19.4%。1992-2003年，年，中国在世界科学中国在世界科学TOP25国家中综合排名第国家中综合排名第14位，材料位，材料科学名列世界第科学名列世界第6位，数学第位，数学第8位，化学第位，化学第10位，物理学第位，物理学第13位。位。3 3、文献计量评价法、文献计量评价法q但在微观层面上，例如在评价科研人员或某一个具体项目时，但在微观层面上，例如在评价科研人员或某一个具体项目时，文献计量指标存在诸多局限性，如指标的单一性、学科间的文献计量指标存在诸多局限性，如指标的单一性、学科间的不行比较性、科学价值的不行表征性等等不行比较性、科学价值的不行表征性等等,导致其客观性大导致其客观性大打折扣。因此，仅依据定量数据得出评价结论，往往成为一打折扣。因此，仅依据定量数据得出评价结论，往往成为一种种“Stupid Indicator”。q利用文献计量指标评价科研产出实力和水平常，有一个系统利用文献计量指标评价科研产出实力和水平常，有一个系统误差问题，评价结果的误差与评价系统的尺度大小呈负相关误差问题，评价结果的误差与评价系统的尺度大小呈负相关关系，即系统的尺度越大，评价结果的误差就越小，反之，关系，即系统的尺度越大，评价结果的误差就越小，反之，评价结果的误差就越大。评价结果的误差就越大。3 3、文献计量评价法、文献计量评价法q文献计量评价法较多应用于宏观层面（如国家间的比较）文献计量评价法较多应用于宏观层面（如国家间的比较）和中观层面（犹如质机构间的比较）的科技评价。和中观层面（犹如质机构间的比较）的科技评价。q评价某一个人（或某一个项目）的科研产出质量及影响，评价某一个人（或某一个项目）的科研产出质量及影响，应以应以“同行评议同行评议”方法为主，文献计量指标仅作为参考指方法为主，文献计量指标仅作为参考指标。标。4 4、经济计量评价法、经济计量评价法q经济计量评价法是基于投入经济计量评价法是基于投入-产出模型或生产函数模型对科产出模型或生产函数模型对科技活动效率或效益进行评估的一种方法。包括：技活动效率或效益进行评估的一种方法。包括：q 成本效益法：成本、效益、净现值、收益率等指标。成本效益法：成本、效益、净现值、收益率等指标。q 生产功能法：利用资本、劳动力、探讨经费支出来生产功能法：利用资本、劳动力、探讨经费支出来测度科研活动对产品附加价值的边际贡献。测度科研活动对产品附加价值的边际贡献。q 投入产出法：经济系统投入投入产出法：经济系统投入-产出的相互依存关系。产出的相互依存关系。q由于其产出指标主要实行生产要素和经济效益指标，该方由于其产出指标主要实行生产要素和经济效益指标，该方法一般仅适用于开发类探讨活动或科技产业化的评价，不法一般仅适用于开发类探讨活动或科技产业化的评价，不适合基础探讨和应用探讨。适合基础探讨和应用探讨。q 4 4、经济计量评价法、经济计量评价法q针对宏观层面的基础探讨和应用探讨的绩效评估，针对宏观层面的基础探讨和应用探讨的绩效评估，有时可以接受投入产出统计指标来测度科研活动有时可以接受投入产出统计指标来测度科研活动的投入产出效率，如单位投入产出的论文数、引的投入产出效率，如单位投入产出的论文数、引文数、专利数、获奖数等，或产出单位论文数、文数、专利数、获奖数等，或产出单位论文数、引文数、专利数、获奖数所需的投入成本。引文数、专利数、获奖数所需的投入成本。投入产出的国际比较（以英国为例）投入产出的国际比较（以英国为例）n以仅占世界以仅占世界1%的人口，英国的的人口，英国的R&D经费支出占世界经费支出占世界R&D经费支出总量经费支出总量的的4.5%；英国的科学产出论文占世界科技论文总量的；英国的科学产出论文占世界科技论文总量的8%；英国科学家；英国科学家论文被引次数占世界科学论文被引用总数的论文被引次数占世界科学论文被引用总数的9%；20世纪，英国科学家世纪，英国科学家获奖占国际权威科学嘉奖的获奖占国际权威科学嘉奖的10%（至（至2000年，英国获诺贝尔自然科学年，英国获诺贝尔自然科学奖人数达奖人数达75名，居世界其次）；英国专利申请数占世界专利申请总数的名，居世界其次）；英国专利申请数占世界专利申请总数的3.4%；英国高技术出口额占世界高技术出口总额的；英国高技术出口额占世界高技术出口总额的8%。n结论：英国基础探讨的投入结论：英国基础探讨的投入-产出效益是世界上较高的，英国科学技术总产出效益是世界上较高的，英国科学技术总体实力和水平在世界上处于前列，其探讨与发展（体实力和水平在世界上处于前列，其探讨与发展（R&D）始终保持相当）始终保持相当高的水准。高的水准。投入产出的国际比较（举例）投入产出的国际比较（举例）n我国科学探讨的投入产出效率与发达国家相比有较大的差距。我国科学探讨的投入产出效率与发达国家相比有较大的差距。n 中科院王志新院士对中科院与德国马普协会的比较探讨中科院王志新院士对中科院与德国马普协会的比较探讨表明（表明（19951995年数据）：马普协会有年数据）：马普协会有29002900名科学家和名科学家和65006500名流名流淌人员，每年科研经费淌人员，每年科研经费1111亿美元，每年发表亿美元，每年发表SCISCI论文超过论文超过1 1万万篇，平均每篇论文投入篇，平均每篇论文投入1010万美元；而中科院有万美元；而中科院有4 4万名科技人万名科技人员和员和1 1万多名探讨生，每年科研经费万多名探讨生，每年科研经费4 4亿美元，每年发表亿美元，每年发表SCISCI论文论文20002000篇，平均每篇论文投入篇，平均每篇论文投入2020万美元，是德国马普协会万美元，是德国马普协会的两倍。的两倍。5 5、定标比超法（、定标比超法（Bench MarkingBench Marking）q定标比超法是经济活动领域中应用最广、影响最大的竞争情定标比超法是经济活动领域中应用最广、影响最大的竞争情报方法之一。（美国施乐公司对日本公司竞争时最早运用）报方法之一。（美国施乐公司对日本公司竞争时最早运用）q最早将定标比超方法用于科学探讨活动评价的是美国科学院最早将定标比超方法用于科学探讨活动评价的是美国科学院科学、工程与公共政策委员会（科学、工程与公共政策委员会（COSEPUPCOSEPUP）。）。q19971997年和年和19981998年美国科学院分别出版了两份探讨报告：年美国科学院分别出版了两份探讨报告：q 美国数学探讨国际定标比超美国数学探讨国际定标比超q 美国材料科学与工程探讨的国际定标比超美国材料科学与工程探讨的国际定标比超 5 5、定标比超法、定标比超法q开展学科领域的国际定标比超评价时开展学科领域的国际定标比超评价时,一般要回答三个问题一般要回答三个问题:q （1 1）本国在该领域相对于其他国家和地区处于什么样的）本国在该领域相对于其他国家和地区处于什么样的地位地位?q （2 2）影响本国在该领域的探讨绩效是什么）影响本国在该领域的探讨绩效是什么?q （3 3）基于现在的发展趋势）基于现在的发展趋势,本国在近期和远期会处于什本国在近期和远期会处于什么样的相对位置么样的相对位置?q定标比超法一般多应用于学科领域的国际比较及科研机构定标比超法一般多应用于学科领域的国际比较及科研机构的诊断和战略性评价。的诊断和战略性评价。1992-2002年，我国部分学科篇论文平均引用率与世界水平比较年，我国部分学科篇论文平均引用率与世界水平比较 中科院化学探讨所定标比超案例中科院化学探讨所定标比超案例 1、基本程序、基本程序选择追逐对象选择追逐对象确定追逐目标确定追逐目标制定行动方案制定行动方案推动跨更加展推动跨更加展 中科院化学探讨所定标比超案例中科院化学探讨所定标比超案例2、比超对象、比超对象比自己先进的同一领域国际一流科研比自己先进的同一领域国际一流科研机构机构 选择选择3个国外的著名化学探讨所个国外的著名化学探讨所日本分子探讨所日本分子探讨所马普高分子探讨所马普高分子探讨所加拿大国家探讨理事会加拿大国家探讨理事会steacie分子探讨所分子探讨所 中科院化学探讨所定标比超案例中科院化学探讨所定标比超案例3、调研分析竞争情报、调研分析竞争情报为确定战略目标和行动方案供应依为确定战略目标和行动方案供应依据据 探讨人员状况探讨人员状况(数量、结构、流淌等数量、结构、流淌等)，以及课题组的设立机制，以及课题组的设立机制和规模和规模探讨方向和重点，以及近年来的变更状况探讨方向和重点，以及近年来的变更状况论文发表状况论文发表状况(近年发表论文的状况、在高影响因子刊物发表近年发表论文的状况、在高影响因子刊物发表状况、一些科学家发表论文状况分析状况、一些科学家发表论文状况分析)，以及论文被引用状，以及论文被引用状况分析况分析探讨经费探讨经费探讨设备状况探讨设备状况(尤其是运行管理机制尤其是运行管理机制)6 6、多指标综合评价法、多指标综合评价法q基于评价目标和评价对象的特点，确定评价原则（评价准则）基于评价目标和评价对象的特点，确定评价原则（评价准则），构建定性指标和定量指标相结合的递阶多层的指标体系及，构建定性指标和定量指标相结合的递阶多层的指标体系及评价模型。评价模型。q实行实行Delphi专家调查法和层次分析法（专家调查法和层次分析法（AHP），构建各层），构建各层次指标权重推断矩阵，并计算各指标的权重赋值。次指标权重推断矩阵，并计算各指标的权重赋值。q通过专家询问、论证，确定各指标的评分标准和评分范围。通过专家询问、论证，确定各指标的评分标准和评分范围。q特地的评价小组依据评分标准和评分范围，对各项指标评分，特地的评价小组依据评分标准和评分范围，对各项指标评分，经过加权总和，得出总平均分值。经过加权总和，得出总平均分值。6 6、综合指标体系评价法、综合指标体系评价法q综合指标体系评价法结合了定性评价与定量评价的特点，综合指标体系评价法结合了定性评价与定量评价的特点，其关键是其关键是如何构建科学、合理的评价指标体系，如何对评如何构建科学、合理的评价指标体系，如何对评价结果作合理的分析，如何正确有效地利用评价结果价结果作合理的分析，如何正确有效地利用评价结果。q综合评价法一般多应用于科研绩效评价。综合评价法一般多应用于科研绩效评价。五、主要国家科技评价的做法五、主要国家科技评价的做法1 1、美国的科技评价、美国的科技评价（1 1）政府科技管理绩效评价）政府科技管理绩效评价 政府绩效与结果法案（政府绩效与结果法案（GPRAGPRA）（）（19931993年）年）要求联邦机构制定为期要求联邦机构制定为期5 5年的战略规划以及分年度绩效规划，每三年年的战略规划以及分年度绩效规划，每三年进行一次修订，并通过绩效评价来检查年度绩效规划执行状况以及进行一次修订，并通过绩效评价来检查年度绩效规划执行状况以及5 5年年战略规划的实施效果，同时绩效评价的结果干脆与该机构的预算相联战略规划的实施效果，同时绩效评价的结果干脆与该机构的预算相联系。系。1 1、美国的科技评价、美国的科技评价qGPRAGPRA目标指向：公众、联邦行政管理机构、国会目标指向：公众、联邦行政管理机构、国会qNSTC1996NSTC1996年发布评价基础科学，为评估基础科学建立一年发布评价基础科学，为评估基础科学建立一个执行框架。个执行框架。q 评估模式：投入评估模式：投入-产出模式产出模式 目标目标-结果结果模式模式q 评估原则：评估原则：q 资助科学探讨的联邦机构必需设计出适合于科学探资助科学探讨的联邦机构必需设计出适合于科学探讨特点的评估策略，同时，还要适合于推动基础探讨在实现讨特点的评估策略，同时，还要适合于推动基础探讨在实现国家总体发展目标中发挥作用。国家总体发展目标中发挥作用。q 1 1、美国的科技评价、美国的科技评价评估方法：评估方法：对基础探讨开展全面的综合绩效评估，应将同行评议与其对基础探讨开展全面的综合绩效评估，应将同行评议与其他多种评估手段结合起来，如运用定量指标、定性指标、描他多种评估手段结合起来，如运用定量指标、定性指标、描述性文字、案例分析、国际比较、突出成果的举例等。鉴于述性文字、案例分析、国际比较、突出成果的举例等。鉴于基础探讨的长期性和积累性特点，评估内容不仅应涉及基础基础探讨的长期性和积累性特点，评估内容不仅应涉及基础探讨的近期干脆产出，而且更应涉及其多方面的长期综合影探讨的近期干脆产出，而且更应涉及其多方面的长期综合影响。响。1 1、美国的科技评价、美国的科技评价q三个层次目标三个层次