科学技术评价方法及综述优秀PPT.ppt
《科学技术评价方法及综述优秀PPT.ppt》由会员分享,可在线阅读,更多相关《科学技术评价方法及综述优秀PPT.ppt(84页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、科学技术评价方法及科学技术评价方法及主要国家的做法主要国家的做法 刘刘 云云北京理工高校北京理工高校20042004年年1212月月内容提要内容提要一、引一、引 言言二、什么是科学技术评价二、什么是科学技术评价三、为什么要开展科学技术评价三、为什么要开展科学技术评价四、科学技术评价方法及其应用四、科学技术评价方法及其应用五、主要国家科技评价的做法五、主要国家科技评价的做法六、几点启示六、几点启示一、引一、引 言言 科学技术评价活动在科学技术发展的不同历史时期具有不同的特征。在近代科学技术发展的早期,由科学家个人爱好和新颖心驱动的自由探究探讨成为科学技术活动的主要形式,科研活动主要依靠自筹资金、
2、社会资助和权贵的捐助,政府的投入很少。科技活动的文化属性突出。科学技术评价主要限于科学共同体内部的学术评价和对科学家重大科学发觉的优先权的识别,评价的目的在于促进学术沟通、建立科学规范、引导探讨方向。一、引一、引 言言 20世纪以来,人类的科学技术活动进入“大科学”时代,科学技术在国家经济、社会和平安中的战略地位日益凸现,成为第一生产力。特殊是二战以后,发展科学技术成为国家战略和国家政策的重要方面。科技活动的文化属性和生产力属性并重。政府对科学技术活动的宏观引导与组织管理不断加强,对科学探讨的投入不断加大。科学技术评价不仅限于科学共同体内部的学术评价机制,也成为政府制定科技政策、配置科技资源和
3、实施有效管理的重要行为(手段)。科技活动的本质规律对评价的要求科技活动的本质规律对评价的要求共同理念自由发展物质资源-精神产品水平、质量、精品方针、政策引导个人创造与灵感观念观念过程过程环境环境成果成果组织组织共同目标严格管理物质财富循环增值效益、数量、规模制度规范团队精神与合作等 科学技术工作是集生产力和文化属性为一体的活动科学技术工作是集生产力和文化属性为一体的活动科技活动的本质规律对评价的要求科技活动的本质规律对评价的要求n科技评价的困难在于:科技评价的困难在于:n 须须要要找找寻寻一一种种能能兼兼顾顾生生产产力力评评价价和和文文化化评评价为一体的方法。价为一体的方法。二、什么是科学技术
4、评价二、什么是科学技术评价概念内涵 科学技术评价是对科学技术活动及其产出和影响的价值进行推断的相识活动。科学技术评价既是科学共同体和科学技术发展内在的、基本的学术评价机制,也是科学技术管理的工具,是对科学技术活动进行预料、规划、决策、管理、监督的手段。二、什么是科学技术评价二、什么是科学技术评价科学技术评价分类科学技术评价分类按科技活动阶段:事前评价、事中评价、事后评价。按科技活动阶段:事前评价、事中评价、事后评价。按评价目的:立项评审、中期评估、结题验收、绩效评价。按评价目的:立项评审、中期评估、结题验收、绩效评价。按评价对象:政策评价、支配评价、项目评价、机构评价、人按评价对象:政策评价、
5、支配评价、项目评价、机构评价、人员评价、成果评价等。员评价、成果评价等。按评价方法:定性评价、定量评价、综合评价等。按评价方法:定性评价、定量评价、综合评价等。按评价执行方:内部评价、外部评价。按评价执行方:内部评价、外部评价。二、什么是科学技术评价二、什么是科学技术评价科学技术评价的原则科学技术评价的原则科学性科学性独立性独立性 客观性客观性(留意客观与主观的统一留意客观与主观的统一,反映事物的本质属性反映事物的本质属性)公正性公正性国际性国际性 实效性实效性公开性公开性三、为什么要开展科学技术评价三、为什么要开展科学技术评价 科学技术评价的需求:科学技术评价的需求:优化配置政府科技资源;优
6、化配置政府科技资源;提高政府科技决策与管理的科学化水平;提高政府科技决策与管理的科学化水平;提高科研工作的效率和质量(引入竞争激励机制);提高科研工作的效率和质量(引入竞争激励机制);促进科学发展目标与国家目标紧密结合(政策引导);促进科学发展目标与国家目标紧密结合(政策引导);营造有利于原始性创新的环境和文化;营造有利于原始性创新的环境和文化;向公众向公众“交帐交帐”和说明公共资金运用效果(赢得公众的支持、和说明公共资金运用效果(赢得公众的支持、预算制度改革的要求)。预算制度改革的要求)。四、科学技术评价方法及其应用四、科学技术评价方法及其应用q定性评价定性评价:同行评议法、回溯和案例评价法
7、同行评议法、回溯和案例评价法q定量评价定量评价:文献计量法、经济计量法文献计量法、经济计量法q综合评价:多指标综合评价法、综合评价:多指标综合评价法、定标比超法定标比超法1 1、同行评议方法、同行评议方法(制度制度)同行评议(同行评议(peer review)是充分依靠科学)是充分依靠科学家群体对科学技术活动(包括科研活动、科家群体对科学技术活动(包括科研活动、科研资助、科研管理等)进行民主管理的一种研资助、科研管理等)进行民主管理的一种方法(或制度)。方法(或制度)。具体而言,同行评议是指某一领域或与其邻具体而言,同行评议是指某一领域或与其邻近领域的专家接受同一种评价标准,共同对近领域的专家
8、接受同一种评价标准,共同对涉及相关领域的某一事项进行独立的价值评涉及相关领域的某一事项进行独立的价值评议的过程,其评价结果为有关部门的决策供议的过程,其评价结果为有关部门的决策供应依据。应依据。1 1、同行评议方法、同行评议方法(制度制度)q同行评议是科技评价中应用最广泛和可信度较高的评价方同行评议是科技评价中应用最广泛和可信度较高的评价方法,尤其是对用定量方法难以测度和推断的科研活动的价法,尤其是对用定量方法难以测度和推断的科研活动的价值评估值评估(merit review)(merit review),具有其他方法不行替代的优势。,具有其他方法不行替代的优势。q 美国经济发展委员会美国经济
9、发展委员会 :“美国基础探讨体系的一个美国基础探讨体系的一个基本优势就是,通过一种细致和具有竞争性的同行评议过基本优势就是,通过一种细致和具有竞争性的同行评议过程来安排经费拨款。程来安排经费拨款。”q q 美国国家科学技术理事会基础科学委员会:美国国家科学技术理事会基础科学委员会:“在对在对单个政府部门当前支配的评审中,以同行评议为基础的价单个政府部门当前支配的评审中,以同行评议为基础的价值评价将接着是主要工具。值评价将接着是主要工具。”1 1、同行评议方法、同行评议方法(制度制度)美国美国GPRA确定的评价原则:确定的评价原则:“为确保为确保世界级探讨水平而对科学事业进行管理,同行世界级探讨
10、水平而对科学事业进行管理,同行评议是基础。探讨项目要由专家来评定其价值评议是基础。探讨项目要由专家来评定其价值,资金的配置也须以探讨项目的科学价值为依,资金的配置也须以探讨项目的科学价值为依据。潜在的科研项目和科研支配要依据学问前据。潜在的科研项目和科研支配要依据学问前沿领域的卓越的探讨活动的标准进行评价。同沿领域的卓越的探讨活动的标准进行评价。同行评议的价值评估同样可以被用来对一个机构行评议的价值评估同样可以被用来对一个机构的基础科学项目作回顾性评价。的基础科学项目作回顾性评价。1 1、同行评议方法、同行评议方法(制度制度)q同行评议广泛应用于各类科技评价活动:同行评议广泛应用于各类科技评价
11、活动:q 科学出版物(论文、著作等)的评审科学出版物(论文、著作等)的评审q 学位、荣誉和职称评定学位、荣誉和职称评定q 科研项目评审科研项目评审q 科研成果的验收与评奖科研成果的验收与评奖q 科研机构评价科研机构评价q 科技政策和科技支配评价科技政策和科技支配评价q q同行评议的方式:同行评议的方式:q 通信评议(函评);会议评审;函评通信评议(函评);会议评审;函评+会评;会评;q 现场评议。现场评议。1 1、同行评议方法(制度)、同行评议方法(制度)q同行评议法的优点:同行评议法的优点:价值评价价值评价q存在的缺陷:存在的缺陷:“熟人关系网熟人关系网”崇尚权威崇尚权威 “马太效应马太效应
12、”不利于支持创新性的非共识项目不利于支持创新性的非共识项目 剽窃行为剽窃行为NIH申请探讨资助的同行评议申请探讨资助的同行评议 1、机构设置、机构设置 主任办公室主任办公室 18个专业探讨所个专业探讨所 4个综合探讨中心、资源中心和图书馆个综合探讨中心、资源中心和图书馆 3个临床医疗、信息技术服务和评估机构(科个临床医疗、信息技术服务和评估机构(科学评估中心学评估中心CSR)2、NIH科学评估中心(科学评估中心(CSR)(1)设立三大综合评审组(临床与人口基础探讨、生理系统、)设立三大综合评审组(临床与人口基础探讨、生理系统、分子和细胞机理)和分子和细胞机理)和100多个专业评审组多个专业评审
13、组集中受理申请集中受理申请将项目申请安排给将项目申请安排给CSR的各专业评审组或探讨所的学科评审组的各专业评审组或探讨所的学科评审组将潜在的资助项目申请安排给将潜在的资助项目申请安排给NIH的探讨所的探讨所100多个专业评审组对提交的项目申请的科学创新价值进行评多个专业评审组对提交的项目申请的科学创新价值进行评议议 2、NIH科学评估中心(科学评估中心(CSR)(2)安排项目申请的依据)安排项目申请的依据 专业评审组基于专业评审组基于每个专业评审组的评审指南每个专业评审组的评审指南 探讨所基于探讨所基于探讨所的使命探讨所的使命探讨所的方向探讨所的方向3、申请资助的双重评估系统、申请资助的双重评
14、估系统(1)第一层次的评估(项目评价)第一层次的评估(项目评价)专业评审组(专业评审组(SRG)对申请资助项目的科学创新价值进行评议对申请资助项目的科学创新价值进行评议对于是否予以资助和资助期限提出建议对于是否予以资助和资助期限提出建议(2)其次层次评估(管理和政策评价)其次层次评估(管理和政策评价)国家询问理事会(国家询问理事会(NAC)评估评估SRG对申请资助项目评议的质量对申请资助项目评议的质量对对NIH项目官员提出资助建议项目官员提出资助建议评估优先资助项目评估优先资助项目提出政策建议提出政策建议探讨资助申请探讨资助申请医学院或探讨中心医学院或探讨中心 国立卫生探讨院 科学评估中心科学
15、评估中心 将申请安排给各专业评审组和探讨所 创新探讨思想 提交申请提交申请 专业评审组专业评审组 评估科学价值评估科学价值 探讨所 评估项目的可行性评估项目的可行性 询问理事会和委员会 提出建议行动提出建议行动 探讨所所长 向NIH主任提出最终决策建议 安排经费 执行探讨 4、NIH探讨资助的评议过程探讨资助的评议过程 5、CSR的同行评议制度的同行评议制度(1)CSR的同行评议的同行评议各专业评审组由一位与该专业亲密相关的资深专家担当专业评审主管各专业评审组由一位与该专业亲密相关的资深专家担当专业评审主管(SRA)每一个专业评审组由每一个专业评审组由12-24名专家组成(主要来自学术界)名专
16、家组成(主要来自学术界)每一次专业评审组会议要评审约每一次专业评审组会议要评审约60-100个项目申请个项目申请(2)同行评议专家遴选标准)同行评议专家遴选标准科学探讨造诣深、专业水平高科学探讨造诣深、专业水平高博士学位或相当水平博士学位或相当水平成熟的推断力成熟的推断力工作成效显著工作成效显著学术视野宽敞学术视野宽敞公允公正公允公正热心服务热心服务妇女和少数民族的适当代表妇女和少数民族的适当代表 5、CSR的同行评议制度的同行评议制度(3)无利益冲突的证明并签字(回避制度)与申请者的关系:配偶、父母、儿女、合作者担当过有关机构的官员、主任、理事、雇员或合作者与有关机构进行过谈判或存在预期雇佣
17、的有关协议及其他类似关系(4)保密制度评议材料和评审会会议录所反映的特殊信息仅供探讨和NIH项目官员运用在形成每次会议结论时,探讨材料要销毁或反馈全部与评审有关的材料除评审主管(SRA)外,探讨内容将不列入评审会议录评审过程中的有关问题应提交评审主管6、专业评审组评审会专业评审组评审会(1)评审标准)评审标准科学意义:本探讨能解决一项重要问题吗?能发展新的科学学问吗?科学意义:本探讨能解决一项重要问题吗?能发展新的科学学问吗?方法和路径:设计思路和方法是否先进、可行?能解决遇到的问题吗?方法和路径:设计思路和方法是否先进、可行?能解决遇到的问题吗?创新:有无新颖创新:有无新颖 的概念和方法?其
18、探讨目标是原始创新吗?的概念和方法?其探讨目标是原始创新吗?主要成员:主要成员接受过良好的训练吗?主要成员:主要成员接受过良好的训练吗?环境:现有条件能支持可能的成功吗?科研环境有独一无二的特点吗?环境:现有条件能支持可能的成功吗?科研环境有独一无二的特点吗?(2)确定是否同意资助的要素)确定是否同意资助的要素科学价值科学价值项目实施的考虑项目实施的考虑经费运用的合理性经费运用的合理性6、专业评审组评审会专业评审组评审会(3)专业评审组的行动)专业评审组的行动对申请项目科学价值的优先等级给分(对申请项目科学价值的优先等级给分(1.0-3.0;百分制);百分制)基于有关的评审标准,评审组首先推断
19、该申请项目科学价值的等级在基于有关的评审标准,评审组首先推断该申请项目科学价值的等级在全部被评审项目的一半以上的行列,对恳求的探讨时间和资助经费提出全部被评审项目的一半以上的行列,对恳求的探讨时间和资助经费提出建议,给出优先等级的评分,综合探讨中的看法和建议,给出评议结论。建议,给出优先等级的评分,综合探讨中的看法和建议,给出评议结论。不评分(一半以下)不评分(一半以下)评审组成员全体一样认为该申请项目的科学价值的等级在全部被评审评审组成员全体一样认为该申请项目的科学价值的等级在全部被评审项目的一半以下的行列,就不予评分。通讯评议看法汇总后经评审组审项目的一半以下的行列,就不予评分。通讯评议看
20、法汇总后经评审组审议反馈给申请者。议反馈给申请者。延缓延缓 在没有附加信息的状况下,评审组无法给出举荐看法。当然,可以访在没有附加信息的状况下,评审组无法给出举荐看法。当然,可以访问该项目的有关网站,或由申请者供应补充材料。问该项目的有关网站,或由申请者供应补充材料。6、专业评审组评审会专业评审组评审会(4)专业评审组的后续行动)专业评审组的后续行动按优先等级分数和百分数计算排序按优先等级分数和百分数计算排序供应总结材料供应总结材料对通过评审的申请项目,专业评审组要以书面的形式给出总结建议,希望对通过评审的申请项目,专业评审组要以书面的形式给出总结建议,希望探讨所对该项目进行资助。探讨所对该项
21、目进行资助。书面总结建议一般包括:书面总结建议一般包括:评议的概要和结论评议的概要和结论 原始的指责看法原始的指责看法 优先级评分和百分制评分排序优先级评分和百分制评分排序 预算建议预算建议 项目管理留意事项项目管理留意事项移交国家询问理事会作进一步考虑移交国家询问理事会作进一步考虑7、国家询问理事会的评议行动 同意专业评审组的看法修改专业评审组的看法对延缓的项目组织复审 同行评议的制度支配同行评议的制度支配 1、同行评议专家资格审查制度、同行评议专家资格审查制度 是保证同行评议有效性的是保证同行评议有效性的基本前提基本前提确定专家遴选标准确定专家遴选标准同行或单位举荐同行或单位举荐专家基本状
22、况登记专家基本状况登记专家资格审查专家资格审查专家公示专家公示专家入库专家入库 同行评议的制度支配同行评议的制度支配2、建立同行评议专家库、建立同行评议专家库 为评价活动供应足够的、符合为评价活动供应足够的、符合要求的专家人选要求的专家人选依据评价的须要确定专家数量规模依据评价的须要确定专家数量规模专家信息的完整性专家信息的完整性专家信息的动态跟踪与更新专家信息的动态跟踪与更新专家评议信息记录专家评议信息记录专家库定期评估与动态更新制度专家库定期评估与动态更新制度专家公示(尤其是评价委员会和专家组成员)专家公示(尤其是评价委员会和专家组成员)专家库共享机制专家库共享机制 同行评议的制度支配同行
23、评议的制度支配3、评价专家遴选的随机原则、评价专家遴选的随机原则 避开人为因素干扰,保证遴避开人为因素干扰,保证遴选程序的公正性选程序的公正性依据评价须要提出所需评价专家的特征信息依据评价须要提出所需评价专家的特征信息 (探讨领域、专长、职称、年龄、地区、部门、机构等)(探讨领域、专长、职称、年龄、地区、部门、机构等)遵循相应规则在专家库中随机遴选遵循相应规则在专家库中随机遴选 同行评议的制度支配同行评议的制度支配4、评价专家定期更换制度、评价专家定期更换制度保证评价专家委员会(专家组)保证评价专家委员会(专家组)的权威性、公正性和代表性,避开相关利益关系对评价工作的权威性、公正性和代表性,避
24、开相关利益关系对评价工作的影响的影响实行任期制,定期更换实行任期制,定期更换评价专家委员会(专家组)成员任期一般不超过两届评价专家委员会(专家组)成员任期一般不超过两届在规定的届期内逐年按比例更换专家在规定的届期内逐年按比例更换专家 同行评议的制度支配同行评议的制度支配5、评价专家回避制度、评价专家回避制度避开评价专家与被评价者之间的利益避开评价专家与被评价者之间的利益关系,保证评价的客观、公正性关系,保证评价的客观、公正性被评价者可以提出回避专家的名单,书面出据证据和理由被评价者可以提出回避专家的名单,书面出据证据和理由评价专家保证与被评价者之间无利益冲突关系,并书面签字评价专家保证与被评价
25、者之间无利益冲突关系,并书面签字6、评价看法反馈制度、评价看法反馈制度提高专家评价的客观、公正和科学性提高专家评价的客观、公正和科学性被评价方具有知情权被评价方具有知情权评价看法反馈给被评价的人员或单位评价看法反馈给被评价的人员或单位 同行评议的制度支配同行评议的制度支配7、对评价看法的申诉制度、对评价看法的申诉制度加强对评价活动的监督制约机制加强对评价活动的监督制约机制被评价方对评价看法持有异议,可以向评价托付方或评价监督委员会提出申被评价方对评价看法持有异议,可以向评价托付方或评价监督委员会提出申诉诉被评价方供应书面材料被评价方供应书面材料评价监督委员会负责调查并做出仲裁评价监督委员会负责
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 科学技术 评价 方法 综述 优秀 PPT
限制150内