基于创新价值的农业科技项目立项评价指标体系构建及实证研究-孙静.pdf

《基于创新价值的农业科技项目立项评价指标体系构建及实证研究-孙静.pdf》由会员分享，可在线阅读，更多相关《基于创新价值的农业科技项目立项评价指标体系构建及实证研究-孙静.pdf（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、2017年第10期 科技管理研究Science and Technology Management Research 2017 No10doi：1039696issn1000-769520171001 1基于创新价值的农业科技项目立项评价指标体系构建及实证研究孙静1，陈宝峰(1北京物资学院商学院，北京 1011492中国农业大学经济管理学院，北京 100084)摘要：通过文献研究、案例分析与专家访谈，初步提出农业科技项目的创新性评价指标后基于调查问卷的大样本数据，选用验证性因子分析对指标进行删减与分类，得到9个一级指标及35个二级指标，这是在农业领域首次以科技项目创新价值为核心的立项评价指标：

2、而后在主观层次分析法与客观熵值法基础上，运用层次一熵值组合赋权方法得到指标权重。该方法与较为常见的偏差最大化组合赋权法所得的权重数值具有较高的相关度，而定量评价结果与实际同行评议结果具有较高的相似度。关键词：立项评价；创新；价值评价；指标分层赋权中图分类号：G311；F204 文献标志码：A 文章编号：10007695(2017)1()一007308Empirical Study on the Construction of Evaluation Index System of Agricultural ScienceTechnology Project Evaluation Based on

3、 Innovation ValueSUN Jin91，CHEN Baofen92(1Business School，Bering Wuzi University，Beijing 101149，China；2College ofEconomicsManagementChina Agricultural University，Beijing 100084，China)Abstract：Firstly，the relevant theories of agricultural science and technology innovation and project evaluationare su

4、mmarizedThe paper analyzes the apphcation form of the new project，carries on the case analysis，and putsforward the innovative evaluation indexThrough the expert interview-，the paper further adjusts the index factorsand designs the questionnaireAfter scoring the data of the expels，the index is verifi

5、ed by structural equationmodel，and the nine first level indexes and thirtyfive second level indexes are obtainedBased on the subjectiveanalysis method and the objective entropy method by using hierarchy entropy combination weighting method，thepaper gets the index weight of discovery：the above method

6、 and the weighting method of mature maximum deviationcombination have a high degree of correlation；the actual result of quantitative assessment has hi【gh similarity with peerreview resultsKey words：project evaluation；innovation value；innovative index；portfolio weight assignment1 研究背景与意义农业领域国家科技计划项目是

7、我国政府在全国范围内开展科学技术研究的基本组织形式之一，是实现农业科技资源合理配置的重要手段。如何以科技计划项目为依托推动农业科技创新更大突破的问题值得关注。虽然我国由政府资助的各级各类科技项目中均强调创新性，但对此类项目的创新价值评价理论与方法研究却不多见，在评价指标上也未能形成一个既包括立项基本要求又兼顾创新价值评价的立项指标体系。因此，在项目立项j平价过程中以同行评议制为基础，构建客观、科学的可行性与创新性评价指标，选择有效、合理的立项评价方法，从而提高项目立项的科学性与公正性就显得尤为必要。2 构建基于创新价值的农业科技项目立项评价指标立项评价的目的是判断项目的合目的性和合规律性，但由

8、于国家科技资源的有限性，政府只能对符合主客观规律的项目择优资助。本文从待立项项收稿日期：20160805，修回日期：2016一ll一0l基金项目：科技部科技基础性工作专项项目“创新方法在农业科技计划中的应用”(2013IM030700)项目来源：北京物资学院科研工作支撑项目“服务创新的关键要素研究”(05416049)万方数据74 孙静等：基于创新价值的农业科技项目立项评价指标体系构建及实证研究目的创新度出发，围绕项目创新性与可行性等立项要求对评价指标进行初选。21 构建基于创新价值的农业科技项目立项评价指标的步骤第一步，将相关文献中已论证过的影响科技项目创新价值的因素进行归纳，形成最初诸多影

9、响因素。第二步，进行6个案例研究(分别选取应用开发类项目中2个优先人库项目、2个人库项目和2个未入库项目)，以验证基本量表中指标的科学性与合理性，同时检查是否存在被遗漏的变量，案例研究结果显示典型项目创新过程中的主要因素已基本涵盖在最初提出的影响因素中。第三步，进行焦点团体访谈，就以上两阶段形成的创新要素作为假设量表征询项目负责人及相关评审专家的意见，以检验量表中变量的科学性与合理性；此外，就评审专家所参与过的项目咨询其创新性的影响因素，并作为最初假设量表的内容补充。第四步，在第三步的基础上，设计面向被访谈的项目负责人、评审专家的测试问卷，对量表信度进行初始检验。第五步，设计专家打分量表，请专

10、家从指标的重要性上采用7个等级进行评分，通过验证性因子分析对初选指标进行筛选和分类。22 农业科技项目创新度指标说明及其分类本文主要从项目的创新需求、创新模式、研究基础与整体设计、创新方法的掌握、创新投入、人才与知识产出、预期产出、申请人创新能力、申请人所在机构创新环境等。5 o九个方面对农业领域应用开发项目进行研究，构建基于创新价值的立项评价指标体系，如表1所示：表1 农业科技项目创新度指标说明及其分类二级指标 指标说明l创新需求创新模式研究基础与整体设计4创新方法)项目投入6人才与知识产出预期产出8申请人创新能力11项目的社会(行业)创新需求12项目的学科创新需求13项目的国家创新需求2l

11、项目的原始创新22项目的集成创新项目中引进消化吸收再创新31理论的全面性32国内外研究前沿的掌握33项目的科学研究范式34项目的研究思路设计35项目创新点的描述36项目难点的处理办法4l项目中创造新的科学思维42项目中创造新的科学方法43项目中创造新的科学丁具51项目的人员投入52项目的创新资源投入53项目创新团队组建54项目的时间投入6l项目的知识产H62项目的人才培养71项目的技术产出72项目的技术标准产出73项目的示范作用74项目预期的经济效益75项目预期的社会效益81申请人知识完备82申请人学术水平83申请人学术影响84申请人创新精神提高农业行业生产效率；对社会发展具有重大意义对学科推

12、动作用；是否有助于交叉学科的发展符合国家战略目标，满足国家重大需求促进同知识创新及社会服务相关联的科学工程前沿的新发现利用农业科技信息信息、农业科技管理与农业创新工具等，对各创新要素进行选择、集成用各种引进的农业技术资源，在消化吸收基础上完成重大创新充分体现对本研究领域理论的全面、深入把握，特别是对研究对象的生物性特点的把握申请人对国内外相关领域理论与实践的全面把握符合农业相关领域研究的一般规律、基本方法和技术手段，特别是要符合自然与生物学规律的科学尝试项目中研究思路设计的科学、合理性，其中包括对预期风险的控制关键问题的识别、变量要素的把握、科学问题的提出以及关键技术的突破等创新过程对于在农业

13、领域可能出现的气候、地域、自然、生命周期等控制变量处理的科学性与有效性运用于农业科学研究与开发的思路与途径运用于农业科学研究与开发的方式与方法运用于农业科学研究与开发的设施与设备取得过显著创新成果的人员情况项目中购买用于创新的农业机械设备、实验设备、工具的情况项目团队构成体现出学科融合项目参与者有充分的时间可以从事项目的研究与实验项目预期的著作及论文发表的量化产出，农业创新主体问学习和互动，以实现创新系统内的知识流动依托项目完成的博士、硕士论文及培养农业领域创新性人才(博士后等)项目预期的专利申请数量、农业新产品新工艺等，并由此投入生产建立一种新的农业生产体系，实现农业生产要素和农业生产条件的

14、一种从未有过的新组合，并将其引入到该生产体系，成为所在领域产业的演进或重组项目在行业内的试点示范作用，对于应用基础和应用开发项目，除了非物化技术其他技术中试、示范或技术集成和产业化开发的可行性项目应用和推j-。对提高行业生产效率及农产品竞争力的影响及其带来的可持续性的效益项目应用和推广对改善农民生产生活水平、提高农产品质量、改善或是保护环境等，及其可持续性具备系统的专业知识，并能综合运用已有的知识、技能和方法近期取得的相关标志性成果取得的成果对本学术专业的理论和实践等的影响从项目设计、成果类型中可看到的申请人具有改革革新的勇气和智慧万方数据孙静等：基于创新价值的农业科技项目立项评价指标体系构建

15、及实证研究 753 农业科技项目评价指标的赋权研究与应用指标赋权对项目评价的排序有很大影响，但目前无论是主观赋权还是客观赋权都具有一定的片面性M o。为兼顾评审专家对指标重要性的偏好，又尽可能减小主观判断的随意性，使赋权达到主客观的统一，本文在主观的层次分析法与客观的熵值法基础上，提出了一种层次分析一熵值的组合赋权方法，运算后发现：该方法与另一种较为成熟的偏差最大化组合赋权法在本类项目的应用中其权重数值具有较高的相关度，但层次一熵值组合赋权法的原理更简单易懂，从而实现立项评价更客观、更有效。31 层次分析法及其应用层次分析法作为主观权重，是在评价指标重要性问卷中的大样本得分均值所得到的判断矩阵

16、的基础上j，在MATLAB中进行编程得到基于层次分析法的权重，这种应用大样本且依据层次分析法基本原理所得到的权重在一定程度上减少了因个别专家判断偏倚所造成的权重结果失真的缺陷。由层次分析法所得到的创新价值评价指标权重如表2所示：表2基于层次分析法的应用开发项目创新性评价指标权重表万方数据76 孙静等：基于创新价值的农业科技项目立项评价指标体系构建及实证研究32 熵值法及其应用本文采用的熵值法是在专家判断基础上、项目与项目间所存在的一种客观赋值法旧。9j。熵值法与层次分析法相比具有反应项目自身水平的客观性和项目整体水平的动态性的特点，但如果单独使用该方法会忽视了评审者在确定权重时对于重要性的偏好

17、，且熵值法各指标的权重依赖于申报项目样本得分的离散程度大小，权重随每次评审变化而变化，不具有稳定性。本文邀请5位专家分别对已评审过的10项应用开发项目进行再评价。与之前不同的是根据所得到的评价指标，对于每个指标的打分级别为“特优”、“优”、“良”、“中”、“差”五个等级，即分别计分5、4、3、2、1，由专家根据项目申请书的内容按照第四章给出的有关创新性的评价指标对每一个指标评定一个等级，其后是集结专家在每个指标上的评价，通过熵值法求得指标权重。由于专家卫：打分为越高越好所以为收益指标，取d=-，-L!j。通过一，MATLAB运算，最终得到二级指标权重向量为：F=卵026 0-033 0。063

18、 0014 0t025 0068 0t0S0 0024 0070 0-045 0041O011 0012 0022 O。023 0018 0011 0023 0。023 O022 O019 O0600039 O。0SO O028 O。016 0016 0009 O023 O022 0028 O017 O015 O018)733 离差最大化组合赋权法及其应用本部分选择基于离差最大化的组合赋权的一个基本思想是使各决策方案的多属性综合评价值尽可能分散n舢o。331基于离差最大化的组合赋权法组合权重为W-口卢矿，其中=(。，：，。)，口、卢分别表示为层次分析法和熵值法权向量的系数，且理0，口00运用离

19、差(方差)最大化的原理，另a、口满足单元化的约束条件，即理2+卢2=1。在已经得到了的层次分析法权重u和熵值法V的情况之下，想要得到组合权重镦，就只需确定Of和口即可。本文运用离差最大化的原理，构建如下线性规划模型，求解理、口的值。raaxT,=(旷岛)2qj=l l=i=(龟一曷)2-坶+芦誓)j=i=ist口2+卢2=1，d，卢0，且a，卢不能同时为0其中，曷表示第j个指标的平均值：1 X_弓2磊2，歹=L2一，m a构建拉格朗日函数求解最优化问题，需要引人拉格朗日乘子入，即分别对d，口求一阶导数， 令a五a晓=0，0La声=0，贝0有：另有口2+口2=1，可得：、j_一疗r+球，La+、

20、，声+哟，L、1，蜀一赡，L。汹m同|I，j，芦岱，L己0II旺毒2+岭铲一一氍，L嚣汹讯犀0=Ry差2+岭r每一赡，L记融饿V、】同万方数据孙静等：基于创新价值的农业科技项目立项评价指标体系构建及实证研究 77厩1 邝2厩1即可得到组合权重(未归一)=aU+卢矿，再对09=(。，：，。)7进行归一化处理，可得到最终的+=(甜+1，09+：，09+。)为最终的权重，根据该权重可得到各个项目的综合评价值，并以此进行比较。僦耻啪jf-1332组合赋权在农业科技项目创新陛评价中的应用本文对35个二级指标使用熵值法，对9个一级指标采用层次分析法，这样既保证了专家对于指标权重的主观判断，也保留了熵权法得

21、到的对客观申请书的整体评价。通过=O口y，可得到未归一的权重，对该权重进行归一化处理，得到甜+，现记为w二(O07sO|025 o193a00600160011012400430030 O07400370D31a0030003000101016a0440013001000180009000SO0470018a039n02900080，0040|oOSa008 o008001400060I)040，OOS)734 分层组合赋权法及其应用层次分析法是由专家衡量既有指标相对重要性的主观赋权法，专家需要熟悉指标体系，做出具有权威性和代表性的评判。同时，因为是直接针对指标打分，相对于熵值法来讲确定的权重

22、稳定并可用于多次反立项评价。熵值法则是一种相对客观，具有动态性的评价方法。为了综合两种方法的优点，根据实际情况选用最适用的数学模型集结两种权重并得到组合权重。本文采用的基于层次分析法和熵值法的离差最大化的组合赋权法，是目前应用最多、最广的组合赋权法，但该方法在实现综合评价值差异化的同时，也人为的极端化了指标权重。为了趋缓这种差异，本文根据主客观两种赋权法的特点，通过熵值法对创新性指标进行二级指标的赋权，再通过层次分析法对评价项目的评价值(属性值)进行一级指标赋权，得到集结了层次分析法的权重和熵值法的权重组合、动态权重，并将该赋权方法与其他法进行比较。在一级指标维持层次分析法权重的权威性与稳定性

23、；二级指标上则根据样本的实际得分情况计算其熵值权重。这样，即尊重了专家在权重评定上的主观意见，也考虑到了实际样本的得分情况。该方法，对基于指标本身的主观权重的结果进行客观化分析和处理，又对基于指标值(屙l生值)的熵值法客观权重的结果，通过各指标之间的内在稳定联系，进行了主观化的调整。层次一熵值分层赋权法将专家对指标重要性打分的主观判断与熵值对项目在各指标上的打分的客观判断相结合，无疑将增强创新性评价指标权重的可操作性与可信度。在原有已得到的层次分析法和熵值法权重的基础上，通过2 U章矿得到下表表3 基于层次分析法一熵值法的组合权重表赢赢万方数据78 孙静等：基于创新价值的农业科技项目立项评价指

24、标体系构建及实证研究_-_-_，-_-_-_-一表3(续)雾篆型塑茎兰型型至丽疆再U磊害竽型三望鲨釜L旷组合权重嚣船i指标 权重 指标 权重y k归+二些届16项目的预期知识产出与人才培养 O03 61项目的知识产出 O023 O001 000662项目的人才培养0023 0001 00067项目的预期产出 O02 71项目的技术产出0022 0000 O00372项目的技术标准产出 OOl 9 O000 000373项目的示范作用0060 0001 000874项目预期的经济效益 0039 O001 O00575项目预期的社会效益0050 01301 00078申请人创新能力 O09 81申

25、请人知识完备 O028 0002 002082申请人学术水平0016 0001 0Ol 183申请人学术影响0016 0001 001284申请人创新精神 0009 0001 O0079申请人所在机构与地区创新环境 O03 91申请人所在机构的创新资源 0023 o001 O00592申请人所在机构的设备投入0022 0001 000593申请人所在机构产学研合作 0028 O001 O00694申请人所在机构创新激励0017 0000 000495申请人所在地区农业综合竞争力0015 0000 000396申请人所在地区创新资源 0018 O000 O004由此得到了农业应用产业化项目基于层

26、次分析法一熵值赋权法的权重。35 分层组合赋权与其他赋权法的比较上文在层次分析法与熵值法的基础上分别求得了基于离差最大化的组合赋权法以及层次一熵值分层赋权的权重，结果见下表：表4 基于层次分析法、熵权法及方差最大化与层次一熵值分层组合赋权权重综合表11项目的社会(行业)创新需求0145 0026 0075 006512项目的学科创新需求0021 0033 0025 008313项目的国家创新需求0145 0063 0193 01582l项且的原始创新0016 0014 0006 000722项目集成创新、消化吸收再创新 O048 o016 0016 00083l理论的全面性 0005 0025

27、 001 1 O03532国内外研究前沿的掌握0038 0068 0124 009733项目的科学研究范式 O006 O050 O043 007134项目的研究思路设计0100 0024 0036 003435项目创新点的描述0012 0070 o074 010036项目难点的处理办法0019 0045 O037 00634l项耳中创造新的科学思维0。014 0041 0031 000742项目中创造新的科学方法0009 001 1 0003 000243项目中创造新的科学工具0006 o012 0003 000251项目的人员投入0012 0022 0010 004652项目的创新资源投入0

28、029 0023 0016 004853项目创新团队组建0150 0018 0044 003854项目的时间投入0073 001 1 0013 00226l项目的知识产出0006 0023 0010 000662项目的人才培养0028 0023 0018 00067l项目的技术产出0005 0022 0009 000372项目的技术标准产出0002 0019 0005 000373项目的示范作用0004 0060 0047 000874项目预期的经济效益0002 0039 0018 000575项目预期的社会效益0007 O050 0039 00078l申请人知识完备0040 o028 002

29、9 002082申请人学术水平0016 0016 0008 001 183申请人学术影响 O004 0016 0004 001284申请人创新精神 0028 o009 o005 00079l申请人所在机构的创新资源 0002 O023 0008 000592申请人所在机构的设备投入 0005 O022 o008 o00593申请人所在机构产学研合作0007 O028 O014 O00694申请人所在枧构创新激励0_010 0017 0006 000495申请人所在地区农业综合竞争力 O001 o015 o004 o00396申请人所在地区创新资源0001 o018 0005 0004万方数据孙

30、静等：基于创新价值的农业科技项目立项评价指标体系构建及实证研究 79l。金一_二-二 、， m_P。：2囊三奋：蒌曼妻j；羹二盘羹!黑罴三三三毒曩鐾；暑m釜镬m妻鬈摹由上图可以看出，离差最大化赋权和分层赋权与层次分析法权重具有较为相似的趋势，其中两种组合赋权均起到了放大指标差异的作用，而分层赋权法得到的权重较之最大化赋权更为缓和。四种赋权方法所得到的权重两两相关的Spearman相关系数见下表。表5 四种方法所得权重的相关系数(Spearman相关系数)从上表可以看出，层次分析法与熵值法在赋权上的相互独立，这是由其方法本身的原理决定的，而方差最大化赋权法与层次一熵值分层赋权法相关性较高，主要是

31、因为二者均为建立在层次分析法与熵值法基础之上的组合赋权法。此外，对离差最大化赋权法和层次一熵值分层赋权法进行差异化T一检验，将两种赋权方法无差异作为H假设，得到结果：表6 离差最大化赋权法和层次一熵值分层赋权法权重的成对双样本方差分析的T一检验结果本文所提出的层次一熵值分层法与经常使用的基于方差最大化的组合赋权法相比差异并不大，但因其在一定程度上对权重分布的分散度有所收敛，所以说这种分层赋权的方法既保证了权重的有效性也起到了收敛权重分布的效果。本文通过层次分析法对创新性指标进行二级指标的赋权，再通过熵值法对评价项目的评价值(属性值)进行一级指标赋权，得到集结了层次分析法的权重和熵值法的权重组合

32、、动态权重。层次一熵值分层赋权法与方差最大化的组合赋权法的差异化检验结果来看，本文所提出的层次一熵值分层赋权法与经常使用的方差最大化的组合赋权法相比差异并不大，但因其在一定程度上对权重分布的分散度有所收敛，所以说这种分层赋权的方法既保证了权重的有效性也起到了收敛权重分布的效果。4两种组合赋权方式下的农业科技项目创新价值评价为了使该方法的有效性和可行度得到充分的验证，将基于两种不同权重进行评价，其结果见表7：表7 两种组合赋权方法所得到的评价结果可见，P值=097 O05，故接受H，即认为两 +根据现行评价体系得到的评价结果种赋权法差异不显著。从差异化检验的结果来看，万方数据80 孙静等：基于创

33、新价值的农业科技项目立项评价指标体系构建及实证研究从上表可知分层赋权的评价值变异系数最高，这意味评价值具有更高的可区分度，也正是层次一熵值法较之离差最大化法的优越之处。两种赋权方法所得到的结果与实际结果均存在差异，笔者就离差最大化法与层次一熵值分层法存在差异项目E和J邀请过专家对其进行深入考评，专家认为E项目具有较强创新价值与实验可行性因此建议为优先立项项目；J项目确实在创新价值上存在一定的争议，由于专家的分歧未予立项，这也说明现有的评价指标对于创新价值的评价缺乏一定的针对性，且方法也存在一定的问题，需要通过更有效的创新性评价指标体系实现更科学、更合理的立项评价办法。5讨论笔者通过有关立项评价

34、、科技项目创新、农业科技创新等的文献研究、案例分析以及相关专家、项目管理方的访谈，初步提出了41个测量农业科技项目创新价值的评价指标要素并形成调查问卷，采集数据后选用结构方程模型中的验证性因子分析对指标进行删减与分类，得到9个一级指标及35个二级指标。这些指标兼顾了待立项项目的可行性与创新度。在得到了基于创新价值的农业科技项目评价指标后，本文应用基于层次一熵值分层组合赋权方法，该方法比目前常见的离差最大化组合赋权法计算过程更简单、思想更易理解、赋权意义更清晰，同时充分体现出了在立项评价过程中评审专家经验判断的主观能力与评价对象的动态信息量化，既降低了项目评价的主观因素，又客服了传统单一评价方法

35、的客观局限性。在我国农业科技项目立项评价现状下，项目创新价值评价研究是一个实用性很强的问题，本文在兼顾了项目评价的学术性和实用性方面做了一些的尝试，本文有关创新价值评价指标、权重以及整个评价体系的研究丰富了立项评价理论的同时，也对提高科技项目特别是农业科技项目择优立项的准确度与科学性起到一定的促进作用。本文选择的申请书样本为“十二五”期间专项，尚未能通过项目的实施与应用情况证实其创新性，这还有待于此后持续、深入的对项目创新性的评价进行研究。参考文献：1傅家骥，仝允桓，高建，等技术创新学D北京：清华大学出版社，2000(16)：4244，53，1072STAVER，CHARLESAnalystn

36、g Organisational LearningCapacity As a Window on the National Agricultural InnovationSystem：A Participatory Approach in NicaraguaJAgriculturalResources，Governance and Ecology，201 l，6(28)：1942213科学技术评价办法：试行EBOL科学技术部网站，http：wwwmostgovcn4董高峰，李晓轩创新性项目遴选的影响因素研究J科学学与科学技术管理，2008，29(2)：995邱均平，文庭孝评价学理论、方法、实践

37、D，北京：科学出版社，2010：7273，108，1266俞立平，潘云涛，武夷山科技评价中不同客观评价方法权重的比较研究J科技管理研究，2009(7)：1481517STEWARTA Critical Survey on the Status of Multiple CriteriaDecision Making TheoryPracticeJOmega 1992，20(3)：5695868代吉亚，宋轶，郭汝宁，等层次分析法和熵值法在疾控机构应急能力评估中的应用比较J中国卫生统计，2014(6)：219LIANG G，XU W，TAN XApplication of Extension The

38、oryBased on Entropy Weight to Rock Quality Evaluation l J JRockand Soil Mechanics，2010，31(2)：53554010孙莹，鲍新中一种基于方差最大化的组合赋权评价方法及其应用J中国管理科学，2011，19(6)：14114511张启銮，陈艳，杨德礼基于离差最大化组合赋权的生态评价模型及10个副省级城市的实证研究J管理学报，2014，7(12)：85作者简介：孙静(1982一)，女，北京人，讲师，博士，主要研究方向为创新管理、科技评价；陈宝峰(1957一)，男，河南平顶山人，博士生导师，教授，博士，主要研究方向为项目分析、风险管理。万方数据