| 联系我们 |
 |
合作经济与科技杂志社
地址：石家庄市建设南大街21号
邮编：050011
电话：0311-86049879 |
|
|
| 经济/产业 |
［提要］ 高校已成为科技创新的重要承担主体，科学有效的科研绩效评价方法能促进教师的科研积极性与效率的提高。本文结合国内外研究成果，对同行评议法、德尔菲法、文献计量法与综合评价法等方法进行比较分析，借以为科研绩效的评价提供参考。
关键词：科研绩效；评价方法；分析比较
基金项目：本文为石家庄学院科研启动基金重点项目（立项编号：13ZD004）研究成果
中图分类号：G64 文献标识码：A
收录日期：2014年6月20日
目前，科学研究活动已成为各个国家、地区、组织以及个人的重要活动，对科研绩效如何进行评价则成为大家关心的问题。本文结合国内外研究成果，对科研绩效的评价方法进行系统研究，探讨各种方法的适用特点。
一、同行评议法
同行评议法，是通过同行业的专家进行评价的定性的方法。它经过不断的发展和完善，已成为科研评价方法的主要方法之一。
（一）同行专家的选择。在实际应用时，最关键也最困难的一环是同行专家的选择。随着科学发展的深入和细化，科学研究的领域越来越专深，研究领域的划分越来越细，真正的同行似乎越来越少；而另一方面，科学发展的综合化趋势也在加强，学科交叉和渗透越来越普遍。一项科学研究常常需要多学科的知识，要找出具有与研究课题相对应的知识结构的同行专家也很难。因此，在选择同行专家时，应考虑被评价对象所涉及的专业、研究领域等具体方面，要求同行专家人数要不低于五人，与被评价对象专业相同且研究领域相同或相近，在其科学技术领域和相关领域的研究发展态势有相当了解，对学科前沿有深刻的认识，有较高的业务水平和思想素质。
（二）同行专家评议形式与特点
1、通信评议。即评价机构把评估材料通过信件或者网络寄送给评议专家，专家独立做出书面判断，然后将评议意见反馈给评价机构。其主要优点是匿名性和保密性好，可以避免人情干扰；专家考虑时间充裕，意见表达充分，无从众心理和权威主义的干扰；开支少，成本低。主要缺点是不能对所有申请对象作比较；无法与申请人和其他同行交流；回收率无法保证；评审周期长，不利于及时决策。因此，它适用于所有的科研项目评审，也适用于文献形式的科研成果鉴定。
2、会议评议。即专家组评议，指评价机构事先把相关材料寄送给评议专家，并请专家按指定的时间和地点参加专家评审会，通过讨论和交流，形成集体评审意见。其主要优点是专家意见可以得到充分交流和讨论；同类的评议对象可以集中评议，效率高；必要时评议对象可以现场答辩和申诉；评审周期短，有利于及时决策。主要缺点是“从众心理”和权威的压力可能影响会议的民主；专家彼此见面，保密性相对减弱；评议费用较高；有的专家可能不能在指定时间、地点出席，从而影响代表性。它较适用于项目的集中评审、重大项目和有争议项目的评审。
3、调查评议。如果评价机构组织专家到现场调查、了解，然后给出评价意见。其主要优点是可以实地调查、现场评议，客观性强；主要缺点是需要花费较多时间和费用，成本较高。它适用于研究机构的评估和资金投入较大的重大研究项目的评审。
4、组合评议。就是根据评价工作的需要，将上述三种方法中的某几种组合起来进行评价的方法。
二、德尔菲法
德尔菲法是评价机构针对特定问题，采用专家匿名发表意见的方式，专家之间不得互相讨论，不发生横向联系，只能与调查人员发生关系，通过多轮次调查专家对问卷所提问题的看法，经过反复征询、反馈、修改和归纳，最后汇总成专家基本一致的看法，作为专家调查的结果。它作为一种主观、定性的方法，可以有效地消除成员间的相互影响，可以充分发挥专家们的智慧、知识和经验，在科研评价以及各种评价指标体系指标权重的设置等工作中有广泛的应用。
（一）德尔菲法问卷设计。在第一轮调查开始时，设计专家调查表是一件非常重要的事情。专家调查表设计的好坏，直接关系着调查结果的优劣。在制定调查表时，应该注意以下几点：1、对德尔菲法做出简要说明。在调查表的前面，应该简要说明调查背景和目的、专家在调查中所起的作用，以便使专家全面了解情况。此外，对德尔菲法的程序和规则也应作简要说明；2、背景材料要全面而精炼。背景材料一般多是客观事实，且应该与问题及目标密切相关，以有利于专家做出判断；3、问题要有针对性，要由浅入深，从易到难，使专家容易接受；4、每个句子所含的问题要单一，避免组合问题；5、用词要确切。所列问题应该明确，含义不能模糊；6、调查表要简洁明了。调查表应有助于专家迅速理解问题，做出评价；7、问题数量不应该太多。如果对问题只要求做出简单回答，问题的数量可适当多些；如果问题比较复杂，则数量可以少些。一般认为，问题的数量上限以25个为宜。
（二）德尔菲法的数据处理。德尔菲法用于科研评价一般是请专家对不同指标或者研究项目确定权重或者等级，相应的量化方法也可以分为两种：一种是量化打分，一种是等级打分。在对不同专家的数据进行处理时，如果组织者对专家情况较为了解，可以根据专家对评价对象的了解情况对不同专家的数据人工确定不同权重；也可以在发送问卷的同时发送专家调查表，根据返回的信息确定权重；也可以对所有专家采取相同权重。调查问卷回收后常常需要用统计方法对专家的打分结果进行处理。一般来说，用来总结和描述专家意见的常用统计量有秩和、均值、众数、中位数、上四分位数和下四分位数等。
（三）德尔菲法的适用范围。由于德尔菲法具有集思广益，发挥专家优点，使专家既可吸取其他专家的意见，进行修正，又不受权威影响，结果宜合理。同时，德尔菲法的主要缺点是过程比较复杂，征询意见的时间较长。因此，德尔菲法更适合周期较长的大型评价项目的咨询，而很难满足一些评价周期较短、需要较快得出判断结论的科研评价活动的要求。
三、文献计量法
文献计量方法是指利用出版物、专利、引文等科技绩效指标进行科研评价的一种定量评价方法，主要包括论文、著作、学术报告、引文、课题、专利等。其中，论文和引文是较为常用的计量指标，这两项指标易于统计和核实，因而受到了研究者和科研管理部门的普遍青睐。论文和引文指标分析的常用数据源是：美国科学信息研究所的科学引文索引（SCI）数据库、社会科学引文索引（SSCI）数据库、科技会议录索引（ISTP）数据库与科学评论索引（ISR）。SCI主要针对基础科学；SSCI主要针对不同国家和地区的社会科学期刊和论文；ISTP主要针对的是国际会议论文。美国工程信息公司的工程引文索引（EI）数据库，主要针对的是机械、制造、土木、冶金、材料等工程技术领域。ISR主要针对的是综述评论方面的论文。
我国国内论文和引文的常用统计源有中国科技信息研究所研制的“中国科技论文统计与引文分析数据库”（CSTPC）、中国科学院文献情报中心的中国科学引文数据库（CSCD）、南京大学的中国社会科学引文索引（CSSCI）和中国社会科学院文献情报中心研制的中国人文社会科学引文数据库等。
在科研绩效评价中，对文献计量指标的量化分析也是非常重要的，一些常用计量指标有：1、引文量：指引用文献所拥有的被引文献的数量。它是研究文献被利用的程度和广度的重要参量；2、被引频次：指特定文献或者某评价对象（可以是科研人员、学术期刊、研究机构甚至特定地区和国家）所生产的文献在某一时间段的被引次数；3、即年指标：是指文章发表当年期刊的平均被引用数。它是衡量一种期刊被其他期刊引用速度的指标；4、影响因子：是一种期刊论文的平均被引率；5、学科影响因子：学科影响因子与影响因子的计算方法类似，不同的是，影响因子是测度某一给定期刊中论文的平均被引次数，而学科影响因子则是测度某刊中论文被某一学科的核心期刊所引用的平均次数。
虽然文献计量指标的确可以用于科研评价的各个层次，但在不同层次、不同目的的评价中，对文献计量指标的使用方式应该是有严格区分的。具体说来，在国家、地区科研状况评估等宏观评价活动中，文献计量指标和方法可以作为主要的评价手段，并辅之以专家的定性分析；在诸如科研人员评价等微观评价中，文献计量指标和方法则只能作为辅助手段，而应该以同行评议为主。
四、综合评价法
综合评价法又称系统评价法，是将评价对象看作一个系统，对该对象的属性的多个指标进行评价，从而得出该评价对象的整体结果。在科研绩效评价中，由于评价对象的复杂性，层面的多样性，单一的指标很难体现评价对象的整体情况，因此综合评价法更有其优势。
（一）层次分析法。它是把一个复杂问题分解成若干组成因素，并按支配关系形成层次结构，然后应用两两比较的方法确定各因素（包括指标和方案）的相对重要性，然后计算各因素的权重，并以此为基础实现对不同决策方案的排序。层次分析法简便、灵活而又实用，是一种系统化、层次化的分析方法，它为复杂评价问题的决策和排序提供了一种简洁实用的建模方法。
（二）模糊评价法。它是通过建立隶属函数、模糊关系矩阵，可以较好地解决系统评价中由于对象概念本身不够清晰引起的模糊性问题（如事物类属间的不清晰性，评价专家认识上的模糊性等），是对涉及模糊因素的对象进行系统评价的有力工具。它的基本思想是：应用模糊关系合成的原理，根据多个因素对被评价对象本身存在的性态或类属上的亦此亦彼性，从数量上对其所属程度给予刻画和描述。该方法适用于样本数据中含大量模糊指标的现象的评价，不足之处是评价过程本身不能解决评价指标间相关造成的评价信息重复问题。
（三）主成分分析法。它是利用多元统计分析及线性代数的知识，把多指标转化为少数几个综合指标的一种数理统计方法。其基本思想是用少数几个彼此不相关的新指标代替原来为数较多的彼此有一定相关关系的指标。同时又尽可能多地反映原来指标的信息量。作为一种定量分析方法，主成分分析克服了专家评价法、层次分析法等定性方法因受到人为因素的影响，夸大或降低某些指标的作用的弊端；消除评价指标之间的相关性；减少指标选择的工作量；采用信息量权数，有助于客观地反映样本间的现实关系。但由于同一被评价对象在不同样本集合中的均值和离散程度不同，所以这种方法综合评价结果不稳定。
（四）数据包络分析法。它是一种进行多目标决策的系统分析方法，特别适用于多输入多输出的复杂系统。DEA方法以相对效率概念为基础，以凸分析和线形规划为工具的一种评价方法，应用数学规划模型计算、比较决策单元之间的相对效率，对评价对象做出评价，它能充分考虑对于决策单元本身最优的投入产出方案，因而能够更理想地反映评价对象自身的信息和特点；同时对于评价复杂系统的多投入多产出分析具有独到之处，适用于多输出-多输入的有效性综合评价问题，在处理多输出-多输入的有效性评价方面具有绝对优势。DEA方法并不直接对数据进行综合评价，因此决策单元的最优效率指标与投入指标值及产出指标值的量纲选取无关，应用DEA方法建立模型前无须对数据进行无量纲化处理。
（作者单位：石家庄学院）
主要参考文献：
［1］张蕾.高校科研绩效评价方法研究与开发.南京理工大学，2010.
［2］刘莉.欧洲各国大学科研评价及其启示.高教管理，2005.
［3］陈敬全.科研评价方法与实证研究.武汉大学博士学位论文，2004. |
|
|
|
