当前位置:首页 >> 人物|观点 >> 正文
从影响因子到科学评价
发布时间:2016/8/25 15:07:00 点击数:631 

  最近汤森路透公司将旗下的知识产权和信息科技业务包括SCI(科学引文索引)转让给了Onex 和霸菱亚洲公司,即刻在国内引起轩然大波。虽然转让对SCI本身暂时不会有多大影响,但它却预示着科学领域某种重大变化。

  汤森路透的这一突然举措对深患“SCI综合症”的我国学术界来说犹如当头一棒。对很多学者来说,SCI就好比是自己的专业奋斗目标,失去了目标,就像失去了方向。国内无论是申报课题、学术评奖以及专业晋升都与此密切相关。

  这一事件让更多人警醒:SCI是否该走下神坛了?

  交大学者江晓原、穆蕴秋一针见血批评,认为“它制造出的学术评价体系,也几乎没有真正代表过学术科研的真实水平”,而且“对中国学术正造成极大伤害”。[1] 一方面国内学者的文章竞相投往国外核心期刊,另一方面国内研究机构和图书馆不惜高价买回这些数据库,不少机构对获得发表的作者给予高价奖励,如有的大学或研究所对在《自然》杂志上发表一篇论文给予高达二、三十万的奖励。

  其实,对影响因子的批评早就开始了。2002年,印度学者Bachhawat就提出了“影响因子综合征”(Impact Factor Syndrome)概念,与中国学者一样,印度的研究人员如果在《科学》或《自然》杂志上发文,也会得到奖金或加薪。[2] 也有学者将一心只想在国际知名期刊上发表论文的现象称为高被引综合症(high-impact-factor syndrome,HIFS)[3]。

  2007年11月欧洲科学编辑学会(EASE)发表声明,建议期刊影响因子只被用于或审慎用于衡量和比较整个期刊而不是单篇论文,更不能用于对研究者或研究项目的评价上。[4]

  为回应学术界对影响因子滥用的不满情绪,2012年12月美国细胞生物学学会年会期间,一些学术期刊的编辑和出版者提出反思科研评价问题,在此基础上形成了“旧金山宣言”(The San Francisco Declaration on Research Assessment,DORA),呼吁科学界停止使用期刊影响因子等期刊计量指标作为替代指标,来评价单个研究论文或学者个体的贡献,或者是作为聘用、晋升、资助等方面的依据。2013年5月,78个科学组织的155位科学家签署了这份宣言。2015年3月,由欧洲21个最知名的大学组成的欧洲研究型大学联盟(League of European Research Universities)声明支持该宣言。[5]

  2014年在荷兰莱顿召开的一次国际会议上,美国佐治亚理工学院教授西格斯(Diana Hicks)等提出了合理利用科学评价指标的七条原则,后来扩充为十条,并于2015年4月22日发表在《自然》杂志上,题目为“书目计量学:莱顿研究计量宣言”(Bibliometrics: The Leiden Manifesto for research metrics)。“莱顿宣言”的十条原则大致为:第一,量化评估应成为支撑质化的专家评估,而不是取而代之;第二,衡量绩效应基于机构、团队和个人的科研使命;第三,保护卓越的本地化的相关研究;第四,保持数据采集和分析过程的公开、透明和简单;第五,允许被评估者验证数据和分析;第六,考虑发表和引用的学科差异;第七,对个人研究的评价应基于其综合作品的质性评价;第八,应避免评价指标的不当的具体性和虚假的精确性;第九,识别认清评价指标对科研系统的影响;第十,定期审查评价指标并加以改进。

  两者相比,“旧金山宣言”对计量指标的批评丝毫不留余地,而“莱顿宣言”则更全面、更平衡、更审慎一些。该宣言认为,不是要取消量化评价,而是克服量化评价的不足,并与质化评价有机结合。所以就国际知识界来看,“莱顿宣言”似乎更容易令人接受一些。[6]

  计量指标是否就一无是处了呢?

  首先,计量指标是随着计算技术发展而兴起的,现在已经发展到各式各样的计量指标体系,科学计量学(Scientometrics)、替代计量学(Altmetrics)以及语义计量学(Semantometrics)等应运而生,丰富了科学计量的手段。而且信息化尤其是大数据的发展为科学计量提供了无限的可能性,可以肯定地说计量指标有着良好的发展前景。其次,计量方式可以弥补质化评估的不足。英国高等教育资助理事会(Higher Education Funding Council:HEFCE)近年来积极推进高校科研评估改革,对实施了多年以同行评议为中心的RAE(The Research Assessment Exercise,研究评价实践)体系进行调整,并采取一系列措施,致力于建设以科学计量为中心的REF(The Research Excellence Framework,卓越研究框架)体系。[7] 但HEFCE并没有全盘接受过去的计量方法,而是尽量弥补其不足。该机构通过调研认为,一个可信赖的计量方法应具有如下原则:即1. 鲁棒性(robustness),确保数据优良规整;2. 审慎性(humility),定性与定量评价有机结合;3. 透明性(transparency),保持评价过程的透明性;4. 多样性(diversity),按不同领域和专业适用不同的指标体系;5. 反身性(reflexivity),对整个评价系统的效果及潜在效果预判,并对指标作相应更新。[8]

  国际电气和电子工程师协会(IEEE)于2013年11月也呼吁慎用计量性指标,并建议采用多个可互补、更综合且更平衡的评价指标。[9]

  同行评议是质性评价中最常用的一种。《莱顿宣言》强调,量化指标是辅助性的,同行评价的质性评价应是第一位、主导性的。HEFCE在其报告中提出,同行评议虽在公平性、透明性以及成本方面有其不足,但由于其针对性、专业性强,误判率较低,在缺乏跨领域、全范围评价体系的情况下,目前还没有能替代同行评议作用的指标体系。[10] 为了弥补同行评议在公平性和透明性上的不足,eLife(一种开放获取期刊)就采用由编辑与评议者共同参与评价并联合给被评论文发布评语的机制,据说在该杂志上发表比《自然》或《细胞学》刊物不仅速度快,而且影响因子也更高。[11]

  IEEE在其声明中也特别强调,同行评议仍是评价研究项目和科研工作者学术价值的主要方法。[12] 为了宣传和推广同行评议的价值,成立于2010年的ORCID(Open Researcher and Contributor ID,开放科研人员与贡献者的身份识别码)从2015年起发起“同行评议周”(Peer Review Week)。活动的发起者哈克(Laure Haak)认为,评议者虽花大量的时间和精力阅读并书写评语,但他们对学术的贡献并没有引起社会应有的关注,举办同行评议周就是为了增加社会对评议工作的认知度。[13]2016年“同行评议周”的时间确定为9月19日至25日,通过“认可评议”(Recognition for Review)这一主题,唤起人们对同行评议的关注。主办者认为,同行评议不仅应用于杂志论文,而且可扩展到研究资助、国际会议、专业晋升等各个方面。

  从国际科学评估的发展趋势来看,量化指标将继续存在,今后将朝综合和深化两个方向发展。所谓综合是强调量化指标不是万能的,在评估对象超越其范围的时候,应与其他指标体系复合使用,并与同行评议等质化评估方式有效结合;而所谓深化,是指探索建立更为全面、科学的科学评估体系,最近有人尝试用语义计量(Semantometrics)的方式进行评估,通过深入内容的语义连接,将不同文献之间的相似内容进行比较和关联,以此引向新的科学发现。[14]

  无论是量化指标也好,质化指标也好,都需要与时俱进,适应互联网时代的发展。知识是流动的,而传统的纸质著作或论文是一锤定终身的,除非获得再版的机会,出版如此,同行评议亦如此。有学者认为,科学是一个演进的过程,真理也是相对的,并建议让同行评议就像维基百科一样成为一个连续的过程。[15]

  目前我国已意识到这方面的问题,也在探索科学评估体系的改革。改变过去主要看核心期刊、引文索引的引用率的以“简单化的定量评价”为主导的评价体系,尤其在缺乏科学有效评估机制的人文社科成果评价领域更是如此。[16] 但这一步伐仍需加快。同时,也要采取更为积极的姿态,探索从根本上、源头上克服科学评价短板的问题。大数据、开放获取以及开放科学等是改变传统学术范式的新途径,尤其是开放科学的发展将有力地推动研究成果的开放和研究数据的再利用。[17] 这些新举措和新进展不仅有利于提升科学评价的质量,也有利于丰富科学评价的手段。

  (参考文献略)

  (来源:吴建中/建中读书)


(文章来自上海大学图书馆方向明)