胡志刚怎么把SCI改造成一个文献评价系统

胡志刚 | 怎么把SCI改造成一个文献评价系统?

012020年初,由《情报资料工作》牵头,联合《档案学通讯》等图情档学界实力刊物共同搭建的学术公开交流平台——“图情档青年学者工作坊”正式上线。
本期《情报资料工作》刊发的《基础理论视角下的科研评价思考》文章为工作坊正式运作以来的首篇成果。
文章汇集了南京大学李江教授,武汉大学张琳教授、中山大学侯剑华教授、大连理工胡志刚副教授以及浙江大学付慧真讲师五位优秀的青年学者有关学术评价的最新感悟与思考。

胡志刚

大连理工大学科学学与科技管理研究所副所长。
主要研究方向为全文引文分析、科技评价、科学知识图谱等。

怎么把“SCI”改造成一个文献评价系统?

近日,教育部、科技部发文批评了当前“SCI至上”的科技评价和奖励体系。熟悉科学计量学的人都知道,加菲尔德(Garfield E)博士创建SCI的初衷,是把它作为文献检索系统。而今天,SCI在国内科学界被误用,被作为一个文献评价系统,既非它所能,也非它所愿。不过,从某种意义上说,SCI的滥用一定程度上代表着广大科学家,对于定量评价体制的强烈诉求,因此,能不能借助一些新方法和新技术,对SCI进行一个系统的“改造”,使它成为一个靠谱一些的文献评价体系呢?我们尝试给出一些可能的方向。

1.补充引用语境信息,展现被引次数背后的引用动机

SCI之过,在过于简单。SCI数据库仅提供了一篇文章的被引次数和施引文献,而未具体列出引用的具体位置和上下文内容,这导致我们无法从评价的角度,判断施引者引用时的情感、强度和动机。事实上,引用动机多种多样,非常复杂。加菲尔德曾将引用分成了15种不同的动机[1];摩拉夫西克(Moravcsik M)等人则将引用分为五个维度[2],包括负面引用、敷衍引用、冗余引用等。不区分引用动机,单纯依靠被引次数,无异于鱼龙混珠、自欺欺人。

补充引用语境信息,即引用的位置和上下文,可以让区分引用行为和动机成为可能,从而更准确的进行评价和评判。其实,1960年代初,加菲尔德博士最初SCI的时候,原本是打算加上对于引用位置与语境的索引,但是他的一位物理学家朋友J. Lederberg劝阻了他,让他先做一个简单的版本,在之后的版本里再增加这些复杂的功能[3]。遗憾的是,后来直到加菲尔德博士2017年去世,这一设想也没有成为现实。
近年来,随着全文引文分析[4]和Open Citation[5]运动的兴起,已经开始出现基于引用位置[6]、引用强度[7]、引用内容[8]的引文索引系统。例如,在艾伦人工智能实验室(AI2)于2016年上线的Semantics Scholar网站中,不仅列出了引用时的章节、上下文,还可以自动判断出引用的强度,为我们开启一个更加开放的引用评价体系的新阶段。

2.公开论文审稿意见,让科学论文的评审过程更加透明

2017年,SCI大家庭中迎来了新的一员——Publons,这是一个专门发布论文评审信息的网站。自2012年创办至今,它已经记录了全球超过210万审稿人的评审信息,包括审稿数量、期刊分布、评审字数等——当然,如果期刊允许的话,Publons还可以公开具体的审稿意见。只是出于保护匿名评审的需要,大部分期刊目前都不支持这一点。

论文的审稿意见,可以看作是一篇论文所能获得的最早的第三方评价信息。相对于引用语境信息,审稿意见中包含着更纯粹的评价元素,如该论文的创新程度、研究深度、应用广度和不足之处。而且,由于审稿人通常具有更高的学术地位和科学洞察力,所以审稿意见的可靠性、公允性和参考价值都比较高。在不伤害匿名评审体系的前提下,适度的公开审稿意见,还可以增加评审过程的透明度[9],避免黑箱操作,这对于中国今天的期刊出版业具有格外积极的意义。

目前,只有PLOS子刊等少数期刊在经过论文作者同意的情况下,公开论文的审稿意见(包括主编终审意见、审稿人意见以及作者的修改与答复),并随论文一起发布。根据我们的不完全统计,实施近一年来(2019年5月12日迄今),大概只有十分之一左右的论文选择了公开审稿意见。显然,在通往评审过程的开放的道路上,科学家和期刊出版业还有很长的路要走[10]。

3.增加后评审功能,打造面向科学论文的“豆瓣”评价系统

豆瓣作为文学作品、影视作品的量化评分系统,已经在广大读者和影迷的心中具有很高的认可度和公信力。豆瓣评分体系采取的是通用的五星打分体系,支持撰写短评或长评,经过十多年的发展,已经拥有一个有着上亿用户的“大众评审团”。

对于科学作品来讲,能不能也打造一个类似于“豆瓣”的量化评价系统呢?我们知道,SCI系统不支持后评审功能,没有办法对文章进行打分和点评。与“豆瓣”网站功能最接近的是F1000系统。作为最著名的后评审系统[10]之一,F1000遴选了一个近8000位专家所组成的“精英评审团”,他们从科学论文的海洋里精选出极少数的优质论文,并进行评分。专家打分包括三个等级,即Exceptional(三星)、Very Good(二星)、Good(一星)。专家还可以根据研究内容从创新性、重要性、合理性、方法学等方面撰写评论,并将论文的贡献分为假说(Hypothesis)、新发现(New Finding)、技术进展(Technical Advance)、反驳(Refutation)等不同的类型。

还有一类“后评审”系统,不是从推荐的角度,而是从纠错的角度来运作。与Publons创建于同一年的PubPeer,就属于后者。它最初的目的是找出那些存在数据捏造或实验造假但仍侥幸得以录用的“漏网之鱼”。今天,PubPeer已经成为一个读者与作者之间进行交流和评论的论文互动平台,共同维护着科学世界的纯洁和美好。

参考文献:
[1] GARFIELD E. Can citation indexing be automated? 1965. National Bureau of Standards, Miscellaneous Publication 269, Washington, DC.
[2] MORAVCSIK M J, MURUGESAN P. SOME RESULTS ON FUNCTION AND QUALITY OF CITATIONS[J]. SOCIAL STUDIES OF SCIENCE, 1975,5(1): 86-92.
[3] SMALL H. A tribute to Eugene Garfield: Information innovator and idealist Obituary[J]. JOURNAL OF INFORMETRICS, 2017,11(3): 599-612.
[4]胡志刚. 全文引文分析方法与应用[D]. 大连理工大学, 2014.
[5] ISSI. Open citations: A letter from the scientometric community to scholarly publishers[Z]. 2017.
[6] MCCAIN K W, TURNER K. CITATION CONTEXT ANALYSIS AND AGING PATTERNS OF JOURNAL ARTICLES IN MOLECULAR-GENETICS[J]. SCIENTOMETRICS, 1989,17(1-2): 127-163.
[7] 胡志刚, 陈超美, 刘则渊, 等. 从基于引文到基于引用——一种统计引文总被引次数的新方法[J]. 图书情报工作, 2013,57(21): 5-10.
[8]耿树青, 杨建林. 基于引用情感的论文学术影响力评价方法研究[J]. 情报理论与实践, 2018,41(12): 93-98.
[9] WICHERTS J M. Peer Review Quality and Transparency of the Peer-Review Process in Open Access and Subscription Journals[J]. PLOS ONE, 2016,11(e01479131).
[10] WOLFRAM D, WANG P L, PARK H. Open Peer Review: The Current Landscape and Emerging Models[M]//Catalano G, Daraio C, Gregori M, et al. Proceedings of the International Conference on Scientometrics and Informetrics. LEUVEN: INT SOC SCIENTOMETRICS INFORMETRICS-ISSI, 2019:387-398.

图情档学界交流群公开招募了!

搭建学术交流平台,促进学术传播,人大复印报刊资料图情档系列刊官网公众号图情档学界高端学术交流群欢迎您的加入。
请联系小编微信(ID:chonger675341),申请好友主题“姓名 单位 职务”。

图情档学界
人大复印报刊资料图情档系列刊官方公众号
长按识别二维码关注我们

觉得好看请点这里

赞(0)
未经允许不得转载:第一SCI网 » 胡志刚怎么把SCI改造成一个文献评价系统

评论 抢沙发

评论前必须登录!