破除SCI至上后,我们应该立什么

破除SCI至上后,我们应该立什么?

以下文章来源于RFMRILab ,作者严超赣
RFMRILab Welcome to the R-fMRI Lab!
最近,多个国家部委联合发文,要求破除科技评价中“唯论文”不良导向,建立正确合理的中国科研评价体系。破除SCI至上后,我们应该立什么?国际学者针对科研评价本身也展开了系列科学研究,取得的相关成果值得我们深入阅读思考。编者与相关作者进行了联系,获得了作者的翻译发布授权,将把一系列文章翻译成中文,供科研单位、科研工作者和科研管理人员参考。本系列的第一篇论文为David Moher博士等人在PLOS Biology上发表的《Assessing scientists for hiring, promotion, and tenure》(已获得Moher博士书面授权)。该文综述了科研评价领域来自不同研究团队、基金资助者、期刊等有关方面对科研评价体系改革的建议,并总结出六项原则。特别值得一提的是,建议读者不要跳过本文末的两张表格,其内容非常具有参考价值。科研评价:科研人员的聘用、晋升和终身职位授予
作者:David Moher1,2*, Florian Naudet2,3, Ioana A. Cristea2,4, Frank Miedema5, John P.A. Ioannidis2,6,7,8,9, Steven N. Goodman2,6,7
作者单位:1 加拿大渥太华医院研究所临床流行病学项目新闻中心, 2 美国加利福尼亚斯坦福大学元研究创新中心(METRICS), 3 法国雷恩第一大学CHU临床研究中心INSERM CIC-P 1414, 4 罗马尼亚Babe?-Bolyai大学临床心理学和心理治疗系, 5 荷兰乌得勒支大学乌得勒支医疗中心执行董事会, 6 美国加利福尼亚斯坦福大学医学系, 7 美国加利福尼亚斯坦福大学健康研究和政策系, 8 美国加利福尼亚斯坦福大学生物医学数据科学系, 9 美国加利福尼亚斯坦福大学统计系
原文出处:Moher, D., Naudet, F., Cristea, I.A., Miedema, F., Ioannidis, J.P.A., Goodman, S.N. (2018). Assessing scientists for hiring, promotion, and tenure. PLoS Biol, 16(3), e2004089, doi:10.1371/journal.pbio.2004089.
编译:严超赣、李雪莹、王瑀薇
摘要
科研评价体系对科研人员的聘用、晋升和终身职位的授予至关重要。越来越多的学术领袖认为,现行的科研人员考核奖励制度与社会需求不符,也未考虑造成科学出版物可重复性危机和质量欠佳的影响因素。为解决这一问题,特别是在临床和生命科学领域,2017年1月,我们在华盛顿召开了专家小组研讨会,共由22名专家组成,其中涉及学术领袖,资助者和科学家。我们进行了文献筛查,确定了22份评价现行激励制度的关键文件作为会议背景。从每份文件中,我们提取出的内容包括:作者认为当前科研评价存在哪些问题,维持现状的可能后果以及相关解决方案的细节。结果表用作参会者讨论的引子,并由此提出评价科研人员及其研究的六项原则及其内涵。我们希望本文内容将可以成为改进现行科研评价体系、建立科研评价最优措施的基础。
引言
科研评价是决定科研人员的聘用、晋升和终身职位授予的关键。而无论是对项目基金申请人,职称候选人还是评估委员会来说,构建、撰写、展示、评估、确定优先顺序和筛选履历(CV)都是一项浩大费时的工程。相关机构需要在有限的环境中做出决定(例如,有限的时间和预算)。许多科研评价把易于测量的指标作为主要评价依据,例如已获项目基金的数目和金额、以及发表论文的数量与被引量。但是,即使对于易于测量的方面,用于评估和决策的标准也会因环境和机构而异,即使在同一机构内,也不一定能始终如一地应用。此外,部分机构所使用的评价指标存在问题已是众所周知[1]。例如,已有大量文献指出评估论文影响力的期刊影响因子(JIF)指标所存在的问题,并提供了替代方法,但许多机构仍然使用该指标作为评价科研人员发表的论文质量或决定薪资待遇的依据[2]。顶尖学府院所的科研教职人员聘用和晋升要求受聘者曾在高影响因子的期刊上发表过论文(例如Nature,Science,Cell),这已是普遍存在的事实而不仅仅是在博士后中流传的神话故事[3-6]。期刊影响因子的80%–90%仅受到期刊上发表的10%–20%的文章的影响,在这种情况下强调JIF是不合理的[7,8]。更重要的是,研究其他方面的质量和影响,由于没有自动的量化指标,就被忽略了。例如,科研人员所进行的能使其研究及所属大学的开放程度和影响力得以提升的数据共享或教育等相关实践活动,也应在科研工作者的评价过程中得到体现[9,10]。很少有科研评价工作会关注研究人员的科学实践是好的实践还是坏的实践, 或是研究人员为社会做出了什么贡献(而这却是大多数应用研究的最终目标)。尽管在所有学科领域都出现过已发表的研究成果存在实验数据存疑[11]或可重复性问题 [12-13],但在应用科学和生命科学中,研究成果的可重复性或生产率缺乏系统评估。对科研成果的报告不够完整和透明加剧了这一情况[14]。太多研究未得到发表或不可被利益相关方获得[15]。采用更为恰当的激励和奖励措施可能有助于改善临床医学和生命科学领域的现状及其在各层面上的影响,提升其社会价值。我们着手确定了在改善对“生命和临床”领域科研工作者评价体系方面曾被提出的建议,广泛的利益相关者如何看待和评价这些提议,以及指出哪些科研人员评价的新办法应予以考虑采用。方法
为实现这一目标,我们于2017年1月在华盛顿特区召开了为期1天的专家小组研讨会。采用雪球技术[16] (即,一种用于筛选文章的迭代方法;此过程通常从一小部分符合纳入标准的文章开始;请参阅下文)确定评价科研人员的既有观点和建议,根据文献确认其他工作组正在撰写、提议和实施何种科研评价方案。我们还搜索了斯坦福大学元研究创新中心(METRICS)的研究摘要,并与相关专家取得了联系。正式搜索难以实现(例如exp*Reward /(7408); reward.ti,kw (9708), incentive*.ti,kw. (5078)),并会导致大量搜索记录,其敏感性和召回率都很差。因此,我们未对相关文章进行系统性综述。文献收录依据多条标准(文章主要关注点必须是文献计量学、科研评价和/或科研人员管理,并且必须是英文文献)。本研究小组中两人参与筛选候选文献,且每篇候选文献至少由三人审查讨论,以决定是否将其纳入。从最终收录的每篇文献中,我们提取了以下信息:作者,文章/报告的名称及其地理位置,作者对科研评价问题的陈述角度,作者对维持当前评价方案可能产生后果的描述,文中提出的解决方案,以及我们对该方案可能存在的局限性的讨论。在会议召开之前,我们向参会者分享了收录文献信息结果表(早期版本表1)及部分相关出版物,希望以此作为会议参考资料并激发参会者对该话题的思考。我们向23位学术领袖发出了会议邀请:医药科学系主任(例如牛津大学),公共基础事业基金组织(例如国立卫生研究院[NIH]),健康政策组织(例如比利时科学政策欧洲委员会)以及来自多国的个人科学家们。参会者的选择依据是其对会议主题的学术贡献程度及其能否代表主要利益相关群体。最终22人能够参加本次会议(有关参与者及其所属组织的完整列表,请参阅S1表)。在会议之前,向所有与会人员发送了收录文献的结果综述表格(参见表1)和一些相关遴选资料。会议首先基于表1,就科研评价有关问题进行了初步讨论。随后讨论了可能的问题解决方案、科研人员职务职称评聘新方法以及实施策略。所有讨论内容都由五位作者共同记录、整理成稿和最终审阅,并就科研评价问题得出了六个通用原则。该总结已与所有参会者共享,以进行补充。 结果
表1中给出了21篇文章的列表[11,17-36]。从中可以看出在过去5年间(出版物年份:2012年-2017年1月),人们愈发关注科研评价。来自美国和欧洲的文章数量几乎相等(其中一篇也来自加拿大)。我们将文章分为四类:大型工作组成果(例如Leiden Manifesto [20]),小型工作组成果或个人工作成果(例如Ioannidis和Khoury的高产出、高品质、可重复、可共享、可转化[PQRST]提案[ 29]);期刊工作成果(例如,《自然》[32])以及新型评价指标建议(例如期刊引文分布[34])。为了以相近的表述方式描述科研工作及科研人员评价的不同问题,我们对收录的所有文件进行了转述。当前科研工作存在的问题多种多样:没有提出正确的科学问题;研究计划和实施过程不恰当;研究完成后结果仍然不公开或有选择地报告;缺乏可重复性,也缺乏反映科研人员考核奖励情况的证据。有几篇文章指出研究成果与社会需求之间存在脱节(即生产力效益转化和社会增值缺乏)。一些文章中主旨相通的观点,我们进行了统一的表述:“如果能够明确地奖励那些遵循已知的有益于提高研究质量的准则行事的科研工作者,这对科研是有所裨益的。”。最后,许多文章认为JIF不足以作为评价科研人员影响力的指标[19,20,29]。尽管有许多反对的声音,JIF依旧经常被许多学术机构[4,5,37]用于科研人员评价。如果不对当前的科研评价体系做出修改,可能会导致这种跟风行为的持续,助长不良的社会之风[25,38]。思考如何改善现行科研评价体系可以被看作当代学术领袖们为后继科研工作者发起的一场进步运动。关于科研评价的大型工作组提议
本次会议收录文章包含代表不同的利益相关者团体九个大型工作组的成果 [11,17-24](见表1)。莱顿宣言(the Leiden Manifesto)[20]和研究评估宣言(the Declaration on Research Assessment, DORA)[19]都是在学术会议上制定的面向国际的工作成果。而Metric Tide [21]受英国政府委托(独立运营),更侧重于英国学术界。莱顿宣言的作者认为,科研评价工作应积极支持科学发展及其与社会的互动,并提出10项最佳举措,例如,应优先对科研人员进行定性评估,同时将多指标的定量评估作为支持依据。已有几所大学近期表示将采用这些措施[39]。旧金山研究评估宣言(DORA)体系也在迅速发展[40-42],它最初是由编辑和出版商开发的,并且几乎完全专注于避免滥用JIF。DORA描述了17种具体措施,以减少四个利益相关者团体(科学家、资助者、研究机构和出版商)对JIF的依赖。并建议关注科研人员科研成果的内容、代表作被引情况,并使用多种指标评价其影响力。DORA指出在循证医学中,系统的综述是比单个研究更有力的证据,这一对引用和系统性综述的说明可能会进一步促成医学领域对它的承认和采用。美国国家科学院(the National Academy of Sciences)提议,对科研人员的评价应关注其研究工作的影响,而非其工作量[22]。在英国卓越研究体系(the UK’s Research Excellence Framework, REF)[24]中,研究的影响力也作为重要的新科研评价指标提出。该评价协议要求英国高等教育机构及其教职员工在三个方面(产出,影响和环境)进行自我科研评价,范围涵盖36个学科。评价结果与面向英国各所大学的每年约十亿英镑(GBPs)资金挂钩,其中校内科研人员研究工作的影响占比20%(下一轮将增加到25%)。在科研评价体系中纳入影响力评价(例如,通过案例研究)在整个英国科研界引发了大量讨论[43]。有观点认为该措施花费较高,会加剧大学间的竞争而削弱合作且无法促进创新,在科研评价中是多余的[44]。由于与国家“卓越研究框架”有关,Metric Tide在英国也具有一定影响力,其中提出了20条有关科研评估的建议[21]。Metric Tide建议大学应该透明地进行科研评价,并强调文献计量学在评价中的作用,这也是许多相关工作的共同主题(例如[19,20])。关于科研评价的小型工作组或个人提议
会议收录的文献资料包含六个较小团体或个人提案[25-30](见表1)。例如,Mazumdar及其同事对奖励生物统计学家在科研团队中贡献的重要性进行了探讨[28]。他们提出了一个框架,可对生物统计学家独特的科学贡献进行独立的评估,例如资金申请和/或研究协议设计,以及教学和服务贡献,包括在资金申请过程中的提供的指导。Ioannidis和Khoury提出了围绕“ PQRST”的科研人员评价方法,PQRST指“产出率(Productivity)”,“质量(Quality)”,“可重复性(Reproducibility)”,“共享(Sharing)”和“转化(Translation)”[29]。Benedictus和Miedema描述了荷兰乌得勒支医疗中心(the Utrecht Medical Centre)目前正在使用的科研评价方法[25]。乌特勒支科研评价系统定义并引入了一系列指标作为对科研项目和研究团队的评价依据,这些指标综合了经典的文献计量学绩效指标和过程指标。这些评价指标囊括了对领导力、文化、团队合作、良好行为、公民职责以及在确定科学问题、实验方法时与社会利益相关者互动情况的评价,以及对研究进程及其结果的评价。后者包含半混合模式的评审程序,其中包含学术业内的同行评估和业外的利益相关者评估。新的科研人员评估模式得到了类似多学科研究项目中半定性评估方法的补充。从科学政策的角度来看,莱顿的科学技术研究中心(the Centre for Science and Technology Studies, CSTS)目前正在对机构相关政策进行评估,探讨科研评价如何重塑学术知识生产实践。毫不令人感到意外的是大型工作组和小组及个人的许多提议存在重叠。例如,莱顿工作组提出的第4项建议“保持数据收集和分析过程的公开、透明和简单”类似于DORA的第11项建议(共17项)“提供全部评价指标计算中用到的数据和方法,保持公开和透明”。一些工作组将评价工具纳入其解决方案。ACUMEN项目组(the Academic Careers Understood through Measurement and Norms group, ACUMEN)建立了网页形式的档案系统[17],而Mazumdar工作组创建了清单[28]。不同工作组面向不同的利益相关者群体。纳菲尔德生物伦理委员会(the Nuffield Council on Bioethics)的工作主要针对资助者、研究机构、出版商和编辑、科学家以及学术相关的社会和专业机构[23]。与之相似的还有REWARD联盟(the Reduce research Waste And Reward Diligence Alliance, REWARD Alliance),该联盟还将监管机构作为其目标群体之一[11]。大多数建议都并未具体说明科研评价过程中应如何切实实施这些提议、存在哪些障碍以及如何克服。在与措施推行有关的讨论中,若能有行为科学家和实践科学家加入将会更有帮助。讽刺的是,大多数提议都没有讨论是否以及如何评估推行这些措施将会产生的影响。期刊提案
在减少科研评价中对文献计量学的依赖方面,期刊的工作并不突出。他们一直专注于(甚至痴迷)JIF的推广。但是,一些期刊开始承认JIF可能存在局限性。例如,《PLOS》期刊不再宣传其JIF [45]。BioMed Central和Springer Open已签署DORA,并做出声明:“我们签署DORA,支持对科研成果评估方式进行改进,承诺‘减少出于推广/宣传目的对期刊影响因子的强调,仅在基于期刊的指标说明中显示该影响因子。’” [46]。我们收录了两项期刊提案[31,32]。《自然》提出拓宽文献计量学的使用方法,以进行期刊推广,并已在某种程度上实施了该提议 [32]。我们认为合理的短期目标是期望期刊能够为科研人员提供更多潜在可信的方式,让科研人员在职务职称评价中使用。《eLife》提出了超越JIF内涵的一系列指标,如社交和印刷媒体影响指数,用以完善科研人员评估[31]。期刊还可以成为科学家间促进最佳出版实践的工具,例如数据共享,而学术机构可关注对进行类似实践的科研人员进行奖励,而非仅看重科研人员论文发表数量。研究报告偏差是普遍存在的,包括出版偏见和选择性结果报告[14]。部分期刊,特别是心理学期刊,尽管一直受到一些批评,但已经开始使用数字标记系统,以促进数据共享[47]。《Psychological Science》杂志对数字标记能否促进数据共享进行了评估[48]。基于科研人员是否坚持这类良好的发表实践,这些标记未来可能可以用于对科研人员的评价。截至2017年中期,以心理学期刊为主体的52家期刊,已同意在协议阶段审阅并接受在专属注册处登记了“注册报告”的文章。如果这项创新性措施取得了成功,和临床试验和系统审查情况一样,科研评价组织实施单位将能够在几个专属注册处之一监测研究方案的及时登记情况,并据此对科研人员进行考核奖励。关于改善科研评价量化指标的提议
在内涵广阔且迅速发展的科学计量学领域,人们为改善科研评价量化指标付出了巨大努力。我们收录了四项提议[33–36]。包括期刊编辑(《Nature》、《eLife》、《Science》、《EMBO》、《PLOS》、《The Royal Society》),科学计量学家和开放科学的拥护者在内组成的一个有影响力的团体建议使用期刊引文分布代替JIF [36]。这使读者可以检测文章引用分布形态和变异情况。类似地,为解决JIF存在的问题,也有研究提出相对引用率(the relative citation ratio, RCR)或每篇论文的来源标准化影响(Source Normalized Impact per Paper, SNIP),该指标通过内容领域调整应用指标的权重[19]。多项提议已经认识到需要分领域建立评价标准[20,21]。然而,不同标准化方法的价值还需要进一步研究[50],同时有观点对相对引用率指标提出批评[51]。当前有数十种引用指标可以单独或组合使用[52]。每种都各有优劣,且不排除“玩弄指标”的可能性(即受到研究者操纵)。如前所述,除引用指标外,对测量研究实践及其影响力的其他特征,开发相应标准化指标(例如,替代指标)的关注度也日益上升。例如,可通过Twitter,Facebook和舆论媒介了解科研成果对患者群体的普及度和影响。但是,这些替代指标也可能受到操纵,且某一科研成果在社交媒体中的流行程度可能与其科学、临床和/或社会效益无关。尽管存在局限性,但研究者依旧据此提出“S指标”(S-index)来评价科研人员数据共享情况[36](请参见表1)。科研人员评价原则
本次会议讨论中提出了六项通用原则,每项原则都有其研究内涵和政策内涵(见表2),其中几项前文已提到过[53]。第一项原则是学术的重要目标是支撑服务社会需求。评价者要进行广泛深入的社会调研,聚焦能够适应社会需求并具有一定影响力的研究。该原则的基础是社会中的学术机构如何看待21世纪的学术,以及患者、公众和社会行为的相关性[10]。如果晋升和长聘评审委员会不对有益社会的科研行为做出奖励,或不对削弱科研社会效益的行为做出惩罚,就无法很好地实现这一原则[25]。第二项原则是科研人员评价应该基于可以激励最佳出版实践的证据和指标。本次会议提出并讨论了多个新的“靠谱的科研人员评价指标”(responsible indicators for assessing scientists’, RIAS’s)。其中囊括了注册评估(包括注册报告)、研究成果共享、研究报告可重复性、对同行评审的贡献、由多组织(例如Altmetric.com)参与评估的替代指标(例如,社交媒体和印刷媒体对研究的关注程度);以及通过Impact Story平台评估的数据集和软件共享情况[54])。此类指标在测量时应做到与当前的出版和引文工具同样客观、准确。一些评价指标,例如来自与研究项目有关的同事和利益相关者的推荐信,虽然不能转换为客观的量化指标,但仍然可以对其价值进行正式调查[55]。与任何新措施一样,RIAS需要就以下方面进行考量:指标收集难易程度,在不同领域和机构中的使用频率和分布,有益于其实施的体系类型,其在评估和规范研究者行为的有效性以及潜在被操纵的程度等。不同的机构可以并且应该尝试不同的RIAS组合,以评估其可行性和实用性。最终,如果在核心领域达成足够的共识,则可以将机构研究经费的发放与上述指标系列挂钩,这也是促进性别平等的雅典娜科学机构(Athena Scientific Women’s Academic Network, SWAN,旨在承认并鼓励女性在科学、科技、工程等多个领域为高等教育和学术研究作出的杰出贡献)在英国大获成功的基础[56]。实施RIAS计划的障碍之一是它是否会影响当前的大学排名(例如,《泰晤士高等教育》世界大学排名)。此类排名主要以出版物数量来衡量学府的科研生产力。参会者认为, RIAS评价指标可以被纳入大学排名体系或作为其替代方案。但是,该排名体系本身存在问题;莱顿大学科学与技术研究中心最近提出了合理使用此类排名体系的10条原则[57]。第三项原则是,无论结果是否理想,科学研究都应全面透明地进行公开。学术机构可以在人员晋升过程中实施相应政策,审查所有研究的完整报告,和/或对全部或部分未公开的研究(特别是必须注册的临床试验)进行处罚。对于非临床研究,参会者讨论了对其他类型开放性进行奖励的必要性,例如共享研究中用到的数据集、材料、软件和方法,并在必要时对其探索性质给予明确认可[58]。最后,鉴于科学研究的合作性不断增强,找到适当办法对团队合作做出奖励至关重要,而文献计量学指标无法对此做出正确评价。例如,部分职务职称评聘委员会进行评价时极大地忽略了非第一或通讯作者的工作[4]。引用指标又无法就多名共同作者的情况进行校正,因此当共同作者较多时,排序靠后的作者会得到不恰当的高被引分数。第四项原则与开放性有关——促进他人对研究数据和结果进行传播和使用。研究人员可以通过各种方式共享其数据、操作流程和代码,例如在开放访问数据库中进行共享。部分期刊认可并实行透明度和开放度提升(the transparency and openness promotion, TOP)准则,对此提供支持[59]。对大学进行排名的评估工作组也可以通过共享其基础评估依据以支持该原则。第五项原则要求对科学评价本身进行深入研究,以引导制定新的评价标准并对现行标准的优劣做出评估。各类基金项目组织是此类调查研究的资助来源之一,其中已有部分组织开始实行该原则,尤其是在欧洲(例如,荷兰科学研究组织)。最后一项原则涉及奖励高风险的创新性研究,这类研究通常难以在早期获得成功和发表。年轻研究人员尽早获得自己项目基金的需求通常会导致保守主义,对可能正处于一生中最具创造力时期的青年科研人员来说,这不利于他们进行开创性的工作。改变科研评价体系以考核奖励这类工作,可能会鼓励真正有创新性的研究。某些形式的研究也可以在有限的资金条件下开展[60]。实施引入任何原则或新思想的一个挑战是如何最好地实施它们。Trials Tracker工具[61]使来自世界各地的机构(超过30项试验项目)可以监测其试验报告。尽管该工具存在局限性[62],但其使用门槛较低,能够为审核和反馈提供简单易行的开端。职称职务评聘委员会可以将这些数据作为年度教师评价的一部分。他们也可以要求科研人员在个人简历中纳入相关注册信息,包括注册表名称和注册编号、是否参加了期刊的注册报告计划,以及已完成和已发表研究的引用情况。对于每项创新性工作而言,从实证研究中收集证据,以评估它是否可以带来更好的结果十分重要。参会者还讨论了为了奖励优秀工作,评价体系的严格执行不应以扼杀旨在理解生物过程的创新型基础研究(“蓝天”研究)为代价。未来展望
当前的科研评价体系激励科学创新,但如果我们想提高研究的可重复性,就需要找到对关注此类工作的科研人员进行激励的办法[63-65]。若有科研人员发现了已发表成果中的分析错误,并与作者合作纠正错误,则需要对其做出的工作予以认可。这对原作者、初始研究参与者、发表研究的期刊、相关领域和社会都有所裨益。原论文作者可以文件形式,例如影响力函,证明其为研究可重复性事业所做的努力和贡献,该类文件也可以被包含在评估依据中。高质量的实践指南是基于实证的,通常来说系统审查是其基石之一。在进行科研评价时,我们可能需要开发类似的基于实证的方法。尽管受到了一些批评,但英国的REF朝该方向迈进了一步[66,67]。指标多种多样且令人困惑,机构进行科研评价时可以选择具有实证基础并得到知名组织认可的指标:受NIH赞助开发的RCR指标,由莱顿大学CSTS开发的SNIP。无论采用哪种方法,都必须有证据证明评价指标的准确性、有效性和影响力。科研评价的最佳方法确定之后,方法的推广普及又是一座大山[68]。这可能最终取决于机构员工主体的价值取向。资历较浅的员工可能会非常重视出版物的开放获取[69]。如果开放获取成为RIAS指标的一部分[70]并纳入科研人员评价体系,那么该机构将需要支付开放获取费用。而若要实施表2中探讨的政策,则需要领导和高级科研人员的坚定支持。最后,多方利益相关者的目标若能达成一致,六项原则中的某些原则的实施将会容易许多。尽管目前正在汇编,但非研究人员很难获得机构职称职务评聘委员会的评价准则[71]。如果机构能够提供这些信息,可以以此类信息来衡量评估指标变化的基线,并传播机构的创新性评价形式。我们还呼吁各机构审查自己的奖励及晋升措施,以了解其所采用的评价指标是如何操作定义和实施的,并考察评价标准(如只数第一作者和通讯作者论文篇数)会产生什么样的影响。资助机构也可以公开其面对拨款申请时评估研究者的标准以供参考。无论是在地方还是国家层面实施,评价标准的变更都应完整记录在案并进行公开。机构若要对其职务职称评聘及人员评价标准进行变更,应将评估其效果作为实施过程的一部分。使用实证性方法进行的评价很可能会提供最有效的结果,并具有更高的概括性。阶梯式楔形设计[72]或中断的时间序列[73]可能适用于评估单一或多部门评价委员会所采用的科研评价新标准,也可用于审查与反馈。这些数据可以为新评价体系的开发提供信息[74]。一些基金会已设立项目支持针对研究本身进行的研究。荷兰医学研究理事会(the Dutch Medical Research Council)已建立了名为“可靠的的研究实践(Responsible Research Practices’)”的基金,并于近期资助了八项研究。英国国家卫生研究院(NIHR)的新任负责人马克·泰勒(Mark Taylor)采取的办法核心在于“……为患者提供更多工具以帮助塑造研究的未来和患者自己的未来[75]”。资助此类研究(即对研究的研究)的资助者队伍的壮大,会强有力地向科研人员和研究机构传达他们的价值取向。系统性回顾的结果(包括其他领域,例如工程)可能为我们报告的内容提供更多信息,但我们并未完成这样的回顾。文中提出的原则并不全面,它们反映的是参会者之间的讨论。目前,科研评价领域还不成体系,证据基础不均衡,某些主题(例如科学计量学)有大量研究发表,而在其他主题上则证据很少。随着该领域的发展,我们希望其能够得到更强大的数据支持以帮助决策。表2中的研究意义的概括可以视作一个为提供此类证据投入更多(资金、精力等)的起点。但是,在开发和评估新的科研评价指标时,它可能会落入古德哈特定律(Goodhart’s law)的陷阱[76](即,一项指标一旦成为优化目标,将失去其测量效度);个人和机构针对这些评价指标的优化所造成的非预期效应需要得到密切关注。科研评价制度反映了我们在科学事业中最为看重——或不看重——的方面,并强有力地影响着科研人员的行为。扩大值得认可和奖励的学术活动的范围可能是一个缓慢且不断反复的过程。本文提出的原则可以为这一变革提供一份路线图。尽管资助机构、期刊和监管机构的共同努力至关重要,但各个机构最终必须成为创新的试炼炉,并为其他机构做出榜样。围绕科研评价体系展开的一系列活动及其结果的监测机构将对未来科学的形态产生巨大的影响力。
参考文献
1. Hammarfelt B. Recognition and reward in the academy: valuing publication oeuvres in biomedicine, economics and history. Aslib J Inform Manag 2017; 69(5):607–23.2. Quan W, Chen B, Shu F. Publish Or Impoverish: An Investigation Of The Monetary Reward System Of Science In China (1999–2016).[Internet]. Available from:https://arxiv.org/ftp/arxiv/papers/1707/1707.01162.pdf. Last accessed: 22Feb2018.3. Harley D, Acord SK, Earl-Novell S, Lawrence S, King CJ. (2010). Assessing the Future Landscape of Scholarly Communication: An Exploration of Faculty Values and Needs in Seven Disciplines. [Internet] UC Berkeley: Center for Studies in Higher Education. Available from: https://cshe.berkeley.edu/publications/assessing-future-landscape-scholarly-communication-exploration-faculty-values-andneeds. Last accessed: 22Feb2018.4. Walker RL, Sykes L, Hemmelgarn BR, Quan H. Authors’ opinions on publication in relation to annual performance assessment. BMC Med Educ 2010 Mar 9; 10:21.https://doi.org/10.1186/1472-6920-10-21 PMID: 202148265. Tijdink JK, Schipper K, Bouter LM, Maclaine Pont P, de Jonge J, Smulders YM. How do scientists perceive the current publication culture? A qualitative focus group interview study among Dutch biomedical researchers. BMJ Open 2016; 6:e008681.https://doi.org/10.1136/bmjopen-2015-008681 PMID: 268887266. Sturmer S, Oeberst A, Trotschel R, Decker O. Early-career researchers’ perceptions of the prevalence of questionable research practices, potential causes, and open science. Soc Psychol 2017; 48(6): 365–371.7. Garfield E. The history and meaning of the journal impact factor. JAMA 2006; 295(1):90–3. https://doi. org/10.1001/jama.295.1.90 PMID: 163912218. Brembs B, Button K, Munafò M. Deep impact: unintended consequences of journal rank. Front Hum Neurosci 2013; 7:article291.9. Rouleau G. Open Science at an institutional level: an interview with Guy Rouleau. Genome Biol 2017 Jan 20; 18(1):14. https://doi.org/10.1186/s13059-017-1152-z PMID: 2810919310. McKiernan EC. Imagining the ‘open’ university: sharing to improve research and education. PLoS Biol 2017; 15(10):e1002614. https://doi.org/10.1371/journal.pbio.1002614 PMID: 2906514811. Kleinert S, Horton R. How should medical science change? Lancet 2014; 383:197–8 https://doi.org/10./S0140-6736(13)62678-1 PMID: 2441164912. Begley CG, Ellis LM. Drug development: raise standards for preclinical cancer research. Nature 2012; 483(7391):531–3. https://doi.org/10.1038/483531a PMID: 2246088013. Ioannidis JP. Acknowledging and overcoming nonreproducibility in basic and preclinical research. JAMA 2017; 317(10):1019–20. https://doi.org/10.1001/jama.2017.0549 PMID: 2819256514. Glasziou P, Altman DG, Bossuyt P, Boutron I, Clarke M, Julious S, et al. Reducing waste from incomplete or unusable reports of biomedical research. Lancet 2014; 383(9913):267–76.https://doi.org/10.1016/S0140-6736(13)62228-X PMID:2441164715. Chan A-W, Song F, Vickers A, Jefferson T, Dickersin K, G?tzsche PC, et al. Increasing value and reducing waste: addressing inaccessible research. Lancet 2014; 383(9913):257–66. https://doi.org/10.1016/S0140-6736(13)62296-5 PMID:2441165016. Heckathorn DD. Snowball versus respondent-driven sampling. Sociol Methodol 2011; 41(1): 355–366.https://doi.org/10.1111/j.1467-9531.2011.01244.x PMID:2222891617. Final report summary—ACUMEN (Academic careers understood through measurement and norms). [Internet] Community Research and Development Information Service. European Commission. Available from:http://cordis.europa.eu/result/rcn/157423_en.pdf. Last accessed: 22Feb2018.18. Amsterdam call for action on open science.[Internet] The Netherlands EU Presidency 2016. Available from: https://f-origin.hypotheses.org/wpcontent/blogs.dir/1244/files/2016/06/amsterdam-call-foraction-on-open-science.pdf. Last Accessed: 22Feb2018.19. American Society for Cell Biology. DORA. Declaration on Research Assessment. [Internet] Available from: http://www.ascb.org/dora/. Last accessed: 22Feb2018.20. Hicks D, Wouters P, Waltman L, de Rijcke S, Rafols I. Bibliometrics: The Leiden Manifesto for research metrics. Nature 2015; 520(7548):429–31. https://doi.org/10.1038/520429a PMID: 2590361121. Wilsdon J. The metric tide: Report of the independent review of the role of metrics in research assessment and management.[Internet] University of Sussex. 2015. Available from: blogs.lse.ac.uk/impactofsocialsciences/files/2015/07/2015_metrictide.pdf. Last accessed: 22Feb2018.22. Alberts B, Cicerone RJ, Fienberg SE, Kamb A, McNutt M, Nerem RM, et al. Scientific Integrity. Self-correction in science at work. Science 2015; 348(6242):14202.
https://doi.org/10.1126/science.aab3847 PMID: 26113701
点击阅读原文可获得本译稿的PDF版。(来源:RFMRILab。文章仅作分享之用,有任何意见和建议请联系邮箱:hrwx@cingta.com。)高校求职疑惑多多?
青塔人才帮你KO!
每日一问
类似专硕的非传统意义博士,在科研求职的时候会有限制吗?
(今年拟入读全日制的港澳DBA,毕业入高校或者研究院有限制吗?就是需要有五年管理工作经验的才能报读的那种,不是传统意义上的phd,类似专硕。)
○观点一:你这不是学术的方向啊
具体问题具体分析吧,科研院所也是千差万别的,核弹所估计不计较paper,学的人本来就少。要是石墨烯所呢,文豪那么多,工程博估计自己就压力山大了。现在某些系统的所,跟万达差不多,下面很多课题组自负盈亏,已经跟私企差不多了,没给企业带来“产品”的员工,私企老板会招聘。
○观点二:看成果
只要publication足够strong这都不是问题。
——
你也有问题想要求助?添加小编微信(cingtajob2)即可~

添加小编微信时,请备注“学校-专业-学历”,如:“北京大学-管理学-硕士”。
有任何疑问,欢迎在后台留言!

阅读原文

赞(0)
未经允许不得转载:第一SCI网 » 破除SCI至上后,我们应该立什么

评论 抢沙发

评论前必须登录!