研究评估:减少研究者评估中的偏见

多拉举办的一个研讨会确定了一些减少招聘和融资决策偏差的方法。
内部生活188bet体育电竞
  • 视图775
  • 注解

安娜·赫奇(多拉)Veronique Kiermer(公共图书馆)Bernd Pulver(EMBO)公司,Erika Shugart(美国细胞生物学学会)斯蒂芬·库里(伦敦帝国理工学院)

介绍

招聘和资助决定通过制定研究议程直接影响学术优先事项。它们还通过影响科学工作者的多样性间接地确定优先事项,这反过来影响了研究人员选择问的问题。如果我们不小心给某些实验室以优惠待遇,出版网点或地理位置,我们可能会错过全球学术界提供的思想的广度和丰富性。

2013,在美国,只有18%的生物医学博士在研究生毕业后的6-10年内获得终身教师职位。(国家科学院,工程,和医学,二千零一十八)有了这些机会,不足为奇的是,在教师搜索的决策过程中投入了大量的精力。但是客观有效地衡量研究的影响和质量是困难的,尤其是当申请人数众多时。评估人员可能会无意识地使用快捷方式,例如将期刊名称解释为研究质量的代理。我们如何公平地评价研究人员,在某种程度上认识到他们的贡献的性质和他们对该职位的潜力,不会给评审者带来不必要的负担?

确定评估过程中我们可以提高招聘和筹资决策的质量和客观性的点,多拉在2018年12月在圣地亚哥举行的ASCB EMBO会议上主持了一次互动会议,题为“如何改进招聘和资助决策的研究评估”。30名参加者的背景和职业发展阶段各不相同,包括研究生,博士后,教授们,大学管理人员,资助者和出版商。

作为我们练习的基础,我们从美国和欧洲的机构收集了两份工作通知和两份赠款申请的一部分。参加者被要求在包含各种利益相关者的小组中合作,并就特定应用的材料提供建设性反馈。我们要求他们专门寻找可能促进有意识或无意识捷径的不必要信息,以及应包括在决策过程中的任何缺失信息。同时,本文还详细讨论了使用基于日志的度量作为评估工具的缺陷。(Seglen一千九百九十七公共科学图书馆医学编辑,二千零六艾德勒等人,二千零九Curry二千零一十八)我们渴望找出可能出现的任何其他类型的误导性捷径。我们还希望参加者探索在评估过程中,除了同行评议的文章之外,哪些方面和成果可能值得认识。

在这里,我们总结了当天的讨论。虽然不是所有参与者都同意每一点,这些建议举例说明了现有应用材料的微小变化如何能够改进我们评估研究人员的方法。

避免快捷方式

申请教职或助学金时,申请者通常被要求提供的第一件事就是他们的教育史,而审查者也看到了这一点。四个小组中有三个小组将机构名称和研究者谱系确定为可能影响评审者的事物,并将其用作评估研究质量的捷径,尤其是在选择的分类阶段。一个小组建议将学校名称从教育史上删除,而不是列出学位以及获得学位的国家。各国的加入是为了解释研究生培训的地域差异,尽管这也会带来偏见。大多数参与者认为,将这种偏见最小化的最实际方法是将教育史移至简历或申请的末尾。

一个小组指出,在一些国家,要求个人在申请书的同时提交一张照片,即使没有要求,一些申请人也会这样做。这并不奇怪,这种做法允许无意识的偏见潜入审查过程。删除照片对于机构来说是一个很容易的操作,但这可能还不够——性别和民族认同通常可以从一个人的名字中推断出来。为了进一步减少无意识偏见,应用程序可以匿名。这需要更多的努力,在分流阶段可能是最有效和最容易实现的,仅使用提交的文书进行判断时。

基于日志的度量,就像期刊影响因素(jif)一样,不要描述单个文章的质量,在评估研究质量时会导致评审者的偏见。尽管如此,许多研究人员显然认为这些指标可以给他们带来优势。教科文组织的工作人员在每个资助周期从他们长期奖学金计划收到的申请中删除了大量的期刊指标,尽管明确指示申请人不包括这些数字。这突出了一个事实,即文化变革不太可能来自一个机构的努力;更确切地说,需要广泛的行动。

申请人已发表的期刊名称也经常被用作研究质量和影响的捷径。要求申请人上传其关键论文的PDF文件也会有同样的效果,因为杂志的商标在再版上很显眼。一个小组建议用2-4句话的摘要替换书目中的期刊名称,该摘要描述了文章对其领域的进展以及申请人对工作的贡献。这将为审查人员提供更多的背景,并使其更容易衡量研究人员在协作研究项目中的作用,尤其是当他们被列为第二或中间作者时。

判断研究者贡献的另一种方法是采用贡献者角色分类法。(信用系统这是为了提供关于每个合作作者对已发表论文的贡献的更具体的信息。(艾伦等人,二千零一十九)一些出版商已经采用了这个系统,国家科学院正在其网页上跟踪信贷实施情况,作者科学贡献的透明度(TACSMcNutt等人,二千零一十八

行动中缺失

尽管同行评审的文章通常是当前评估实践的重点,研究人员以许多其他方式推动科学向前发展。一些与会者认为应该由评审员考虑的学术成果包括预印本,代码,协议,教学,导师制,以及学术和社区参与活动(见表)。因为每个组织都有一个独特的使命,输出可能在不同的地方承载不同的重量。

研究相关输出 预印本
研究文章
评论文章
评论或观点文章

巨石
邀请会谈
研讨会论文
会议论文
会议摘要
专利
数据
代码
软件
协议
试剂
工具
教学与指导 教学班
为学生提供建议
有效的指导
应届毕业生
成功的实习职位
促进多样性,公平,融入校园,在教室里,在实验室里
委员会服务——资格考试,论文答辩和/或咨询委员会
为受训者主持职业培训和领导力研讨会和/或讲座
在母校外教授暑期课程和讲习班
以教育为中心的出版物
学术服务 部门委员会服务
拨款审查小组服务
为支持机构倡议提供书面支持
同行评审研究文章
学报编辑
会议组织者
学术团体委员会服务
大学内外的其他领导职位
协作与团队科学 与行业或其他利益相关者的合作关系
与其他研究小组的合作关系
对开放科学的贡献,包括数据和教育资源库
社会影响 新政策的制定
科学宣传
对社区的影响
公众参与 公开会谈
参与公民科学项目
K-12学校的外展
科学博览会项目评比

虽然采用更为多样化的评估标准,更好地反映研究人员所做的贡献,但这将鼓励人们在行为上做出令人满意的改变,研究表明,这在招聘和升职的实践中并不常见。例如,Alperin及其同事发现,在评论中,教师工作的公共层面往往被低估,美国和加拿大的晋升和任期文件(阿尔珀林等,二千零一十九)其他组织也在监测在招聘和资助决策中纳入开放科学实践的情况。ASAPBio一个非营利组织,跟踪制度的资助者包括预打印的策略。一项目在开放科学框架(OSF)上,收集教师的工作广告,询问或建议申请人提供关于开放科学的声明。像这样的政策只鼓励行为改变,如果评估人员考虑到它们的话。最成功的个人通过满足对实地测量的期望来提升他们的职业生涯。当我们评估对我们所珍视的事物的贡献时,我们更有可能鼓励学术界的理想行为。

形式跟随功能

当机构考虑到研究评估中最有用的东西时,在职业生涯早期,为研究人员提供明确的指导和培训是很重要的,在他们被要求评估教师职位和资助之前。专业发展计划可以帮助受训者更好地了解在教师和助学金申请中应包括哪些内容,但信息的变化取决于机会。无论某人在哪里申请或他们申请什么,透明的评估政策为审查人员和申请人制定了明确的标准。

柏林的charit_医院要求申请教授职位的研究人员回答一组问题与研究贡献有关,开放科学,团队科学和与利益相关者的互动。虽然“结构化叙述”方法的发展是一项受欢迎的创新,188bet网球应考虑此类应用的通用格式。没有标准化,评估员很难提取对他们重要的信息,而且,规定性模板的激增将给需要将其应用程序适应许多机构的申请人带来负担。

参加者赞赏各机构发表的声明表达了对多样性的承诺,申请过程中的公平性和包容性。但是,一些与会者指出,如果这些声明附带一个描述如何在校园内支持包容性环境以及有效的行动,那么这些声明将更加有力。一个例子来自威斯康星大学,最近的工作表明,一个2.5小时的干预讲习班减少了STEM部门的性别偏见,从而增加了新聘用的女教师人数。(卡内斯等人,二千零一十五迪瓦恩等人,二千零一十七

得出结论

我们不是第一个将人们聚集在一起就研究人员评估进行公开和诚实对话的群体。荷兰乌得勒支大学医学中心通过与所有职业阶段的员工举行一系列会议,制定新的招聘和晋升评估政策。(Benedictus等人,二千零一十六)这样的对话揭示了改革的实际干预点,并从必须实施变革或可能受制于变革的研究人员那里获得所有权或认可。我们希望,从我们对申请材料的审查中出现的想法能够导致但有意义的建议减少了偏见的来源,并没有显著增加评价者的负担。

确认

我们感谢2018年ASCB EMBO会议上参加我们的职业发展规划会议的与会者就研究评估进行了有力而周到的讨论。我们还要感谢大卫·德鲁宾对这篇文章早期版本和Needhi Bhala的有益评论,Omar QuinteroErik Snapp为我们的学术成果列表提供反馈。

竞争性利益

安娜·哈奇是多拉的社区经理,其他作者是多拉指导委员会的成员。多拉得到了埃利夫的资助,188bet体育电竞埃利夫的188bet体育电竞执行董事马克帕特森也在指导委员会。

通信:安娜舱口库里

工具书类

艾德勒R;尤因J;泰勒,P.2009。引文统计。统计科学二十四,1—14。https://doi.org/10.1214/09-sts285

艾伦L;奥康奈尔A;Kiermerv.诉2019。我们如何确保研究贡献的可视性和多样性?贡献者角色分类法(Credit)如何帮助从作者身份转换为贡献身份。学术出版三十二,71—74。https://doi.org/10.1002/leap.1210

本笃会,R;MiedemaF;弗格森MWJ。2016。更少的数字,更好的科学。自然新闻五百三十八,453。https://doi.org/10.1038/538453a

阿尔珀林JP;穆尼奥兹NievesC;Schimanski洛杉矶;菲施曼通用电气公司;NilesMT;McKiernan欧共体。2019。评审中教师工作的公共层面有多重要,晋升和任期文件?188bet体育电竞,E42254。网址:https://doi.org/10.75188bet体育电竞54/elife.42254

卡内斯m;迪瓦恩P;Baier ManwellL;Byars WinstonA;好的,E;福特,C;ForscherP;艾萨克C;KaatzA;MaguaW;Paltam;谢里丹J2015。一个机构干预打破教师性别偏见习惯的效果:随机分组,对照试验。阿卡德医学九十,221—230。网址:https://doi.org/10.1097/acm.000000000000552

CurryS.2018。让我们超越修辞:是时候改变我们对研究的判断了。自然五百五十四,147。https://doi.org/10.1038/d41586-018-01642-w

迪瓦恩PG;ForscherPS;CoxWTL;KaatzA;谢里丹J;卡内斯米.2017。一项打破性别偏见习惯的干预措施导致STEM部门增加了女性教师的招聘。精神病学博士七十三,211—215。https://doi.org/10.1016/j.jesp.2017.07.002

McNuttMK;布拉德福德m;德拉赞JM;汉森B;霍华德,B;Hall JamiesonK;KiermerV;马库斯E;Kline PopeB;SchekmanR;SwaminathanS;斯唐,PJ;Verma感应电动机.2018。作者在促进科学出版物完整性方面的贡献和责任的透明度。国家科学院学报一百一十五,2557—2560。https://doi.org/10.1073/pnas.1715374115

国家科学院,工程,和医学。2018。下一代生物医学和行为科学研究者:突破。华盛顿,华盛顿:国家学院出版社。网址:https://doi.org/10.17226/25008

公共科学图书馆医学编辑。2006。影响因素游戏。普罗斯医学,E29https://doi.org/10.1371/journal.pmed.0030291

SeglenPO。1997。为什么期刊的影响因素不能用来评价研究。BMJ三百一十四,497—497。网址:https://doi.org/10.1136/bmj.314.7079.497

我们欢迎评论,问题和反馈。请在文章中公开发表评论或联系我们:您好,电子科学网。188bet体育电竞

有兴趣了解更多机会,对早期职业研究人员来说重要的事件和问题?报名参加188bet体育电竞早期职业社区通讯或跟随“188bet体育电竞社区”在推特上。