改革快照 - 科学组织内的研究人员评估

科学组织内的研究员评估科学组织内的研究员评估 May 2024May 2024 全球青年学院的联合论文 ， InterAcademy 伙伴关系 ，全球青年学院 ， 国际学院伙伴关系和国际科学理事会的联合论文。和国际科学理事会。 由 CultureBase 交付 May 2024 作者和致谢作者和致谢 本文由 CultureBase 撰写。 GYA、IAP和ISC也对所有为准备此论文而提供咨询的人表示感谢，感谢他们抽出时间并分享了各自国家和地区关于研究评估的观点，并对由GYA、IAP和ISC提名的审稿人表示感谢： • 卢西安娜·巴尔博亚，阿根廷布宜诺斯艾利斯大学-CONICET • 贾弗里·鲍林顿，英国皇家学会 • 里查德·卡特洛，英国皇家学会 • 卡洛·迪伊波利蒂，意大利萨皮恩扎大学 • 卢多·温特曼，荷兰莱顿大学 • 卡西娅·尤索夫，马来西亚科学院 关于全球青年学院关于全球青年学院 GYA的使命是为全球青年科学家和研究人员发声。该组织成立于2010年，是一个由来自六大洲、共计200名杰出的早期至中期职业生涯研究人员组成的独立科学学院，这些研究人员根据其学术卓越性和参与社会的承诺被选拔出来。GYA的战略目标之一是作为全球青年科学院 growing global network of young academies 的促进者，支持它们的持续建立与合作。其科学卓越工作组致力于改变对科学卓越性的认知和衡量标准。 关于 InterAcademy 伙伴关系关于 InterAcademy 伙伴关系 IAP 是由科学、工程和医学学院组成的全球网络，共同提供在科学、技术与健康问题方面的独立专家建议。IAP 利用世界顶尖科学家的知识和专长，推动稳健政策的制定，提高公众健康水平，促进科学教育的质量，并实现其他关键发展目标。我们的学院成员包括来自超过100个国家的逾30,000名杰出的科学家、工程师和健康专业人士。 关于国际科学理事会关于国际科学理事会 ISC在全球层面通过召集科学专长、建议和对科学与社会都极为重要的问题产生影响来推动变革。 ISC是一个国际非政府组织，拥有独特的全球会员资格，汇集了250个国际科学联盟和协会、国家和地区科学机构，包括科学院和研究委员会、国际联合会和社会团体，以及年轻科学院和协会。 这项活动得到了英国皇家学会的资助。 ISBN ： 979 - 8 - 9859206 - 3 - 5 设计师 ：莎拉 · 克劳森封面照片 ： 尼古拉 · 里卡unsplash. com 在2023年，全球青年科学院（GYA）、国际学术合作伙伴联盟（IAP）和国际科学理事会（ISC）发布了《科研评估的未来：当前辩论与发展的综合》。在此基础上，我们很高兴呈现《科学研究人员评估改革 snapshot》这份报告。该报告反映了我们各自成员组织的实践与愿景，并为未来的行动奠定了基础。 关于研究评估的讨论已逐渐升温，强调了超越重视数量而非质量的传统指标的必要性。《研究评估宣言》（DORA）和“促进研究评估联盟”（CoARA）等倡议在推动这一对话方面发挥了关键作用。很明显，系统性的变革是必要的，以创造一个所有研究人员都能繁荣发展的环境。 本报告基于桌面研究、调查和访谈，提供了关于研究人员评估当前状态的见解。捕获的多元化视角既凸显了前方面临的挑战，也指出了存在的机遇，并认识到一刀切的方法既不现实也不可取。 我们被会员组织的创新实践和试点项目所鼓舞。这些努力展示了愿意尝试新的评估形式，比如叙述性的简历和更广泛的影响力评估，这些提供了研究人员贡献的更为全面的视角。然而，研究人员评估、出版、大学排名系统和其他指标之间的相互依赖性意味着变革并非易事，通常需要研究界的关键比例共同采纳变化。 报告发现 ， 我们的组织可以通过以下方式在支持研究人员评估改革方面发挥作用 ： 1.冠军失踪的声音2. 提供将改革列入议程所需的可信度3. 支持已达到“临界点”的干预措施4. 保护全球系统内的研究人员流动性5. 促进理念和经验的交流 这些建议中的一些已经在我们组织的核心使命中被内化，而GYA、IAP和ISC致力于通过这一转型期支持我们的成员。通过促进合作、分享知识以及倡导政策变革，我们旨在构建一个更加坚实和有韧性的科研评估体系。 我们感谢所有参与组织的贡献。希望在这里呈现的见解和建议对我们的成员及更广泛的领域具有价值。 全球青年学院(GYA) 国际学院伙伴关系(IAP) 国际科学理事会(ISC) 目录 ..................................................................................................... 0202改革研究评估 ： 话语总结。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。执行摘要执行摘要.上下文上下文。 … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … 研究的边界....................................................................................04证据来源............................................................................................04 附件 3 附件 3 … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … 执行摘要 研究人员的评估方式从根本上塑造了整个研究事业。这是大学内部行为的关键驱动力，影响着任命和职业发展，并与学术出版和竞争性资助密切相关。 在过去十年中，人们越来越呼吁改革研究人员的评估方式，以将重点从数量转移到质量，并认可更广泛的贡献类型。鉴于研究在推动社会进步中的作用，这些评估程序必须符合实际需求。 2023年，CultureBase受全球青年科学院（GYA）、国际学术伙伴关系（IAP）和国际科学理事会（ISC）委托，对研究评价实践进行了调查——包括标准，在他们的网络中映射研究人员的评估实践 - 包括标准、政策和声明政策和声明——在其网络内了解研究人员评价作为议程的地位，并为任何可能进一步的干预措施提供信息。 GYA、IAP和ISC联合网络包括国家级、区域级和全球级的主要研究人员会员学院、国家级青年科学院、青年研究人员网络、国际科学联盟与协会、研究机构和基金会。 我们的研究采用了多种方法来更好地了解这些组织中研究人员评估的实践，包括： 基于桌面的分析基于桌面的分析确定研究人员评估实践和跨组合网络的变化热点。 SurveySurvey分布在合并网络中，包括每个组织关于研究人员评估的关系、当前评估实践、对评估改革的看法以及任何计划中的自身活动改革的问题。 半结构化面试半结构化面试共有12个组织被选中，以提供不同学科、地理区域及研究人员评价改革参与程度的多样化视角。 我们的证据收集工作凸显了联合网络中创新实践的例子，并探讨了贯穿始终的趋势，包括评估实践的本质、组织面临的挑战、变革的渴望以及行动的杠杆。 这些趋势被综合归纳为支持需求类型学，将面临相似挑战或拥有类似需求的组织归类在一起。 研究表明，如果要改革研究人员评估取得成功，研究系统内必须具备一系列角色或成功因素，如所示。 改革研究人员评估将需要 ： 1. 倡导缺失的声音2. 为将改革列入议程提供必要的可信度3. 支持已达到“临界点”的干预措施4. 保护全球系统内的研究人员流动性5. 促进思想和经验的交流 在整个合并网络的合作过程中，很明显需要采取更加全面的方法来评估研究人员。这种评估方法需要适应研究活动的变化，包括跨学科研究的增加、新的合作形式以及追求更具包容性的工作模式。 成功改革研究者评估需要与多样化的组织合作，包括超越GYA、IAP和ISC网络的机构，如大学。然而，GYA、IAP和ISC网络的信誉和广泛性意味着这些团体将在这一转变中扮演关键角色。 本报告的研究发现将指导GYA、IAP和ISC下一步的工作，以支持该领域的对话和行动。 上下文 这份报告反映了关于改革科研评估日益增多的对话与行动。《研究评估宣言》（DORA）DORA)1发表于2013年，标志着改革议程的一个转折点，通过团结利益相关方并提高全球对改革需求的认识。在此基础上，成立了促进研究评估联盟（CoARA）。CoARA)2到 2022 年 ， 已经联合了 600 多个组织 ， 包括研究资助者、研究机构和世界各地的学术机构。 随着改革议程的势头增强并获得了盟友的支持，对话内容已从是否应该进行改革转向了如何实施改革。然而，这一转变需要谨慎引导，以避免意外后果，比如碎片化的执行或不同实践和成功度量标准的分歧。实现可持续、公平和平滑的实践变革将需要全球研究社区的广泛参与，并在整个过程中纳入利益相关者的意见。 改革研究评估 ： 话语总结 改革议程主要源自对评估研究人员的标准指标进行重新考虑。不完善的生产力衡量标准，如发表论文数量，存在问题。3被引用量或期刊影响因子等替代指标所取代。然而，这些替代指标的出现也带来了新的问题——包括这些指标实际上测量的内容以及如何公平地使用它们来比较研究人员。4. 现在人们理解 ， 专注于基于引文的指标深刻地塑造了研究的重点和开展5并且对这类指标的近乎独家依赖已受到包括DORA在内的多项举措的严厉审查。关于负责任地使用指标的担忧已经产生了若干重要报告和声明，其中包括莱顿宣言（Leiden Manifesto）。6和公制浪潮7这为未来的研究评估提供了建议。这进一步强化了在评估中使用指标进行改革的需求。 近年来，关于改革的对话已扩展到不仅包括指标，还涵盖更好地认可和奖励研究系统中所需的各种技能。传统的研究评估往往侧重于研究成果，而忽视了诸如同行评审、委员会参与、推广以及将研究转化为社会影响等宝贵贡献。8这导致了 狭窄的成功路径会减少研究社区中人员和思想的多样性，并对研究产生负面影响。为应对这一问题，荷兰的“认可与奖励”项目等举措提出了一种新的、更具多样性的职业路径，以表彰更广泛的贡献。9叙述式简历格式也从解决这一问题的努力中涌现出来，提供了描述更多元贡献的空间。自那以后，不仅荷兰，国内外的多所大学已经开始实施叙述式简历和多元职业路径。10 改革讨论的边界继续扩大，与现有关于公平、多样性和包容性的讨论相连接，并增强了对研究评估中团队作用的认识。这已经具体化为新的举措，例如多样性导向的研究评估（DARE）。11或基于团队的奖项和奖品。12 大学排名对研究评估的影响也受到了审视，有证据表明，排名标准正在影响大学内部个人的评估方式。13这一主题最初由国际研究管理学会联盟（International Network of Research Management Societies, INORMs）通过其"远不止我们的排名"（More than Our Rank）倡议予以突出强调。14 GYA、IAP和ISC的联合网络为理解并影响科研评估提供了独特的机会。由于评估已成为研究系统的一部分，任何持续的改革都必须涉及研究社区的所有部分——这为跨越学科、职业阶段和国家界限的组织创造了至关重要的角色。 Objectives 在2023年6月，全球青年科学院（Global Young Academy, GYA）、国际学术合作伙伴联盟（InterAcademy Partnership, IAP）和国际科学理事会（International Science Council, ISC）联合发布了一份讨论文件。15关于研究评估 ， 建议在四个领域采取行动: 根据这些建议 ， GYA ， IAP 和 ISC 委托 CultureBase 进行地图