建立评估社区：研究图书馆影响框架试点计划的最终报告

建立一个社区的评价:研究型图书馆影响框架试点计划的最终报告 这份报告是一个协作efort:Sue Baughman，研究型图书馆协会（ARL）前副执行主任，现任ARL研究图书馆影响框架倡议联络人，sue@arl.orgAva Brillat，迈阿密大学图书馆信息素养与教学设计项目负责人，abrillat@miami.eduGordon Daines，研究和指导服务策展人，L. Tom Perry Special Collections/Harold B. Lee Library，杨百翰大学，gordon_daines@byu.edu格雷格·戴维斯，爱荷华州立大学评估和规划助理主任，davisgr@iastate.eduStephanie JH McReynolds，雪城大学图书馆商业、管理和创业图书馆员，sjmcreyn@syr.edu玛格丽特·罗尔，rmr@rollerresearch.com 辊研究负责人执行摘要由 Kevin Borden 撰写，研究型图书馆协会研究与分析高级总监，kborden@arl.org3月1日0,本作品根据知识共享署名 4.0 国际许可协议进行许可。 建立一个社区的评估表的内容执行概要3介绍和背景3研究项目................................................................................................................................................4经验教训5下一个步骤7RLIF倡议8背景8五个研究问题8安恩科技资助10研究项目类型11时间轴13目标RLIF倡议..........................................................................................................................................14研究问题总结17（如何）图书馆有助于提高研究生产力和影响?..................................................................................17（如何）图书馆为公平的学生成果和包容性做出贡献学习环境?.......................................................27（如何）图书馆空间如何促进创新研究、创造性思维和解决问题?....................................................33（如何）图书馆的特殊馆藏特别支持和推广教学、学习和研究呢?39（如何）图书馆的馆藏在吸引和留住顶尖研究人员和教职员工方面发挥作用机构?.........................43参与项目46深入采访团队成员46陆军研究实验室的院长和主管调查47岁团队成员调查49经验教训55结论56确认59附录60附录1：研究图书馆影响力框架倡议，评估深入访谈与试点项目和实践简报团队.............................60附录2:72面试指南 3建立一个社区的评估执行概要介绍和背景研究型图书馆协会 （ARL） 研究型图书馆影响框架 （RLIF） 倡议于 2019 年成立，是评估计划愿景工作组提出的建议以及博物馆和图书馆服务研究所 （IMLS） 支持的结果。本报告详细介绍了在该框架试点阶段进行的研究项目、调查结果和经验教训。它还包括有关框架本身的信息，作为探索和了解研究图书馆影响的一种手段。最后，报告确定了今后实施的后续步骤和潜在考虑因素。RLIF提供了一个结构来检查图书馆服务，运营，影响以及与四个关键领域的机构使命和目标的一致性：研究和学术生命周期;教学、学习和学生成功;收集;和物理空间。完整的框架包括这些关键领域的185个潜在研究问题。但是，该框架也意味着灵活和模块化，允许根据研究型图书馆面临的突出问题进行修改和调整。通过这种方式，该框架可以作为组织和确定研究工作优先级的工具。在最初的185个研究问题中，ARL的评估委员会（现在称为研究和分析委员会）确定了几个研究团队在RLIF试点实施中检查的5个问题。这些问题反映了ARL图书馆馆长和评估从业人员的广泛参与和反馈，并被指定为高度优先的研究领域。这五个问题旨在帮助 ARL 成员通过当地背景的叙述来理解和阐明研究图书馆的影响。RLIF倡议设定了四个目标来指导其战略和实施。如下图所示，该框架目标的广度超出了任何研究项目。除了研究项目的结果及其为决策提供信息和塑造决策的能力外，该框架还着手在整个ARL机构中建立能力并促进评估态势。目标1：通过参与正式的、方法上合理的研究项目，创造和培养一种评估文化目标2：加强和改进确定收集和分发信息的数据点的程序，以证实图书馆对机构决策者和研究与学习生态系统的影响 4建立一个社区的评估目标 3：扩大与同行就与各个图书馆高度相关的主题进行协作和比较数据和方法的能力，并汇集研究专业知识和资源以实现集体利益目标 4：提高服务和计划对用户的影响研究项目为了解决关键研究主题的五个研究问题，项目分为两类：试点项目（原始研究项目）或实践简报（案例研究）。2018年的提案征集产生了11个试点项目和7个实践简报。共有78名图书馆工作人员和其他校园部门的成员参与了这些项目。表1总结了如何通过试点项目和实践简报调查研究问题。表1：按研究问题划分的试点项目和实践简介研究问题试点项目实践简报（如何）图书馆馆藏在吸引和留住顶尖研究人员和教师方面发挥作用？01（如何）图书馆为公平的学生成果和包容性环境做出贡献？11（如何）图书馆有助于提高研究生产力和影响力？52（如何）图书馆空间促进创新研究、创造性思维和解决问题？22（如何）图书馆的特殊馆藏特别支持和促进教学、学习和研究？31 5建立一个社区的评估研究团队应用各种方法来调查他们的研究问题。其中包括定量和定性数据分析、访谈（一对一、半结构化）、调查和不引人注目的观察。几个研究团队采用混合方法来获取其项目所需的信息。在试点项目和实践简报中，结果和调查结果包括各种信息。在五个研究问题中，一些值得注意的发现包括：图书馆在支持研究人员寻找受众并传达其工作的影响方面发现了差距。（（如何）图书馆有助于提高研究生产力和影响力？多元化、公平性和包容性 （DEI） 资源的广度创造了对可发现性的挑战，尤其是当结果出现在从搜索返回的第一组资源之外时。（（如何）图书馆为公平的结果和包容性的环境做出贡献？空间设计可以为某些类型的工作营造一个温馨的环境，但可能会给其他活动带来挑战。（（如何）图书馆空间促进创新研究、创造性思维和解决问题？将第一手资料识字与课堂上的社区档案相结合环境对学生的学习有显著的积极影响。（（如何）图书馆的特殊馆藏特别支持和促进教学、学习和研究？影响教师招聘和保留的因素是个人的和多方面的，图书馆馆藏可能不会发挥重要作用。（（如何）图书馆馆藏在吸引和留住顶尖研究人员和教职员工方面发挥作用？经验教训RLIF研究项目的工作并不是这一举措提供的唯一价值。从RLIF试点中吸取的经验教训包括项目团队进行的研究，以及RLIF倡议本身的其他经验教训。作为RLIF的一部分获得的机会和经验，以及框架结构提供的机会和经验，可以为下一步和需要改进的领域提供信息。项目团队从他们的研究结果中获得知识和经验，同时也了解了开展研究项目的其他方面。项目团队的参与者尝试了新方法，更好地了解了研究设计的复杂性，并体验了执行研究所涉及的劳动。一些基于项目的经验教训包括：了解激励措施对调查研究反应的影响，需要 6建立一个社区的评估在回复率低的情况下制定替代计划，并考虑项目规划的意外延迟。与会者还指出，在研究设计中允许灵活性以有效管理意外情况的重要性。开展RLIF试点计划使咨询小组能够审查有关该框架的反馈。通过一系列深入访谈、对 ARL 院长/主任的调查以及团队成员调查，出现了几个主题。访谈显示，RLIF计划的反应积极，参与者表示他们将期待ARL为未来的研究合作机会提供支持。访谈参与者赞扬了与五个问题相关的研究的双重价值，并提供合作和学习RLIF结构提供的机会。对ARL院长/主任的调查强调了参与RLIF的动机，并包括成为ARL计划的一部分，与其他ARL机构合作以及进一步发展其机构的评估文化的机会。个别院长/主任还表示，参与RLIF的影响包括提高知名度，从而在其机构中带来其他机会，以及利用研究项目的发现来改变计划和流程。其他院长/主任报告说，他们讲述循证故事的能力有所提高，培养在评估中更多地采用 DEI 视角，并全面增加对机构评估的关注。团队成员调查的反馈在很大程度上与访谈和院长/主任调查中捕获的内容相呼应。RLIF团队成员普遍支持RLIF计划。与其他图书馆合作的机会是参与的一大推动力。团队成员还就RLIF继续探讨的问题提出了建议。这些问题的主题包括与其他图书馆的合作、DEI、图书馆价值、大流行病问题、数据和技术以及工作人员/组织问题。总的来说，从项目层面和框架层面的研究项目、方法、结果和经验教训表明，ARL研究议程是有价值的。通过RLIF等机制建立的议程提供了一种将研究问题与共同目标联系起来的结构。通过这个试点计划，研究团队了解到集中式通信是一个很大的好处，也是成功的关键。它鼓励问责制文化，并提供合作机会。RLIF计划有助于建立社区。这种联系感出现在从单个研究项目到整个框架的许多层面。它提供了一个分享想法的空间，使RLIF程序不仅仅是其各部分的总和。 7建立一个社区的评估下一个步骤随着研究项目的结束和参与者的反馈，本报告将提交给ARL的研究和分析委员会。该委员会计划审查RLIF试点，并就ARL的RLIF计划的未来提出建议。虽然委员会将进行自己的审查和审议，但一些潜在的问题可能有助于指导他们的工作。一个问题围绕着项目的可行性，以及如何在ARL维持像RLIF这样的倡议。该试点计划得到了博物馆和图书馆服务研究所（IMLS）的资助。类似RLIF结构的未来项目是否需要外部资金？RLIF倡议下的研究应该多久进行一次？委员会还可能考虑RLIF研究项目的总体结构。试点计划的反馈表明，跨机构合作是参与的重要组成部分，有助于提高RLIF的价值。RLIF试点项目通常对其试点项目和实践简报采用归纳/自下而上的方法。也就是说，研究项目及其结果与进行这些项目的当地环境相关，由其他ARL机构确定这些发现是否足以推广以应用于其自身环境。如果强调跨机构合作和成果的广泛应用是优先事项，那么对研究项目采用演绎方法是否合适？例如，ARL有可能将来自多个机构的研究团队聚集在一起，就比任何一个机构的本地背景更广泛的研究项目进行合作。目前尚不清楚这是否会比试点计划中应用的本地化方法提供更多价值，但研究和分析委员会可能会权衡这些潜在的选择。研究和分析委员会计划在审议研究图书馆影响框架计划的后续步骤时使用这份报告。未来的任何行动方案都将与ARL的2023-2026年行动计划保持一致。 8建立一个社区的评估RLIF倡议背景ARL评估计划愿景工作组（APVTF）的讨论形成了后来成为研究图书馆影响框架（RLIF）基础的想法。ARL 评估计划愿景工作组建议于 2017 年 12 月发布，概述了 ARL 成员对行动研究框架的愿望，以使研究型图书馆能够揭示他们对社区的影响。该框架利用机构优先事项作为在战略优先事项中展示研究图书馆影响的手段。APVTF确定了四个框架主题，代表了ARL成员机构目标的宏观重点：研究与奖学金的生命周期;教学，学习和学生成功;收集;和物理空间。这些战略焦点的基础是超过 185 个研究问题和主题，这些问题和主题由评估从业人员、图书馆馆长、ARL 成员和 ARL 工作人员提出，并被确定为其机构目标的基础。最终，宣传研究型图书馆对其机构、社区和用户的影响被认为是最重要的。五个研究问题该框架是跨多个图书馆服务领域进行深入探