图书馆影响力研究报告：展示和衡量主要来源在教学和学习中影响的工具包

图书馆的影响研究报告展示和衡量主要来源在教学和学习中影响的工具包研究人员:克莱尔·威瑟斯（主演）、戴安娜·迪尔、珍妮·哈斯、凯西·海恩斯、贝雷妮卡·韦伯斯特匹兹堡大学图书馆系统2022年12月9日本作品根据知识共享署名 4.0 国际许可协议进行许可。研究型图书馆协会 21 杜邦圈西北，套房 800，华盛顿特区 20036(202)296 - 2296 | ARL.org 2研究图书馆协会摘要该图书馆影响力试点项目解决了匹兹堡大学图书馆系统的特殊馆藏如何支持教学、学习和研究。该项目开发了一个工具包，可以衡量与主要来源接触的影响。匹兹堡大学（Pitt）最初与加州大学欧文分校（UCI）合作，根据ACRL-RBMS / SAA主要来源识字指南制定学生学习成果，并使用逻辑模型框架来确定三种类型的结果：初始（获得新技能和知识），中级（行为改变）和长期（状态变化）。皮特连续研究了两届档案学者研究奖（ASRA），这是一个为期一学期的本科奖学金计划，将每个学生与匹兹堡大学图书馆系统（ULS）图书馆员/档案馆员和皮特教师导师相匹配，以参与深入研究项目。接下来，皮特改进、扩展和测试了该工具包，用于课堂访问，以评估学生的学习情况和档案管理员/图书馆员在支持教师学习目标方面的表现。绘图和评估皮特开发的工具包可以应用于不同学科和机构环境中的主要来源的教学。 3研究图书馆协会表的内容抽象的2介绍5为什么它重要研究图书馆6目标7假设7文献综述7方法9方法9ASRA 2020年10ASRA 2021年10课堂学习11关键绩效指标11所需资源12发现13ASRA 2020发现13ASRA 2021发现14课堂学习16数据17价值18经验教训18为未来的研究建议20确认21参考书目/引用22附录1:工具箱24ASRA逻辑模型2428 Pitt-UIC逻辑模型 4研究图书馆协会标题29教案与标题32ASRA入口调查39ASRA退出调查51任务提示61博客61Omeka展览64虚拟演示67附录2:71数据收集工具教练采访协议71焦点小组协议72附录3:发现76ASRA 76 2021调查详细调查结果尾注81 5研究图书馆协会介绍匹兹堡大学 （Pitt） 对研究型图书馆协会 （ARL） 研究型图书馆影响框架 （RLIF） 计划进行了研究，探讨了以下问题：“（如何）图书馆的特殊馆藏专门支持和促进教学、学习和研究？ARL建议我们与加州大学欧文分校（UCI）合作。虽然每个图书馆对这一研究领域的兴趣不同，但ARL认为这种合作可以定义一个更大项目的特定方面，每个图书馆都专注于单个元素。本报告重点介绍皮特为开发评估初级来源识字技能工具包的举措。从广义上讲，我们的重点是如何衡量特定项目的特殊馆藏参与度以及对学生学习成果的影响。皮特和UCI根据稀有书籍和手稿部分/美国档案工作者协会（ACRL-RBMS / SAA）关于主要来源识字的指南（在本文档中称为指南）开发了学生学习成果，并提出了一个逻辑模型框架来确定三种类型的结果：初始（获得新技能和知识），中级（行为改变）和长期（状态变化）。UCI通过其人文核心计划评估了初始结果，皮特通过其档案学者研究奖（ASRA）计划评估了中间结果。对长期成果的评价超出了项目的范围。皮特项目团队认识到与其他评估工具相结合的量规的价值，该准则可适用于不同学科和机构环境中的主要来源的教学。皮特制定并审查了ASRA的评分标准，ASRA是一项本科生奖学金。ASRA将队列中的每个学生与匹兹堡大学图书馆系统（ULS）图书馆员/档案管理员和皮特学院导师相匹配，参与一个学期的深入研究项目，从皮特的档案和特殊馆藏中提取。项目团队随后扩展并测试了该工具包，以用于课堂学习。 6研究图书馆协会为什么它重要研究图书馆吗与其他研究型图书馆一样，皮特越来越注重有影响力的学生学习。匹兹堡大学的六个战略目标之一是“通过一个支持性的环境，让学生过上有影响力的生活，专注于课堂内外的整体和个性化学习方法。1为实现该目标而确定的策略包括通过创新的教学方法和技术使用来加强课程，专注于个性化学习，以及通过扩大与不同文化和观点接触的机会来丰富学生的体验。在此背景下，ULS开始了一个为期多年的项目，重新构想其旗舰希尔曼图书馆。用于创造力、协作和主动学习的空间和服务，以及展示社区成就成为翻新建筑的首要任务。例如，我们显著增加了用户空间以及合作伙伴和专业服务（如媒体创作和创客空间）的占用空间。特别关注致力于与我们独特的系列合作的空间和计划。建造了一间新教室，以及一个新的阅览室和相邻的文本和上下文实验室，由ULS和创意中心共同运营。增加了模拟和数字显示区域，以展示我们的材料以及学生使用这些馆藏的作品。大学和图书馆对增强皮特学生学习体验的关注和投资都促使我们更具战略性地考虑如何评估我们在整个新空间中提供的课程成果。鉴于ULS专注于建立独特的馆藏，我们渴望了解使用这些馆藏（包括主要来源）进行教学的影响。2020年，我们参加了伊萨卡S+R项目。调查结果显示，教师重视主要来源参与可能带来的复杂批判性思维和评估技能。我们的 Ithaka 访谈还揭示了与教学术语和图书馆信息素养术语的不和谐或脱节。作为从业者，我们从轶事中意识到，为学生提供的参与体验与教师的学习目标和指南一致;但是，没有标准化工具可以简化评估或将图书馆员术语转换为教师术语。考虑到这一点，我们开发了一个工具包，包括逻辑模型、入口和退出调查以及一个量规，所有这些都映射到指南中的内容。 7研究图书馆协会选择ASRA计划进行此类评估，因为我们有很多轶事例子表明学生对他们的经历感到满意，但没有具体证据表明知识，技能或其他预期结果的增强。在我们的项目中，我们对超越直接知识获取的结果特别感兴趣，而是与在整个计划及以后应用该知识和相关技能相关的更中间结果。我们特别感兴趣的是了解量规在支持教师课堂学习目标方面的功效和价值。随后，我们通过创建课程计划并将其与量规相结合来扩展工具包，以创造更大的灵活性来评估其在不同学习环境中的真实性。目标我们的主要目标是创建一个可重用的工具包，该工具包：向教师和其他利益相关者阐明主要来源教学对学生学习者的价值;允许评估学生获得的主要来源识字技能;和能够衡量图书馆员/档案管理员在支持教师学习目标方面的成功。假设基于《指南》的工具包可以有效地评估本科教育中第一手资料的价值。精心设计的组件可以更好地了解与教师和图书馆员/档案馆员共同创建或共同创建的提示、课堂练习、后续作业等的有效性，从而使参与清晰，与个人或课堂学习相关，对学生和教师有意义。文献综述这些文献记录了特殊馆藏图书馆员和档案馆员对用第一手资料阐明教学和学习价值的兴趣和愿望。此外，他们希望评估和记录对学生学习的影响。2 8研究图书馆协会随着主要来源教学工作的增加，评估的必要性也在增加，以确保课程作为本科教育的重点和基本组成部分蓬勃发展并持久存在。3虽然众所周知，学生通过主要来源学习批判性分析和基础研究技能，但这些证据大部分都是轶事和观察。4创建有意义和有影响力的评估面临许多挑战。量规作为一种一致的评估工具出现，在文献中被广泛讨论。5但是，创建一个灵活的量规，包含明确定义的基准，并包含所衡量的技能，这是一种平衡行为。6此外，当学生参与主要来源并产生超越传统研究论文的各种产出时，制定明确的评估标准是一项斗争。7在由大学和研究型图书馆协会 （ACRL） -稀有书籍和手稿部 （RBMS） 和美国档案工作者协会 （SAA） 联合工作组制定的指南出台之前，现行框架和标准是支离破碎的，没有完全概括主要来源的重要性或复杂性。8该指南代表了多年的研究、讨论、辩论和汇集，将主要来源、教学和学习定位为一项突出且值得注意的努力。9在主要来源参与中拥抱体验式学习和实践机会，以及摆脱一次性和展示和讲述的方法，也强调了这些指南的必要性。10主要来源引起了广泛的专业兴趣，并随后渴望最佳实践和基本方法，图书馆员和档案馆员可以围绕这些最佳实践和基本方法设计评估结果和目标。11图书馆员和档案馆员渴望与教师合作，为本科生提供有意义的主要来源参与机会;然而，这些合作需要大量投资来培养有影响力的教学效益。12教师通常希望学生有效地发现和访问主要来源，将其置于上下文中，适当地引用来源，并考虑与次要来源的关系。13与教师、图书馆员和档案管理员合作，除了提供检查这些材料的指导和方法外，还策划/共同策划与课程目标和支持作业相一致的主要资源。14评估工具和反馈将有助于推进这些伙伴关系，并改善整体教学法。15 9研究图书馆协会方法该项目依赖于几种数据收集方法。Pitt/UCI的合作映射回逻辑模型的总体框架。该团队使用逻辑模型的方法为ASRA参与者定义和操作学习成果。1980年代，Wholey（1983）在著作中提出了一个逻辑模型的想法，该模型详细说明了资源，计划的活动和反映预期结果的结果，但直到1996年美国联合劝募会出版了《衡量计划成果》和W.K.凯洛格基金会在1998年出版了《逻辑模型开发指南》，它才被广泛使用。此后，它已被非营利部门广泛采用，用于系统评估结果以证明计划的价值，并且资助者经常要求它支持该部门的赠款提案。逻辑模型允许定义短期、中期和长期项目成果。短期结果通常是指立即获得新知识;中期结果衡量这些知识如何应用或采取行动，长期结果显示该计划是否导致参与者的生活发生任何重大变化。方法通过使用逻辑模型，清楚地阐明了ASRA所需的短期，中期和长期结果，我们能够开发和部署评估工具，我们可以用来衡量ASRA计划满足每个定义结果的程度。为了实施成果评估，我们使用指南制定了量规并创建了许多数据收集工具，包括计划前和计划后的调查以及指导学生产出的提示。它还充当分析这些产出以评估知识获取情况的框架。该工具包的开发、测试和完善在 ASRA 计划的两个周期中进行，分别在 2020 年和 2021 年。该项目提案在2019年项目开始之前由皮特的机构审查委员会（IRB）进行了审查，并获得了豁免地位。IRB还审查并批准了该项目的后续更改（例如扩大数据收集以包括教师访谈和焦点小组或对学生调查工具的更改）。 10研究图书馆协会ASRA 2020项目团队招募了十名ASRA 2020学生中的九名参加研究，并同意执行以下操作：在程序的开始和结束时完成调查;该调查包括有关人口统计学（学习年份，学科等），研究技能的信心水平以及他们对使用主要来源进行研究的理解的简短问题与项目团队分享作为ASRA经验的一部分创建的所有产出同意项目团队将来（ASRA经验结束后两到三年）可以通过电话或亲自与他们联系，进行简短的面试。这次面试将包括有关ASRA是否以及如何影响他们的职业和个人目标的问题。参与研究完全是自愿的，对参与者没有直接的好处。ASRA学生可以随时以任何理由撤回同意并停止参与研究，并将保密。该大学的 COVID-19 响应导致转向仅在线课程，这对收到的学生产出产生了重大影响。该团队审查了 ASRA 2020 入学和退出调查、学生申请、最终演示海报和反思论文，以测试量规并确定是否有证据表明初级来源识字技能的初始或中级达到。除了最终演示和反思文件的海报外，许多计划可交付成果都是定制的，因此，说明和提示不一致，通常不包括指南引入的范式。ASRA 2021由于大流行，所有研究都是虚拟进行的。该小组将入学和出境调查从基于信心的评估修改为基于知识的评估。我们重新设计了量规，以搭建指南中所述学习目标的脚手架，为每个学习目标分配初级、中级或精通的值，并创建了专门映射到指南的作业提示。Tumblr博客和Omeka展览的说明侧重于创作者，重要性和历史背景。期末演讲现在包括对研究过程的关注，包括动机（例如主要来源如何贡献， 11研究图书馆协会支持或有争议的研究问题），以及研究问题是否因为学生在主要来源中发现的内容而改变、转向或被放大。课堂学习讲师访谈和焦点小组于 2021 年秋末和 2022 年春季进行，此后不久完成了编码和分析。一个略微重组的团队修订并扩展了工具包，创建了一个带有量规的课程计划，供教师及其班级使用。我们与五位讲师合作，从咨询到课堂访问，创建了可评估的主要来源参与