开发文化相关的数学和科学项目

开发文化相关的数学和科学项目 经验教训和学生的反应 JEFFREY T. STEEDLE, CRISTINA ANGUIANO - CARRASCO, NANCY LEWIN, JILL MCVEY Conclusions 为了这个项目，ACT开发了数学和科学题目，旨在反映不同文化的特点，提高对社会公正问题的认识，促进文化学习，使题目更具真实性和相关性，并且易于理解，同时以积极而非刻板的方式呈现人们。创建与文化相关的题目是ACT测试开发者面临的新挑战，这涉及多轮由多元内容专家进行的审查。开发者们了解到，创建与文化相关的题目过程更为复杂，但他们都认为这是一个积极而充实的经历。在焦点小组中，高中生将与文化相关的题目与衡量相同技能但不具文化相关性的题目进行了比较。学生们表达了对在ACT考试中看到与文化相关的题目的兴趣，并表示通过这些题目学到了关于不同文化的知识。然而，许多学生也表达了对在类似ACT这样限时且具有高风险的评估中回答更长题目所需额外时间的担忧。 那又怎样 ？ 传统测试项目开发流程——尽管初衷是为了最大限度地减少偏见的可能性——可能会引入偏见，因为看似中立的问题背景可以反映出白人文化规范。通过将差异视为多元世界中的资产来创建文化相关性评估是一种降低这种风险的方法。文化相关性评估旨在通过提升不同文化和传播文化知识来增加成功的机会公平性。这项工作体现了ACT对公平性的承诺，这在ACT的北极星中总结为：“我们致力于教育中的公平，并创造一个每个人都能发现并实现自己潜力的世界。”焦点小组参与者报告称，在测试项目中看到自己的存在使他们感到被包括、激励、赋权和支持。 现在呢? 通过本项目获得的经验教训，ACT 将继续开发和评估具有文化相关性的数学和科学题目。未来的内容开发者计划为每个题目集中关注一个主要的文化相关性评估目标（例如，包括打破刻板印象的正面代表性、突出社会正义问题或促进文化学习），并更好地将文化背景融入评估内容中。这样可以最大限度地减少文化背景对测试难度和速度性的影响，同时仍能实现文化相关性评估的诸多目标。在后续研究中，我们将通过 ACT 题目现场测试收集项目反应数据，以比较具有文化相关性和非文化相关性的数学题目的心理测量属性。 关于作者 Jeffrey T. Steedle 博士 Nancy Lewin, EdD 莱文博士是ACT的教育公平中心的高级总监。她曾在华盛顿特区的拉美行政官员和学区长协会担任非营利组织执行董事。她在教育领域拥有二十三年的经验，曾担任双语教师、学校管理员、特殊教育主任、首席学术官和兼职教授。她持有德克萨斯大学休斯顿分校的专业领导力博士学位。作为一名前移民工人，她是教育公平的倡导者，并认为所有学生和领导者取得成功的关键在于机会、信息和支持性的指导。 Jeffrey Steedle 是 ACT 测量研究与发展部门的高级解决方案设计师，负责构思并实施大规模标准化测试项目的研发项目。他拥有教育心理学博士学位以及统计学和教育学硕士学位。他的研究兴趣包括测试动机、项目难度建模、不同测试环境下评分的一致性以及项目功能差异。 Cristina Anguiano - Carrasco 博士 克里斯蒂娜·安古亚诺-卡拉斯科，博士，是ACT研究中心的社会、情感和学术学习领域的高级研究科学家。她于2013年在西班牙乌维拉尔和维吉里大学完成行为评估与测量方向的博士论文。她的研究重点在于社会和情感技能、相关反应偏差以及改进诸如坚韧性、跨文化能力、团队合作和自我效能等构念的测量与评估方法。安古亚诺-卡拉斯科博士自2018年起担任美国测验协会（NCME）CODIT委员会成员，并于2020-2021年担任该委员会主席。 Jill McVey 博士 贾尔·麦维，博士，是美国教育考试服务中心（ACT）社会、情感和学术学习中心的研究科学家。她在公共K-12教育和高等教育领域拥有背景，曾在这些领域担任教师、研究员和项目评估员。她具备使用混合方法进行应用研究的经验，并且研究过教育领域的多个主题，从幼儿社交和情感项目到乡村教师教育项目的有效性。 该论文的一个版本在2023年全国教育测量学会年度会议的虚拟部分上呈现，会议于3月28日至30日举行。 执行摘要 像教育测量领域的许多机构一样，ACT承认，尽管传统测试开发实践旨在通过创建“中立”的内容来最小化偏见的风险，但这些实践可能会导致有利于白人背景考生的段落和题目。解决这一问题的一个可能方案是开发文化相关的内容。为了在高 stakes 录取测试的限制环境下调查这一可能性，ACT 开发了数学和科学题目，试图代表不同文化的独特方面，提高对社会正义问题的认识，促进学习，使其具有真实性和相关性，易于理解，并以积极而非刻板的方式呈现人们。本报告的第一部分描述了项目开发过程中学到的经验教训。开发阶段涉及向经验丰富的内容开发者介绍文化相关性，并与外部顾问及多元化的 ACT 团队成员进行迭代的草稿/评审/修订过程。 在内容开发过程中 ， 我们学到了一些教训 ： • 起点——我们可以通过修改现有项目使其更具文化相关性，但通常需要更新数学或科学内容（如数字、表达式、数据表、图表等），以使其更具真实性。• 项目长度——开发人员在添加具有文化相关性的内容时，难以避免使段落和项目变得更长，部分原因是这些内容需要额外的解释，以便所有应试者都能理解，并鼓励他们学习其他文化。• 图形——增加的图形支持了表示和学习，但它们并不必要用于正确回答项目，反而为视力受损的学生带来了无障碍挑战。• 表现——根据外部咨询专家的反馈，我们创建了项目来体现对其他文化的广泛兴趣。例如，来自多种文化的人们可以被描绘成欣赏另一种文化的兴趣、艺术和传统。• 解释——内容开发人员报告称他们在措辞上花费了更多的时间，而外部咨询专家则发现了词语、短语和数据的意外（负面）解读。• 理解——为了促进理解，我们移除了科学段落中的与构建无关的技术语言，并将其改写为主动语态。 • 可扩展性——开发人员还提供了若干建议以支持内容的文化相关性可扩展性：多样化项目开发者和审核人员的池子、投资专业发展，并投入更多时间和资源到项目开发中。 在焦点小组中，学生们检视了具有文化相关性和标准版本的项目。他们提供了总体观察和反应，表达了自己的一般偏好，并评论了文化内容的本土化程度及其相关性，是否相对吸引人，以及这些内容可能如何影响考试表现。以下是学生们在焦点小组讨论中提到的主要主题： • 项目清晰度与理解——学生偏好那些题干清晰、易于理解如何解答的题目。在某些情况下，学生认为文化相关题目提供的额外背景信息反而干扰了他们回答问题的能力。 • 信息量——如果学生认为背景信息是不必要的，他们更可能感到信息过多或指出两种类型项目长度的不同。当学生认为背景信息对于回答问题是必要的时，他们更可能认为具有文化相关性和标准性的项目是可比较的。 • 文化代表——所有焦点小组的学生都认为文化代表很重要，但他们在测试中应该呈现什么样的文化和是否应将文化纳入标准化测试方面存在分歧。 • 测试时间 - 鉴于 ACT 的高风险性质®测试中，学生表达了对每个部分可用时间有限的担忧。他们普遍认为较短的题目可以让他们在测试中节省时间，因此对较短的题目感觉更加舒适。 • 实际案例——多名学生认为实际案例比通用的虚构案例更优，并且他们认为与文化相关的项目更容易包含实际案例。学生们还觉得这些案例更具相关性，比通用案例更为贴近实际。 背景 如研究议程和正在进行的项目所示，许多主要的评估机构正致力于评估和完善其项目开发程序，以满足日益多样化的测试人群的需求（例如，NCME, 2022b；NCME, 2022c）。推动这些努力的动力在于认识到，尽管传统项目开发方法旨在减少偏见的可能性，但它们仍可能引入偏见。也就是说，旨在实现文化中立（或“无色”）的项目可能反映出白人文化规范（例如，沟通方式、知识的表示与展示方式）。因此，拥有白人生活经验的考生将因能够更容易理解用熟悉语言描述的相关项目背景而占据优势（Randall, 2021）。 一种应对这一挑战的方法是开发新的评估工具，这些工具能够打破消极刻板印象、关注不平等和不公正问题，同时赋予考生解决问题的能力，以完整准确的方式呈现历史，并包含多种展示内容掌握程度的方法（Montenegro & Jankowski, 2020；J. Randall, 个人沟通，2022年2月4日）。这一建议遵循了数十年来关于文化相关教育的研究与实践。埃文斯（2021）提出的框架描述了一种渐进过程，在此过程中，课堂教育可以对学生的文化身份敏感、相关且响应性更强，同时也能够保持这些身份。埃文斯承认，大规模标准化考试有可能变得更加文化敏感（即“意识到人们之间存在文化和文化相似之处，但不赋予它们价值”）。然而，埃文斯质疑大规模标准化考试能否变得文化相关，因为这“需要”链接在每个学生日常生活文化经验与测试项目或刺激材料之间实现对接将极具挑战。对于像ACT这样的全国性（和国际性）考试来说，确保每次对所有考生都具有文化相关性几乎是不可能的。然而，尽管ACT无法时刻对所有考生都具有文化相关性，但或许在某些时候对许多考生群体具有文化相关性会带来益处。 标准化测试中的文化相关性挑战促使了本项目的研究。ACT的研究人员提出了一个问题：“我们可以通过哪些方式在大规模、高 stakes 标准化测试项目中提高文化相关性？”回答这个问题主要属于测试内容开发人员的职责范围，但测量研究专业人士也有许多机会参与到这一挑战中。正如J. Randall（个人通信，2022年2月4日）所建议的那样，研究人员可以通过询问“阻力来自何处？”来发挥作用。也就是说，研究人员可以识别对文化相关评估的阻力，并调查这种阻力是否合理。例如，有些人可能因为担心文化相关评估会令某些学生感到情绪不安而抵制它。另一些人则可能会质疑，为了开发文化相关题目所需额外的努力（和成本），是否值得，因为考生可能不会欣赏自己在测试内容中的反映。最大的阻力来源可能是这样的观念：即文化相关的内容，可能包括额外的文字和图像，可能会引入与构念无关的难度，或者在限时测试中占用更多时间。幸运的是，这些问题可以通过实证研究来解决。 本研究的第一个目标是为ACT数学和科学考试开发具有文化相关性的测试内容。在项目开发之后，来自不同背景的高中学生参与了焦点小组，在这些小组中，他们观看了具有文化相关性的项目版本与“传统”（无文化相关性）版本。本研究的第二个目标是收集学生的总体观察和反应，并收集他们对内容的真实性与相关性的评价、认为文化内容是否具有较强的吸引力、潜在影响对学生表现的看法以及他们的一般偏好。本报告的第一部分描述了内容开发程序及从中获得的经验教训。第二部分则介绍了焦点小组的方法和结果。本研究的结果可以有助于推进具有文化相关性的项目开发实践，并增加对具有文化相关性的内容对学生影响的理解，特别是对于那些对高中学生进行大规模、高风险标准化评估的组织而言。 第 1 部分 ： 内容开发 为发展做准备 六位经验丰富的内容开发人员自愿参与了这个项目——三位来自ACT的数学开发团队，三位来自科学团队。在参与之前，他们阅读并讨论了有关文化相关评估及其合理性的近期出版物，并参加了ACT专注于多样性和包容性的跨功能“实践社区”。这一系列持续的讨论和互动展示每月大约有30-40名团队成员参加，包括内容开发人员、研究人员、心理测量学家、适应性专家以及ACT学习平等中心的代表。 数学和科学开发者们了解文化相关评估的重要性，并且认识到其价值，他们表达了参与此项目的热情。这是他们首次尝试开发具有特定文化相关性的ACT内容，他们担心如何在当前测试规范和相关内容开发限制下将文化相关性融入ACT数学和科学内容中。此外，他们都自认为是非西班牙裔白人女性，并主要在美国中西部地区生活，他们意识到这一点是一个局限性。也就是说，他们的生活经验限制了他们生成具有文化相关性的项目点子以及后续评估内容的真实性与相关性。这表明了当前评估行业在开发具有文化相关性的