HSGPA 和 ACT 综合评分对 2018 年至 2022 年累积第一年小时数的预测有效性

2024-08 从2018年到2022年，预测性效度的HSGPA和ACT综合分数对累计第一年学分获取的变化如何？ EDGAR I. SANCHEZ Conclusions 桑切斯（2024a & 2024b）的研究揭示了从2018年到2022年，在ACT分数稳定或略有下降的情况下，高中成绩点数（HSGPA）存在膨胀现象。该研究显示，仅基于HSGPA预测两年制和四年制大学的第一年累计学分时，预测值有所下降；而仅基于ACT综合分数进行预测时，预测值保持稳定。将HSGPA与ACT分数结合使用可以缓解但无法完全消除HSGPA预测有效性下降的问题。该研究强调了在大学录取过程中使用多种学术成就指标的重要性，以准确评估学生的准备情况。 那又怎样 ？ 这项研究对高等教育机构和政策制定者具有重要的意义。鉴于从2018年到2022年学分绩点（HSGPA）膨胀的证据，我们可以得出结论，将HSGPA作为衡量学术成就的唯一标准可能无法真实反映学生的大学课程准备情况，尤其是在采用选考或免考录取政策的情况下。该研究强调了COVID-19疫情对教育交付和评估的影响，这很可能导致了HSGPA预测有效性发生的变化。 现在呢? 为了确保对学术准备情况的准确评估，研究建议结合使用多种指标，如高中成绩加权平均分（HSGPA）和美国大学入学考试（ACT）分数。这种方法能提供更为稳定和有效的学术成果预测。采用这种做法有助于机构制定更有效的教育策略和评估方法，以帮助新生在大学中取得成功。 埃德加 · 桑切斯博士 作者感谢MinJeong Shin、Shalini Kapoor和Jeffrey Conway对本报告早期草稿提供的评论。 桑切斯博士是ACT公司的首席研究科学家，他的研究领域包括高等教育入学、国家测试项目、考试准备效果以及干预措施的有效性。在其职业生涯中，桑切斯博士一直专注于高中与大学之间的过渡研究，并支持学生、家长和高校管理人员的决策能力。他的研究成果在学术界和媒体中广泛引用。华尔街日报,华盛顿邮报,今日美国， 以及教育贸易出版社。 Introduction 理解哪些因素能在预测大学学术成功中发挥重要作用对于高等教育机构提升学生成果至关重要。在这其中，高中成绩点数（HSGPA）和ACT分数被认为是重要的预测指标，并且常用于招生决策（Allen, 2013；Allen & Sconing, 2005；Camara等, 2019；Geiser & Santelices, 2007；Kobrin等, 2008；Mattern & Patterson, 2014；Radunzel & Mattern, 2020；Radunzel & Noble, 2012；Radunzel & Noble, 2013；Sanchez, 2013；加州大学学术委员会, 2020；Westrick等, 2015）。这两个指标反映了学生的整体学术准备程度以及应对大学课程的能力。 韦斯特里克等人（2015）强调了ACT综合分数、高中平均成绩、社会经济地位与大学第一学年成功以及持续至第二学年的成功之间的关系。尽管这项研究没有直接检验这些指标对累积学分小时数的预测有效性，但大学第一学年的成功与更多的学分积累有关。戴维森和布莱恩舍普（2017）展示了大学第一学年获得的学分数与后续学术表现之间的密切联系，无论是在两年制还是四年制机构中。此外，阿德勒曼（2006）表明，完成至少二十个学分以取得学位是一个重要的毕业标准。拉杜泽尔和诺布尔（2012）也记录了高中平均成绩和ACT综合分数与学业进展（定义为获得的学分）及长期大学成功（如毕业）之间的重要关联。总体而言，这些研究证明了在高等教育中早期并持续的学术表现的重要性。 近年来的研究表明，高中累积平均分（HSGPA）的预测有效性在近年来有所变化。例如，桑切斯（2024a）研究了从2017年到2021年间HSGPA和ACT综合分数对大一学年平均分（FYGPA）的预测有效性。这一研究时期涵盖了由于COVID-19疫情导致的重大教育变革，结果显示，HSGPA在此期间从2017年的3.44上升至2021年的3.59，而平均ACT综合分数则从2018年的22.51下降至2021年的21.9。研究还发现，HSGPA作为预测FYGPA的有效性已经减弱，而ACT综合分数的预测能力相对稳定。尽管ACT综合分数略有下降，但这些分数仍然可靠地预测了FYGPA；在较高的FYGPA水平上尤为显著，某些学生的FYGPA可以达到4.0，而HSGPA无法做到这一点。1该研究强调了使用 HSGPA 和 ACT 综合评分来增强 FYGPA 预测的益处。 另一项最近的研究，Sanchez（2024b），探讨了高中累积平均分（HSGPA）、ACT综合分数与发展性课程安置之间的关系，并强调了自COVID-19大流行开始以来这些关系的变化。该研究发现，HSGPA与发展性课程安置之间的预测关系在不同学生群体中有所波动；这种波动可能是由于机构调整了对HSGPA的解释，导致成绩膨胀。另一方面，ACT综合分数被发现 在这项研究中，各群体之间的发展课程安置与之显示出更加一致的相关性。本研究还强调了在做出更加公平和有效的安置决策时结合使用多种评估指标的重要性。 在认识到HSGPA和ACT综合分数是早期和后期大学成功的重要预测指标，并且有证据表明近年来HSGPA与大学结果之间的关系发生了变化的背景下，本研究旨在进一步扩展我们的理解。具体而言，本研究探讨了HSGPA和ACT综合分数的预测有效性如何随大学第一学年累计学分的变化而变化。本研究关注以下研究问题： 自疫情爆发以来，累计学分绩点（HSGPA）与首年累积学分 earned 之间的关系发生了哪些变化？ 自疫情爆发以来，累计首年获得学时与ACT综合分数之间的关系发生了哪些变化？ 自疫情爆发以来，累计第一年学分获得时数与综合大学准备度指标HSGPA和ACT复合分数之间的关系发生了哪些变化？ Methods 分析样品 本研究使用了2017年至2021年参加ACT测试的公立高中毕业生的数据，作为学校日常测试项目的一部分，这里之后称为2018至2022届。我使用了一个采用ACT测试进行全省学校日常测试的单一州的数据；由于全省采用该测试，该州几乎所有公立高中毕业生都参加了ACT考试。研究对象包括在毕业后立即秋季入学的公立两年制和四年制机构的学生。主要结果是他们在大一结束时累积获得的大学学分，这里之后称为累积第一年获得的学分。分析样本包括20,916名在两年制机构注册的学生和40,194名在四年制机构注册的学生，共计61,110名来自该州32所机构的学生。选择该特定州的原因是可用的后续教育成果数据。 措施 ACT 综合评分 官方ACT综合分数是从该州毕业班记录中获得的，在分析中用到了这些数据。每位学生的ACT综合分数是在校内测试或全国统一测试中获得的。对于多次参加ACT考试的学生，使用他们在高中毕业前最后一次获得的分数。 累积高中 GPA(HSGPA) 自报告的英语、数学、社会科学和自然科学课程成绩平均值被用来计算每位学生的累积HSGPA。先前的研究表明，学生自报告的HSGPA与成绩单上的实际GPA高度相关，并且以往的研究支持使用自报告数据进行研究（Camara等，2003；Kuncel等，2005；Sanchez & Buddin，2016；Shaw & Mattern，2009）。 累计赚取小时数 对于每位学生，从其高等教育成绩单中获得了官方累积的第一年学时数。 数据分析 在研究中，学生被嵌套在不同的机构内。研究数据的校际相关系数（ICC）为0.103，这表明累积第一年学分差异中有相当一部分可以归因于不同机构之间的差异。为了应对这种嵌套关系，研究人员可以采用如分层线性模型或聚类稳健标准误等方法。在这项研究中，我使用了分层线性模型。估计了三个单独的回归模型。在这三种模型中，累积第一年学分是主要的研究结果，预测因子包括年级、机构类型（2年制或4年制）以及高中平均成绩（HSGPA）或ACT综合分数或两者兼有。此外，每个模型都允许随机斜率和随机截距。这是因为在确定随机变化的斜率和截距比仅随机变化的截距更适合该数据后所作出的选择。对于HSGPA模型，在随机截距之外还引入了随机斜率；对于ACT综合分数模型，在随机截距之外还引入了随机斜率；而对于结合模型，则在同一模型中同时引入了随机截距和针对HSGPA及ACT综合分数的随机斜率。研究未考虑学校或机构级别的特征。在这三个模型中，HSGPA和ACT综合分数均进行了标准化处理。 除了这些指标之外，减少了残差方差（即机构内部的方差）也被用来评估模型拟合情况。为了计算减少的残差方差，首先拟合一个基准模型以评估由机构嵌套无法解释的残差方差量。在后续的模型中，评估了这种残差方差减少的百分比，并可以将其解释为HSGPA、ACT综合分数以及联合模型解释的残差方差的百分比。 Results 描述性统计 表1展示了五组学生样本规模、平均ACT复合分数、平均高中绩点（HSGPA）以及前一年累计学分小时数，按机构类型进行分析。在每种机构类型内部及不同组别之间，学生的样本数量大致相当。对于就读于两年制机构的学生，2018年至2022年间平均ACT复合分数略有波动。对于就读于四年制机构的学生，这一分数从2018年的22.51下降到2022年的21.90。对于两种类型的机构而言，高中绩点（HSGPA）均有所提高。对于就读于两年制机构的学生，HSGPA从2018年的3.09上升到2022年的3.32；而对于就读于四年制机构的学生，HSGPA则从2018年的3.48上升到2022年的3.59。对于就读于两年制机构的学生，前一年累计学分小时数从2018年的21.34增加到2022年的23.16；而对于就读于四年制机构的学生，这一数值则略有下降，从2018年的32.37减少到2022年的31.56。 图1展示了在两年制和四年制机构注册的学生的高中绩点（HSGPA）分布情况，大多数学生的HSGPA高于约3.0。在两年制机构中，HSGPA在大约3.0以上的分布呈现出相对平稳的趋势。而在四年制机构中，HSGPA的分布极不均匀，大多数学生得分接近4.0。总体来看，两年制机构学生的平均HSGPA为3.20，四年制机构学生的平均HSGPA为3.51。四年制机构学生的分数变异较小（即标准差较小），相比而言，两年制机构学生的分数变异较大。 图2展示了两年制和四年制院校在校学生ACT综合分数的分布情况。总体而言，选择两年制院校的学生ACT综合分数低于选择四年制院校的学生。在两种类型的院校中，ACT综合分数的分布比高中平均 GPA（HSGPA）更符合正态分布。两年制院校学生的平均ACT综合分为18.51分，而四年制院校学生的平均ACT综合分为22.31分。两年制院校学生的分数分布变异性较低，这从较低的标准差中可以看出，与四年制院校相比，后者的学生分数分布变异性较高。 图3显示了参与两年制和四年制机构的学生累计第一年学时的分布情况。Mos谁在 2 年制机构注册 c mplete 30o小时或更短的时间。为学生赢得的累积第一年小时数的分布nr 2 年期机构是倾斜的。2平均累计第一次r 小时获得的学分对于就读于两年制机构的学生为21.81学分，对于就读于四年制机构的学生为 31.70学分。累计第一年所获学分的分布显示出更高的变异程度（即，标准差更大），这意味着就读于四年制机构的学生与就读于两年制机构的学生相比，其学分的波动性更高。 自疫情爆发以来，累计第一年学分绩点（HSGPA）与累计学时之间的关系发生了哪些变化？ 如层级模型系数所示，仅包括HSGPA时，2021和2022届相对于2020届，存在显著的正面群组与HSGPA的交互作用效应（图4）。相反，2018届相对于2020届，存在显著的负面群组与HSGPA的交互作用效应。此外，2022届和2021届相对于2020届也存在显著的负面主效应。另外，还