使用 PIRLS 数据评估埃及的成就变化

使用PIRLS数据评估埃及的成就变化 哈里·帕特里诺斯、马塞伊·雅库波夫斯基 和托马斯·加杰德罗维奇 © 2024国际复兴开发银行/世界银行1818 H Street NW 华盛顿特区20433电话：202 - 473 - 1000互联网：www. worldbank. org 这项工作是世界银行工作人员在外部贡献下的产物。这项工作中表达的调查结果、解释和结论不一定反映世界银行、其执行董事会或他们所代表的政府的观点。 世界银行不保证本工作中包含的数据的准确性、完整性或货币性，也不对信息中的任何错误、遗漏或差异承担责任，也不对使用或未能使用所规定的信息、方法、过程或结论承担责任。本作品中显示的边界、颜色、面额、链接/脚注和其他信息并不意味着世界银行对任何领土的法律地位或认可或接受这些边界的任何判断。引用他人创作的作品并不意味着世界银行认可这些作者表达的观点或其作品的内容。 本协议中的任何内容均不得构成或被解释为或被视为对世界银行的特权和豁免的限制或放弃，所有这些特权和豁免均已明确保留。 权限和权限 本作品中的材料受版权保护。由于世界银行鼓励传播其知识，因此只要给予该作品的全部归属，就可以出于非商业目的全部或部分复制该作品。 有关权利和许可，包括附属权利的任何疑问，应向世界银行出版物，世界银行集团，华盛顿特区西北1818号H街，美国，DC 20433；传真：202 - 522 - 2625；电子邮件：pubrights @ worldbank. org。 封面设计：Marianne Siblini 使用PIRLS Data1评估埃及的成就变化 Harry Anthony Patrinos，世界银行Maciej Jakubowski，华沙大学Tomasz Gajderowicz， 华沙大学2024年4月 Abstract 在全球COVID - 19学校停课期间，世界各地的学生成绩各不相同，但通常会下降。埃及明显无视这一趋势，显示出阅读分数的显着提高。利用国际阅读素养研究进展（PIRLS）的数据，人们观察到从2016年到2021年的48个百分点的显着增长，类似于两年的学术增长。性别差异缩小，男孩得分显著提高。这一增长是使用一个模型来确认的，该模型通过使用所有PIRLS轮次的数据预测最新的2021年结果与阅读成绩的估计线性趋势的偏差来分析2021年学生成绩的变化。采用Oaxaca -Blider技术，可以分解阅读间隙。值得注意的是，三分之一的进展来自无法解释的变量，暗示可能进行政策改革。由于大多数差异是无法观察到的，那么这可能是由于政策或系统的变化。 JEL代码: J15, I20 关键词：教育，考试成绩，埃及，PIRLS I.Introduction 大多数国家的学生受到COVID - 19大流行的负面影响。使用全球学生成绩数据表明，在平均停课时间的国家，学生成绩下降了相当于7个月的教育时间(Jabowsi等2023年)。关闭学校时间更长的国家经历了更大的学习损失。然而，一些国家的成就水平相似甚至有所改善。 在这里，我们使用了国际阅读素养研究进展（PIRLS）的证据，这是世界上最大的四年级学生阅读成绩国际测试。2021年版是在大多数国家因COVID - 19大流行而关闭学校后重新开放学校时实施的。 我们估计了埃及的成就变化，控制了PIRLS参与国家的整体时间趋势以及PIRLS样本中学生特征的变化。我们还报告了不同社会背景群体，年龄组，男孩和女孩以及不同成就水平的学生的结果。2016年至2021年期间，埃及的阅读成绩增加了48分，这几乎是两年的学习价值。我们通过使用所有回合的数据预测最新的2021年结果与估计的阅读成绩线性趋势的偏差，对2021年学生成绩的变化进行建模。改善的部分原因是男孩提高了阅读分数，并减少了与女孩的差距，女孩的表现仍然优于男孩。成绩最低的男孩的表现提高了约80分，约为标准差（SD）的2 / 3。 我们应用Oaxaca - Blider技术来分解阅读差距，以评估有多少差距是由于特征差异（解释变异），以及有多少是由于政策或系统变化（无法解释的变异）。Oaxaca（1973）和Blider（1973）在经济学文献中推广了用于分析收益差异的分解方法，尽管它在人口学中已使用较早（Kitagawa 1955）。尽管在经济学文献中，它首次用于分析男性/女性收入差异的决定因素，但此后一直使用分解技术来分析种族收入差异，公共/私营部门收入差异，收入。 社会经济背景的差异，以检验筛选假设，并检验职业培训计划的有效性，以及其他用途。自从在其他社会问题，包括教育，它可以用来评估有多少差距是由于特征的差异（解释变异），有多少是由于政策或制度的变化（无法解释的变异）。 阅读成绩的提高只有三分之一与解释变量的变化有关。其中，改善的结果主要是由于社会经济地位的提高。学校特色的改善和获得数字教科书的机会的改善与微小的积极变化有关。这意味着大部分测试分数的增加是无法解释的，或者换句话说，是由于特性返回的变化而不是由于特性本身的变化。换句话说，埃及能够在2021年更好地教育学生，无论这些学生的特点如何。由于大多数差异是无法观察到的，那么这可能是由于政策或系统的变化。 学校校长提供的信息可以帮助确定积极变化的来源，并为进一步研究提供途径。校长声称，计划指导和父母参与的合作有所增加。2016年，在中等或低合作的学校中，超过30%的学生在这样的学校中，到2021年，只有不到10%的学生在这样的学校中。在2016年至2021年之间，高度协作的学校的阅读成绩增加了40个百分点。 II.Data PIRLS 2021数据包括65个国家的结果和基准参与者。这是COVID - 19大流行后学生成绩的第一张国际图片。 我们的分析使用了来自56个教育系统的数据。我们比较了2001年、2006年、2011年、2016年和2021年的PIRLS评估结果。这些数据使我们能够估计PIRLS参与国家的总体阅读时间趋势。这与2016年至2021年埃及结果的变化形成对比。 PIRLS数据包括测量阅读成绩的合理值和有关学生社会人口统计学特征（例如，年龄，年级和性别）的信息。此外，来自PIRLS的微观数据允许估计不同成绩水平的学生的影响，测试成绩随时间的变化对于低成绩和高成绩学生是否相似。 III.经验战略 我们通过使用所有PIRLS轮次的数据（Jabowsi等2023年）预测最新2021年结果与阅读成绩估计线性趋势的偏差，对2021年学生成绩的变化进行建模。我们对来自所有评估和所有国家的汇总数据估计线性回归模型，假设所有国家的共同时间趋势。该模型由以下等式给出：。 其中i表示学生、j学校和k个国家，n等于国家数量。在这种情况下，大流行后收集的2021年数据D等于1，前几年为零。因此，￿捕获2021年和2021年之前的PIRLS轮次之间学生成绩的变化。国家固定效果由￿和时间趋势被捕获￿,而￿￿是人口统计学变量(学生年龄、年级和性别)的向量。 该模型允许获得国家特定的国家估计，这些国家只有两轮PIRLS的数据。通过包括国家一级的固定效应，我们可以控制未观察到的时不变国家特征。通过控制时间趋势，我们考虑了学生成绩随时间的整体变化，但有可能估计上一轮特定国家的成绩变化。 通常，PIRLS会在评估时间对10岁左右的四年级学生进行调查。但是，学生可能会更早或更晚参加考试。有些正在重复，有些正在提高年级。此外，一些国家决定对第三，第五甚至第六的学生进行测试 grade.此外，尽管大多数国家多年来对同一人口进行抽样，但有些国家改变了目标人口。最后，由于大流行，一些国家将评估推迟到五年级开始。为了考虑这些差异，我们还控制了学生年龄（10个假人，每个年龄分位数一个，以允许非线性年龄效应），学生等级以及平均年龄效应，计算为每个回合和国家的平均年龄。 PIRLS数据是通过复杂的分层调查收集的，学校作为初级抽样单位抽样，教室与学生在第二阶段抽样。我们使用PIRLS数据库提供的jackknife重复权重来估计抽样误差。我们使用阅读成绩的合理值调整测量误差。 Oaxaca - Blider技术最初用于劳动经济学，以分解收入差距并估计歧视程度。它已被应用于其他社会问题，包括教育，它可以用来评估有多少差距是由于特征的差异（解释变异）和多少是由于政策或制度的变化（无法解释的变异）（Ammermeller 2007；Barrera - Osorio等人2011）。我们应用分解技术来分析埃及阅读分数的增加。根据对认知成就生产函数的估计，将随时间的差距分解为其组成部分。 IV.Results 虽然大多数国家由于学校关闭而在COVID - 19期间遭受了重大的学习损失(Jabowsi等人。2023年），一些人提高了得分。最大的改进是在马耳他和几个中东和北非国家。图1显示了埃及和其他参与这两轮PIRLS的国家在2016年至2021年之间的成就变化。埃及是成就有所改善的国家之一。 基于模型的估计是通过假设PIRLS成就的共同时间趋势但具有特定国家的固定效应而获得的（表1）。对埃及的估计如图2所示。这将未调整的成就变化与基于模型的2021年成就变化估计进行了比较，并将埃及与所有其他参与者进行了比较。第一个条显示了埃及PIRLS结果的原始未调整变化，如图1所示。接下来的三个柱显示了基于模型的估计。埃及基于模型的估计值大于原始估计值，因为其他参与PIRLS的国家在2021年的阅读成绩大幅下降（请参阅Jabowsi等人。2023年）。 埃及国内阅读成绩的差异大于PIRLS的平均水平。表2比较了2016年和2021年学生成绩的标准偏差。由于PIRLS量表的标准偏差等于100，这些数据显示埃及学生成绩的差异更大。表2还提供了按性别划分的结果，显示男孩之间的差异更大。 从2016年到2021年，学生的阅读成绩差异有所下降。此外，2016年至2021年期间，男孩的阅读成绩差异更大。另一方面，男孩的成绩差异仍然大于女孩。 在埃及，与大多数国家一样，女孩在阅读方面的表现更好。2016年，性别差距约为37分。然而，在2016年至2021年之间，性别差距缩小到16分。图3显示，2016年至2021年埃及阅读成绩的整体提高是由成绩最低的学生的大幅提高推动的，特别是 男孩。图3还比较了分位数的阅读成绩，从第1分位数（成绩最低的学生）到第9分位数（成绩最高的学生）。成绩最低的男孩（第1和第2分）的表现提高了约80分，约为标准差的2 / 3。成绩最低的女孩的表现提高了约40 - 50分，不到标准差的1 / 2。在阅读成绩分布的顶部，女孩的成绩提高了约30分，男孩的成绩提高了约40分。 图3中显示的绩效分位数的绩效变化解释了为什么绩效的总体差异在2016年至2021年之间发生了变化。成绩最低的学生的较大改进导致整体阅读成绩差异下降。此外，与女孩相比，男孩，尤其是表现最差的男孩，更大的进步导致男孩的阅读成就差异下降。 V.分解阅读成绩随时间的变化 我们比较了PIRLS 2016和PIRLS 2021的数据，以使用选定的变量解释成就变化。为了便于回归和分解分析，测量阅读活动、指导和阅读后提问的单个项目被用来构建三个 指数。这些指数是使用IRT 2PL和IRT GPRM模型对2016年和2021年数据进行汇总估计的。同样，SES指数是使用有关书籍数量，父母的教育和家庭财产的信息构建的。最后,构建了基于主体意见的学校特色指数。附件表1提供了所有变量的描述性统计数据，包括每个IRT衍生指数的单个问卷项目。 所有解释变量均使用调查权重对合并的2016年和2021年样本进行标准化为z分数，以允许解释回归和分解系数。此外，所有变量都被重新编码，因此预计较高的值与阅读成绩呈正相关。阅读评估结果保留在原始的国际PIRLS量表上。因此，例如，系数13.5可以解释为在PIRLS国际量表上显示的差异等于13.5点，这与埃及四年级人口的解释变量的1个标准偏差的变化有关。考虑到2