利用教技技巧改善东亚城市 K - 12 学生的学习 ： 前景与局限

© 2023国际复兴开发银行/世界银行1818H街西北华盛顿特区20433电话：202-473-1000互联网：www. worldbank. org 这项工作是世界银行工作人员与外部贡献的产物。这项工作中表达的调查结果、解释和结论不一定反映世界银行、其执行董事会或他们所代表的政府的观点。 世界银行不保证本工作中包含的数据的准确性、完整性或货币性，也不对信息中的任何错误、遗漏或差异承担责任，也不对使用或未使用所规定的信息、方法、过程或结论承担责任。本作品中任何地图上显示的边界、颜色、面额和其他信息并不意味着世界银行对任何领土的法律地位或对此类边界的认可或接受的任何判断。 本协议中的任何内容均不得构成或被解释为或被视为对世界银行的特权和豁免的限制或放弃，所有这些特权和豁免均已明确保留。 权利和许可——本作品中的材料受版权限制。由于世界银行鼓励传播其知识，因此只要赋予该作品全部或部分归属，就可以出于非商业目的复制该作品。 这项研究部分由中国-世界银行伙伴关系基金资助。 归因-NoahYarrow，CodyAbbey，SharonShen，KevinAlyono（合著者）。感谢和赞赏陈平仪，尼尔·布彻，迈克·米哈雷克，楚宇·宋，劳里·皮诺宁（撰稿人）和安德鲁·马森，迈克·特鲁卡诺和岳马（审稿人）。 本操作说明不构成世界银行政策或要求，也不是强制性的。这是一份定期更新的内部文件，不打算在世界银行之外分发。 有关权利和许可，包括附属权利的任何疑问，应向世界银行出版物，世界银行集团，华盛顿特区西北1818号H街，美国，DC20433；传真：202-522-2625；电子邮件：pubrights@worldbank.org。 封 面 照 片 信 用，阿 拉 米 库 存 照 片 和 世 界 银 行Flckr。 由Veronica Gadea设计。 Contents 摘要1 定义条款 2 限制和挑战：EdTech作为COVID-19后学习的一种手段回收3 1.1制定与政策相关的干预规模事项教训51.2“执行者效应”：非政府组织的教育干预与政府81.3考虑到实施异质性：吸收和剂量10 2.1COVID-19之前和期间的学习危机概述大流行132.2决策者与学生和家庭的经验之间存在“感知差距”EdTech18 前进：EdTech如何支持所有人的学习EAP21 3.1Recommendations21 Conclusion31 参考文献33 附件141 Abstract 我们使用全球和区域数据表明，使用EdTech改善EAP中的学生学习是可行的。我们提供的证据表明，广播/双重教师模型通常支持学生的学习收获，而其他方法，包括辅助EdTech，显示出希望。其他的，如电子阅读器、远程教师培训和人工智能干预，还没有在EAP背景下对学生大规模学习表现出积极的承诺。基于EAP地区和全球的证据，我们表明，随着EdTech干预规模的增加，对学习的影响通常会下降。最大的影响往往来自非政府机构进行的小规模干预，而不是政府的大规模干预。我们发现，随着EdTech在EAP地区的使用范围扩大，它往往会增加现有的学习不平等，因为。 并非所有的家庭和学校都能够有效地支付、访问和使用它。在EAP区域旗舰“修复基金会：东亚和太平洋地区的教师和基础教育”(Afar等人，2023年)的这篇配套文件中，我们介绍了一项对中等收入国家的区域调查的结果，该结果表明，与现有证据相反，大多数教育决策者认为，EdTech在COVID-19学校关闭期间有效地支持了学生的学习。我们在EAP中修改了几个基于证据的EdTech干预措施，包括“广播”或双教师模型，并呼吁对未来研究进行改进的方法，考虑影响的规模，剂量和异质性来评估EdTech干预措施。 术语定义 在本报告中，我们的主要重点是在东亚太平洋地区（EAP）地区的K-12学生群体中使用教育技术（EdTech）。1我们将EdTech定义为在教育中使用硬件，软件，数字内容，数据和信息系统，遵循“重新构想人类联系：教育中的技术和创新”（世界银行，2020年）。学生和教师使用不同的设备以语音，文本和视频格式交流和共享信息，他们使用政府，非营利组织和营利性公司建立的平台。在这种使用多样性中，我们认为基于广播和电视的教学是远程教育，但不是专门的EdTech，而我们认为使用一对一或群聊功能上的消息进行教学和学习是EdTech的使用。正如本文所讨论的那样，随着技术越来越成为包括教育过程在内的日常生活的一部分，这些区别变得越来越不明显。另一个概念是教育干预措施的吸收和剂量。虽然这两个术语通常与医学背景相关，但我们将“摄取”定义为教师和/或学生是否使用干预措施（Wilichowsi＆Cobo，2021;世界银行，2020），“剂量”是指提供的指导量，通常包括干预课程的数量和每次课程的长度（Maso＆Smith，2020）。 限制和挑战：EdTech作为COVID-19后学习恢复的一种手段 现有证据表明，EdTech在特定环境中有希望，但它是否能大规模改善学生的学习却很难说。在COVID-19大流行期间，高收入国家的平均学习损失相当于典型流行病年的三分之一到一半(Patrios等人。，2022年）。关闭学校时间 较短，远程学习计划实施速度较快的国家通常面临较低的学习损失水平（Patrios等人。，2022；夏迪等人。，2023年）。大流行期间学校长期关闭的一个重要教训是，EAP国家需要更具适应性和公平性的远程学习系统，该系统可在大流行、气候变化和其他风险的未来危机中使用。在本节中，我们提供证据来帮助回答以下问题：EdTech在支持从COVID-19大流行中恢复并解决EAP地区的人力资本缺口方面将如何有效？ 我们试图汇编所有已发表的对EAP教育干预措施的严格影响评估，包括对学生学习成果的测量。我们总共发现了52项教育研究，共有109项影响了EAP地区中等收入国家学生学习的影响，这些影响大小在COVID-19大流行之前、期间和之后稍稍发生。2其中24个是EdTech干预，19个专注于EdTech的特定模式：计算机辅助学习干预。3数据集中的其他EdTech研究的例子包括一项干预措施，向大韩民国的小学生提供数字教科书，用于社会研究和科学（Lee等人，2022年）；中国农村中学的IT投资和录制教学（Bianchi等人，2022年）；在与COVID-19相关的学校关闭期间为家中的学生录制课堂视频（Clark 作为“有技术”（而不是“EdTech”），因为技术是干预的一部分，但不是治疗的重点。我们注意到，鉴于其在社会中的作用，技术很可能在某种程度上存在于所有教育干预中，即使评估作者没有明确规定。 等，2021年）；以及中国针对农村中学生的“双师计划”，使他们能够在接受当地老师指导的同时观看城市精英学校的现场讲座（Li等，2023年）。 数据库中的非技术研究评估了旨在改善学生学习成果的 广 泛 教 育 干 预 措 施 ， 例 如 学 前 阅 读 教 学（Abeberese等 人 。 ，2011)， 基 于 社 区 的 游 戏 团 体(Brima等人。，2017a；麦克唐纳等人。，2017)，教师培训(Loyala等人。，2013；Fje和Tado，2018；L.张等人。，2013)，学生奖学金或教师的经济激励措施(Barrera - Os - orio & Filmer，2016；X。Che et al.，2013；Filmer & Schady，2009；Loyala等人。，2019a；Yi等人。，2015年)，以及旨在改善与学校表现不佳相关的学生健康结果的干预措施，如降低贫血或近视率(D等人。，2022；Wog等人。，2014；克莱曼-韦纳等人。，2013；Nie等人。，2020年；西尔维亚等人。，2013)。此外，还有一项研究涉及使用相机和社区参与来提高教师出勤率（Gadh等人。，2020)和另一个采用基于视频的教师开发工具(Che等人。，2020年）。这些类型的研究被分类。 在衡量EAP中等收入国家学生学习影响的52项教育研究中，我们观察到教育干预措施的效果大小存在很大差异。EdTech研究表现出最广泛的影响变化。尽管EdTech干预措施（在图1中显示为浅蓝色点）已显示出负面，无效和低影响的结果，但它们也占分布前四分位数的大部分影响。此外，我们数据集中的最大效应大小来自EdTech干预（0.978SD）。乍一看，这种可视化可能会让人相信，EdTech代表了分配边际投资资金以增强学生学习的最有前途的途径。然而，对每项研究的特征的深入研究揭示了一个更复杂的现实。 1.1干预规模事项，以汲取与政策有关的经验教训 我们样本中的大多数研究都是试点研究，这意味着它们不是大型教育干预或政策行动的一部分，因此仅在一小部分学生，教师和学校中运作。结果，研究人员经常不报告“总治疗大小”，因为“治疗样本量”（例如，接受干预的学生人数）与总治疗大小相同。只有19％（10出 在我们的EAP样本中，52）的研究报告了总体干预规模，重点是国家或地区层面的教育计划的影响。相反，81%（52个中的42个）没有披露总治疗规模，似乎是小规模的试点研究，导致了显著的研究文献差距。 为了说明缺乏完整的干预规模数据，我们采用了治疗样本 大小作为总治疗大小的不完美替代。我们数据集中的平均治疗样本量只有2,145名学生，我们没有涉及超过25,000名学生的治疗样本。虽然我们认识到进行高质量、大规模研究的成本和后勤挑战，但提供具有高外部有效性和可扩展性的数据是至关重要的，以使教育政策制定者能够依赖数据驱动的见解。 效果大小似乎随着治疗样本量的增加而下降，因为规模实施与实施试点计划非常不同（图2和表1）。根据与一些研究的作者的讨论，在研究过程中提供的高水平的专业知识和监控，涉及数百或数千名学生的研究，以及对教师和管理人员的技术支持和鼓励，可能会导致更高水平的治疗教师和学生。当这些较小的试验在没有相同质量和数量的支持和关注的情况下进行扩展时，相互竞争的优先事项和一切照旧的做法可能会对实施和影响产生负面影响。无论干预是EdTech，非技术还是在学习环境中涉及不同程度的技术，这种负关联都成立。 资料来源:世界银行，EAP教育干预，2023年。 根据我们现有的证据，很少有研究能让我们自信地预测任何全国性教育干预的影响，包括EdTech干预。Wecannotconfidentlypredictthelearningimpactofevenasubnationalscale-up.This issue is not unique toEdTechor EAP and is a major concerned in theeducationsectorandbeyond.4从这个意义上讲，我们的EAP数据集中的许多（如果不是大多数）教育研究更接近功效而不是有效性的研究。有效性试验（解释性试验）确定干预措施是否在理想情况下产生预期结果，而有效性试验（实用试验）则衡量“现实世界”临床环境下的有益效果程度。这有很大的，也有限制的。 对我们可以自信地向政府提供的关于在全国范围内实施特定EdTech和其他学习计划的预期学习影响的建议的含义。鉴于这些发现，我们认为EAP地区的研究人员必须专注于开展更大规模的有效性研究，为实施特定的EdTech和学习计划的现实世界影响提供可靠的见解，最终指导决策，这是至关重要的。 1.2“实施者效应”：非政府组织与政府的教育干预 除了干预规模外，实施活动的实体还影响研究的有效性（“实施者效应”）。在我们的EAP数据集中，产生最大影响的研究往往由非政府组织或其他非国家行为者如研究机构或智囊团进行（图3）。在EAP样本中，在效应规模的前10%中，11人中有8人(即73%)是由非政府组织实施的干预措施，而这些大效应干预措施中只有3人(27%)是由政府实施的。考虑效应大小大于或等于0.16 SD,。536人中有27人（占75％）与非