第三轮贸易调整援助社区学院和职业培训第三方评估的影响结果综合

研究报告第三轮贸易调整援助社区学院和职业培训第三方评估的影响结果综合丹尼尔库恩劳伦·艾斯特 2020 年 7 月B U I LD IN GAMERI CA 的工作团队 免责声明本报告由城市研究所为美国劳工部 (DOL) 首席评估办公室编写，合同编号为 DOLU139634689。所表达的观点是作者的观点，不应归因于 DOL，提及商品名称、商业产品或组织也不意味着美国政府对此的认可。关于城市学院非营利性城市研究所致力于提升关于社会和经济政策的辩论。近五年来，城市学者进行了研究并提供了基于证据的解决方案，以改善快速城市化世界中的生活并加强社区。他们的客观研究有助于扩大所有人的机会，减少最弱势群体的困难，并加强公共部门的有效性。允许复制此文件，并注明作者。蒂姆·梅科的封面图片。建议引用：库恩、丹尼尔和劳伦·艾斯特。 （2020 年）。第三轮贸易调整援助社区大学和职业培训第三方影响评估的结果综合. （研究报告）。为美国劳工部首席评估办公室准备。华盛顿特区：城市研究所。 内容致谢一世概括ii1.介绍11.1.途径21.2.1.3.发现132.发现162.1.受赠人162.2.发现223.影响363.1.分析363.2.发现393.3.赠款594.结论644.1发现644.2倡议65途径68参考69作者72声明独立73表格和数字 图 ES.1 TAACCCT 赠款所有轮次中授予的赠款和第三方影响评估 viii桌子ES.1第 3 轮 TAACCCT 赠款的教育方向和就业影响估计项目X图 1.1 TAACCCT National 确定的策略类型评估4图 1.2 TAACCCT 各轮授予的资助和第三方影响评估赠款7图 1.3 TAACCCT 各轮第三方评估要求赠款7图 1.4 提出了衡量结果和影响的各种方法的评估计划，轮次1–49图 1.5 提出各种数据源、轮次的拨款评估2-411图 1.6 提出不同来源的比较组、轮次的拨款评估1-412表 2.1 第 3 轮评估与 TAACCCT 教育和/或就业结果的准实验结果参与者18表 3.1 估计 TAACCCT 项目对参与者的影响的结果，选定的第 3 轮赠款第三方评价37表 3.2 第 3 轮评估与 TAACCCT 的教育和/或就业结果的准实验结果参与者42 A C K NO W L EDG M E NT S一世致谢作者所表达的观点不应归因于城市研究所、其受托人或其资助者。资助者不决定研究结果或城市专家的见解和建议。有关城市研究所资助原则的更多信息，请访问 www.urban.org/support。作者要感谢第 3 轮 TAACCCT 赠款的许多评估者。他们的评估报告的结果是本报告的基础，并有助于建立有关在社区大学为成人学习者服务的职业途径方法的证据。我们感谢城市研究所的 Greg Acs 对本报告草稿提出的宝贵意见。我们还要感谢美国劳工部 (DOL) 首席评估办公室的项目官员 Janet Javar 和 Chayun Yi，他们在本报告的编写过程中提供了有益的指导和意见。 DOL 就业和培训管理局的战略投资部团队，特别是 Cheryl Martin、Robin Fernkas、Eugenie Agia 和 Evan Burke，也支持这项工作。 ii执行摘要执行摘要贸易调整援助社区学院和职业培训 (TAACCCT) 赠款计划向提供两年或更短课程的高等教育机构（主要是社区学院）提供了 19 亿美元，以建设其为需要劳动力的成年人提供劳动力教育和培训的能力需求工作的新技能。从 2011 年到 2018 年的赠款计划还旨在解决其他关键问题——改变教育和劳动力系统以更好地连接和整合，更有效地满足雇主对技术工人的需求，以及改变社区学院提供教育和培训的方式给成人学习者。该报告是 TAACCCT 国家评估的一系列出版物的一部分，该评估涵盖了四轮资助。1 本报告侧重于第三轮，综合了 23 轮第 3 轮受资助者赞助的第三方评估的结果，评估了 TAACCCT 对参与者教育和就业成果的影响。综合解决了 TAACCCT 国家评估中的一个关键研究问题：哪些服务提供和/或系统改革创新可以改善就业成果并提高参与者的技能？为了解决这个问题，城市研究所的研究人员审查了 56 份最终评估报告，以确定哪些评估使用了评估赠款项目对参与者结果影响所必需的准实验方法，然后总结了调查结果。2在这 56 份报告中，研究人员发现 23 份评估符合这些标准，可以纳入综合报告。由于大多数项目捆绑了多种策略并联合评估它们，因此综合无法评估特定策略对参与者影响的贡献。它只能提供广泛的证据，证明受助者实施的策略是否普遍改善了教育和就业成果。1TAACCCT 国家评估的所有出版物均可在 DOL 的首席评估办公室网站上找到，网址为 https://www.dol.gov/agencies/oasp/evaluation/completedstudies。2 正如第三方评估人员所报告的那样，该综合并未总结参与者的结果。结果类似于受助人向 DOL 报告的绩效结果。 DOL 单独发布此信息，计划摘要可在 https://doleta.gov/taaccct/pdf/TAACCCT-Fact-Sheet-Program-Information.pdf 找到。此外，可在 https://www.urban.org/research/publication/early-results-taaccct-grants 上找到关于 TAACCCT 赠款的早期结果以及绩效结果信息的简介。 S Y N TH E S I S OF I M P A C T F I N DI N GS F R O M R O U N D 3 T AA CC CT T H I R D - PART Y E VA L U AT I ON S三背景国家评估旨在建立有关受资助者实施的能力建设战略和职业途径方法的证据。3 除了国家评估之外，受赠方还采购了第三方评估人员作为其资助项目的一部分。国家评估的一个关键组成部分是综合第三方评估的结果，以了解已实施的职业路径方法和系统创新，并评估它们对参与者的教育程度和就业结果的影响（见框 ES. 1）。框 ES.1TAACCCT 国家评估组成部分和本报告一个实施分析（第 1 至第 4 轮）服务提供方法的开发和系统通过基于对大学的调查和对选定大学的访问的赠款进行更改综合第三方评估结果（第 1-4 轮）绘制全国 TAACCCT 能力建设战略实施情况，并为参与者教育和就业成果战略的有效性建立证据第 3 轮贸易调整援助社区学院和职业培训第三方评估的影响结果综合——最终报告（本报告）一个结果研究的 9 名第 4 轮受助者使用调查数据和管理记录来更好地了解 TAACCCT 参与者的特征、他们的服务收据和他们的教育和就业成果一个雇主关系研究与选定的第 4 轮雇主合作伙伴一起，以更好地了解雇主对如何发展和保持与大学的牢固关系的看法本报告介绍了 23 轮第 3 轮第三方评估的最终报告中的影响结果，这些评估提供了准实验影响分析。4 DOL 鼓励第三方评估人员对影响分析使用最严格的可行设计——即实验和准实验评估设计。5由于本报告中讨论的挑战，没有一个3出于国家评估的目的，劳动力发展的职业路径方法在行业部门的职业之间提供明确的教育和培训步骤，并结合支持服务，使个人能够进入和退出各个级别，并随着时间的推移提升到更高的技能，公认的证书，以及更高薪水的更好工作。4虽然有 57 名第 3 轮受助人，但仅提交了 56 份最终评估报告。5 一个实验设计随机分配个人参加或不参加 TAACCCT 项目，因此由于评估者对治疗分配的控制权，结果差异可以更确定地归因于 TAACCCT。在实验中，可以将参与者的经验与非参与者的经验进行比较，以估计 TAACCCT 项目的影响。一个准实验设计如果参与者不能被随机分配，则使用，可能导致混淆之间的差异 iv执行摘要授予 256 项资助2011 2018第1轮49 赠款第二轮79 项赠款第三轮57 项赠款第四轮71 项赠款2 第三方影响评估9 第三方影响评估23 第三方影响评估25 第三方影响评估美国劳工部就业和培训管理局贸易调整援助社区学院和职业培训 (TAACCCT) 补助金第 3 轮第三方评估人员使用了实验性评估方法，不到一半（56 名中的 23 名）评估员使用了准实验方法（有关各轮影响分析的数量，请参见图 ES.2）。其余的第三方评估者使用回归分析等方法，将结果作为因变量包括在内，或对参与者的结果进行分析，没有对照组。尽管回归分析和结果分析提供了丰富的信息，但这些方法并非旨在估计项目影响。所有第三方评估都包括实施分析，作为国家评估的一部分，已针对第三轮单独编写了一份综合报告。第 4 轮第三方评估的结果也综合在一份单独的报告中。图 ES.2TAACCCT 赠款所有轮次的赠款授予和第三方影响评估资源：城市研究所对第三方评估报告的全面审查。笔记：只有一部分第三方评估包括影响分析。城市研究所的研究人员审查了第 3 轮第三方评估，以确定影响结果是否符合准实验方法的基本标准。6被包含在这个参与者和非参与者。参与者和非参与者之间的混淆差异可能是与治疗状态和结果相关的一些因素，但不是由治疗引起的。例如，在培训计划中，个人培养技能和提高自己的潜在、无法衡量的动机是一个潜在的混淆因素。在准实验设计中，研究人员试图对这些差异进行统计控制，通常通过将参与者与类似的非参与者相匹配和多元回归模型相结合。准实验设计的质量很大程度上取决于设计能否成功控制混杂因素。6作者回顾了第 3 轮第三方评估机构用于实施准实验评估的方法，以确保方法符合基本标准。第三方评估人员必须使用 S Y N TH E S I S OF I M P A C T F I N DI N GS F R O M R O U N D 3 T AA CC CT T H I R D - PART Y E VA L U AT I ON Sv综合而言，影响评估必须使用公认的准实验方法，以确保治疗组和对照组之间的结果差异是对项目影响的有效估计。这里讨论的每个准实验影响评估都有自己的优势和劣势，以及克服方法挑战的策略。纳入本综合仅表明第三方评估人员使用了准实验设计，并不反映任何个别研究的质量或可靠性。因此，第 3 轮第三方评估的有效性证据只是提示性的，因为这些方法尚未经过全面审查。影响结果的综合表 ES.1 总结了 23 项影响分析的结果。如果至少一项估计是积极的且具有统计学意义，并且没有提供主要结果，则认为影响是“积极的”7为负且具有统计学意义； “负”，如果至少一个估计是负的且具有统计显着性，而没有一个估计是正的且具有统计显着性；如果存在统计显着的正面和负面估计，则为“混合”；如果没有统计上显着的估计值，则为“无影响”。总体而言，调查结果主要强调了赠款项目对教育和就业成果的积极影响。在报告对教育成果的影响估计的 22 项评估中，13 项显示出始终如一的积极影响，一项显示出负面影响，三项显示出统计上不显着的结果（无影响），五项评估显示出不同的结果。有 11 项评估提供了对参与者就业结果的影响估计；其他人不包括就业成果，通常是由于数据限制。在这 11 项评估中，有 6 项表明赠款项目对就业成果产生了积极影响，1 项具有负面影响，4 项在统计上没有显着影响。虽然第 1 轮和第 2 轮影响综合中包含的评估较少，但其结果遵循与第 3 轮影响调查结果相似的模式。识别项目影响的公认实验或准实验方法。在几乎所有情况下，评估者都使用某种形式的倾向得分匹配。单独的回归分析不足以包含在这个综合中，因为单独的回归模型不能完全解释参与者与非参与者不同的非随机方式的风险。并非所有这些准实验评估都执行得很好或令人信服。本报告讨论了在评估中执行准实验方法的主要弱点。7 一些影响研究有额外的详细亚组分析。如果没有提供总估计值，本报告使用个别大学的亚组分析作为主要结果，否则不报告所有亚组分析。 六执行摘要表 ES.1第三轮 TAACCCT 资助项目的教育方向