脆弱环境下积极劳动力市场政策成效评估指南

本报告由欧洲培训基金会编制。作者：Eva Jansova（欧洲培训基金会），Piotr Stronkowski（欧洲培训基金会） 在引用本报告时，请使用以下措辞： 欧洲培训基金会（2026年），脆弱环境下积极劳动力市场政策影响评估指南，欧洲联盟出版局，卢森堡 卢森堡：欧洲联盟出版局，2026 PDF: ISBN 978-92-9157-761-3 doi:10.2816/4048295 报告内容由ETF单独负责，不一定反映欧盟机构的观点。 © 欧洲培训基金会，2026年 除非另有说明，否则本文件的再利用根据知识共享署名 4.0 国际许可协议（CC BY 4.0）（https://creativecommons.org/licenses/by/4.0/）获得授权。这意味着，在适当署名并标明任何修改的前提下，允许再利用。对于任何由欧洲培训基金会（ETF）不拥有的照片或其他材料的任何使用或复制，都必须直接获得版权持有者的许可。 前言 随着各国政府面临预算限制以及有效高效使用公共资金的压力，确保资源用于提供高经济和社会回报的服务至关重要。因此，有必要以定期和严格的方式对政策与项目进行监控与评估，以便根据既定目标调整现有政策与项目，提升其绩效。 行动学习计划（ALMPs）。考虑到研究周期，它为不同阶段提供指导，例如：（a）规划阶段，包括所需资源（资金、人力、研究基础设施）、预期时间表、最常见的研究设计类型以及数据收集工具的示例；（b）实施阶段；以及（c）分析和沟通阶段。 这些指南由ETF专家伊娃·扬索娃和皮奥特·斯特隆科夫斯基制定，其内容基于通过多次同行学习活动收集的反馈意见，其中包括一场题为“脆弱社会经济和冲突后背景下积极劳动力市场政策的有效性”的活动，该活动于2024年6月26日至27日在布鲁塞尔举行；以及另一场题为“在教育、就业和培训中构建证据生态系统：一场同行学习活动”的活动，该活动于2025年4月8日至10日在开罗举行。指南内容还参考了为“评估脆弱环境中的积极劳动力市场政策：ETF伙伴国评估研究中的见解与经验”这一专题研究编写的背景材料。 为支持主题智能及积极劳动力市场政策（ALMPs）的设计、部署和成果方面的巩固与交流，ETF倡议专注于分析脆弱环境下ALMPs的有效性，以期为ALMPs的设计提出具体建议，并为改进已实施措施和服务的监测与评估提供参考。 本文主题报告的关键目标在于提出指导方针，为（影响）评估的设计与实施提供实用且详细的说明。 目录 为什么评估会失败 26 引言1.1 为谁 61.2 为何 6 评估实施 446.1 委托评估与管理外部评估员 446.2 现场工作 49 规划评估 305.1 评估计划作为更好地将评估与政策周期相结合的工具 30 为什么在脆弱环境中评估有所不同？ 评估使用 54 积极劳动力市场政策影响评估导论 12 强化机构，以恰当设计和使用评估 3.1 基于理论的影响评估 133.2 因果归因与（准）实验设计 16 1 简介 评估积极劳动力市场政策（ALMPs）对于理解其在改善就业成果和支持社会包容方面的有效性至关重要。随着政府和国际组织在职业培训、就业补贴或公共工程计划上投入大量资源，系统的评估应确保此类干预措施实现预期目标。 在脆弱环境中，研究可能因各种因素而面临挑战，包括缺乏现有数据、原始数据收集的可行性、项目目标的波动性或监测评估体系的薄弱。在这种情况下，计划中的研究应仔细考虑评估方法的合理性与其实施的可行性。 本指南旨在提供关于如何设计、实施和利用社会援助项目影响评估的实用指导，涵盖评估规划、实施和利用等各个阶段。虽然所涵盖的大多数要素适用于任何类型项目或背景的评估，但特别关注将在脆弱环境中开展评估，以及在这种情况下所需的特殊考虑。 以严谨的方式实施评估并采用科学的方法对于生成可信可靠的证据至关重要。精心设计的评估能够确保干预措施所产生的观察结果可归因于措施本身而非外部因素。这有助于做出明智的决策、高效使用公共资金，同时也能增强利益相关者之间的问责制和信任。然而，开展评估 1.1 为谁 本指南旨在为制定和实施积极劳动力市场政策的关键参与者提供参考，例如各部委、公共就业服务机构，也包括国际参与者，如捐助组织或欧盟代表团，它们通常负责为旨在支持不同目标群体就业能力的项目提供资金或实施。因此，本指南并非旨在提供深入的技术指导，而是旨在使委托评估的人员具备足够的知识，以便能够采购和评估所开展研究的质量。 本指南的主要目标是提供关于如何设计和实施针对不同（弱势）群体就业支持项目的评估的实用指导，同时特别关注脆弱环境中的挑战，例如贫困、社会排斥以及由于冲突或治理薄弱导致的不稳定，这些挑战可能无法通过标准的评估方法得到充分解决。 尽管已有大量资源为研究人员和实践者提供关于影响评估方法的技术指导，我们仍试图在此基础上做出贡献，并专门针对积极劳动力市场政策的评估问题以及脆弱性带来的复杂性进行探讨。因此，这些指南旨在提升负责委托此类研究以及/或在脆弱环境中运作的行动者的能力，使他们能够规划、开展或利用评估结果，以设计出具有环境适应性和影响力的干预措施。 1.2.1 盒子1：脆弱环境在发展和全球事务领域，“脆弱环境”指的 经合组织（OECD）（2022）从六个维度衡量脆弱性： 是国家、体系或社区面临高风险且应对能力有限的情况。脆弱性可定义为风险暴露与管理和缓解此类风险能力不足的结合。这通常会导致暴力、贫困、不平等、流离失所以及环境或政治衰退。 经济：来自薄弱经济结构的风险，包括宏观经济冲击、青年失业和财政管理不善； 环境：面临气候变化、自然灾害、污染和健康危机的风险； 政治：治理问题，如包容性不足、透明度缺乏及国家合法性挑战； 安全：来自暴力、犯罪以及执法薄弱（包括非国家武装团体）的威胁； „„社会性的由不平等引发的社会分裂歧视，以及受限的公民社会；人健康、教育和人类发展，尤其影响弱势边缘群体 第六章深入探讨实施、应对，以及最重要的是如何委托评估、管理外部评估人员、确保质量以及降低风险。第七章着眼于利益相关方参与的重要性、有效沟通评估结果，以及培养从评估结果中学习并促进经验教训未来实施的文化。总之，第八章探讨了机构在正确设计和使用评估中的作用，特别是在脆弱环境中。 1.3 如何导航指南 本指南分为若干章节。第二章重点阐述评估实施相关的具体挑战，尤其关注脆弱环境。第三章介绍评估研究，重点为影响评估设计。第四章探讨评估失败的原因，并强调加强制度建设对有效学习和评估的重要性。第五章聚焦评估规划，包括设定目标、选择恰当方法和预算编制。 2 2 为什么在脆弱环境中评估有所不同 在脆弱环境中对援助型就业计划（ALMP）进行监测与评估通常被认为充满挑战。这些环境动荡且时常变化，可能导致项目目标更加动态，同时也需要不断调整监测与评估方法。脆弱背景下的劳动力市场环境也可能错综复杂，使得人们难以确定和衡量干预措施对ALMP成果的影响。 脆弱环境中实施评估研究所面临的特定挑战可归纳如下（ETF，2025）： 波动性、敏感性和偏差 在脆弱环境中，开展评估往往需要灵活性和对当地环境的敏感性。这可能包括对干预逻辑和评估设计的调整，以确保结果及时且有效。此外，评估人员必须考虑所有利益相关者中潜在的敏感性，因为某些发现或表述可能导致紧张局势。遵循“不造成伤害”原则至关重要，可能需要评估人员行使审慎或自我克制。此外，在脆弱环境中工作可能会使评估人员更容易受到相关方更强偏见的影响，这突显了方法论严谨性和客观性的重要性。 在这样的环境下，社会保护计划通常需要结合具体情况进行调整，并“注重细节”，以避免产生非预期的负面影响。因此，监测与评估过程不仅要评估项目成果，还要评估与脆弱性相关的风险如何影响项目的实施。此外，还需要监测国家环境的总体变化，以确定项目目标、实施方式或合作伙伴关系是否仍然恰当和有效。 评估实施过程中的局限性 时间有限，资源有限 在脆弱环境中实施对有条件现金转移项目的评估面临着多重挑战，这些挑战可能损害研究的准确性、代表性及伦理正当性。例如，招募评估人员前往高风险地区工作通常很困难，同时确保他们的安全也会增加运营成本。此外，评估人员可能需要接触特定社区和目标群体，这在后勤和政治上可能很复杂，并进一步影响可靠数据的收集可能性。 在脆弱环境中，影响评估在设计、实地调研和分析阶段面临时间与资源有限等限制。资金不足和应急计划不力可能削弱在意外挑战出现时进行严谨评估的能力。在这种情况下，研究人员往往需要在所使用方法的质量与严谨性及其实施可行性之间做出妥协。此外，快速干预的紧迫性也可能导致在建立全面评估框架之前就实施项目。项目设计与评估之间的这种脱节可能限制建立清晰基线或指标的能力。在这样的环境中，可能有必要侧重于基础可靠的评估方法，而非那些可能失败的大胆设计。 此外，方法论上的挑战——这些挑战通常适用于任何类型的评估——例如选择偏差、随机化的伦理问题以及样本量不足，都可能削弱评估结果。传统的impact评估技术依赖于建立有效的对照组，但在脆弱环境中，这既可能从伦理上又可能从实践上不可行。小规模的干预措施往往缺乏得出可靠结论所需的统计效力。 项目实施中的挑战，例如低入学率、高辍学率或难以吸引弱势群体，更不用说高流失率，进一步增加了评估的复杂性。这些问题可能导致自我选择偏差，需要采用高级统计方法来减轻这些偏差并保持评估结果的效度。在有些情况下，采取成本效益高的策略，如进行面对面随访和激励参与者，已被证明是有效的。 有效的监测与评估。这些挑战可能因评估文化薄弱，或更广泛地说，因决策中证据使用受限而加剧。因此，在建立和维护提供ALMP评估的系统方面，往往依赖于捐助机构。 此外，由于时间有限、资源不足和政策优先事项冲突等限制，国家机构的代表可能对评估工作贡献甚微。此外，盛行的机构文化可能低估评估在学习和改进中的作用，导致评估结果在项目改进和政策制定中未能得到充分利用。 脆弱的制度和有限的证据文化 在脆弱环境中，公共管理和公民机构可能会对开展影响评估和使其具有可操作性构成挑战。有限的制度能力会阻碍积极劳动力市场政策的监测与评估的设计、实施和使用。这包括必要数据获取受限或质量不高的问题，例如。 3 主动劳动力市场政策（ALMP）影响评估导论 影响评估旨在量化干预措施（如公共就业服务提供的培训）对所观察到变化的贡献程度。例如，如果失业人员参加了公共就业服务机构提供的培训，并随后找到了工作，相关的影响评估将评估该培训对其就业的贡献程度。 影响评估有两种基本方法。第一种侧重于判断干预措施是否产生了影响，而第二种则强调理解干预措施产生影响的原因和方式。 第一种方法构成了反事实影响评估（CIE）的基础，该方法通常生成定量数据，显示处理组和对照组结果之间的差异，这些差异可归因于干预措施的因果效应。尽管被视为影响评估的“黄金标准”，但CIE存在局限性，主要体现在：未能充分考虑不同群体或环境之间的差异、不适用于复杂的干预措施、普遍性有限，以及侧重于短期且易于衡量的结果。尽管存在这些缺点，但其方法论仍然稳健。 影响评估的另一个重要方面是理解变化发生的原因。解释变化背后的机制及其后续结果至关重要。具体问题包括： 干预是否产生了影响？干预对谁、在什么情况下、以何种方式产生了影响？干预产生了多大程度的影响？具体影响在多大程度上可以归因于干预？干预是如何产生影响的？ 第二种方法被称为基于理论的 impact 评估（Theory-based Impact Evaluation，简称 TBIE）。该方法旨在 对驱动变革和产生影响的机制有更深入的理解。它有助于那些负责设计和实施干预措施的人了解干预措施为何会产生预期和非预期效果，影响对象是谁，以及在何种背景下产生影响。TBIE 也因产出叙事数据而非数值数据而受到批评，这种数据可能被认为不够严谨和可靠，且更容易受到轶事证据的影响。尽管如此，对TBIE 采用严谨的方法论方法可以为干预措施提供富