本地知识、正式证据和政策决定

10994 本地知识、正式证据和政策决定 伊娃 · 维瓦尔特 · 艾丹 · 科维尔 · 桑帕达 KC 政策研究工作文件 10994 Abstract 当政策制定者在做出政策决策时，他们是如何评估本地专家提供的建议与来自影响评估的正式证据的价值的？通过与世界银行和美洲开发银行合作进行的一项离散选择实验，我们展示了政策制定者愿意接受一个其在校入学率影响估计效果小5个百分点且由本地专家推荐的项目。他们也 优选项目基于不同地区证据的支持，而非仅依赖本地评估支持的项目，如果前者估计影响高出5.8个百分点，则优先考虑。这些溢价数额较大，超过了许多旨在提高入学率项目的效应。这突显了政策制定者对本地证据的高度重视。 这篇论文是由发展影响评估小组（Development Impact Evaluation Group）和经济发展部门共同完成的。它是世界银行为提供研究成果的开放访问并为全球发展政策讨论做出贡献的一项更大努力的一部分。政策研究工作论文也在网上发布，网址为http://www.worldbank.org/prwp。作者可以联系acoville@worldbank.org。 本地知识、正式证据和政策决定 伊娃 · 维瓦尔特∗艾丹 · 科维尔†Sampada KC‡ JEL 代码 ：D04, O21, O22.关键字:循证政策 ； 离散选择实验 ； 外部有效性。 1 Introduction 近年来影响评估的显著增加意味着政策制定者比以往任何时候都拥有更多的正式证据来指导关于推行哪些政策的决策。同时，政策制定者往往依赖当地专家的建议，而关于当地专家对未来不同项目效果预测能力的共识存在显著分歧（例如，Bessone等人，2021；Milkman等人，2022；Iacovone等人，2023）。我们通过离散选择实验考虑了政策制定者在多大程度上重视当地专家的建议，以及相对于影响评估结果他们有多重视这些建议，并探讨了哪些特征使得影响评估更有可能影响政策制定者的决策。研究发现，政策制定者对当地专家的建议给予了相当大的权重，同时也重视其国家内的影响评估证据。这突显了如果影响评估要指导政策决策，生成被认为具有上下文相关性的证据的重要性。 我们在中国银行（World Bank, WB）和美洲开发银行（Inter-American Development Bank, IDB）的影响评估研讨会中进行了离散选择实验。WB的工作坊旨在作为“撮合”活动，连接希望利用影响评估证据来指导其项目的政府官员与支持此类评估设计的研究人员。IDB的工作坊则旨在为政策制定者和政策实践者提供培训，以提高他们对影响评估的认识和理解。参加这两种类型工作坊的参与者显然对影响评估感兴趣，并且处于项目和政策决策的第一线，这使他们成为本研究特别相关的目标群体。我们将除研究人员之外的这些工作坊参与者统称为“政策专业人士”，并进一步细分为政府部门（government）、非政府组织（NGO）和其他相关机构（other relevant institutions）等类别。政策制定者) 和国际组织工作人员 (政策实践者). 根据他们正在开展的项目和所在组织的角色，识别并邀请个人参加研讨会。目标是确保决策权团队、项目知识和日常跟进能力的代表能够参与。具体而言，每个在研讨会上代表的项目平均包括五名项目团队成员：一名高级政策制定者以确保决策权力，一名来自政府的项目负责人以及一名国际组织的项目负责人，以确保每个项目的必要知识可用，还有初级分析师或监控人员。 评价（M&E）官员以支持后续活动。该团队与研究人员合作一周，旨在开发评价以指导项目设计。这是一个相关样本，因为典型的世行/IDA资助项目是通过这些角色人员的互动来开发的。1每个类型的政策专业人士的详细资料及其在项目和政策决策中的角色可以在附录中找到。 我们对190名政策专业人士进行了调查，为他们提供了与不同影响评估结果相关的项目描述，并要求他们在这些项目中进行选择。这些项目的影響評估附帶的識別策略、地點、影響以及估算精度各不相同。我们将比较参与者如何权衡這些影響評估結果，以及来自当地专家的意见。 我们发现，政策制定者在评估项目时相对重视情境因素，例如当地专家是否推荐了该项目，以及该项目是否在其国家内经过影响评估。这可能是因为他们担心在一个特定环境下的严格证据是否能够适用于另一个环境（Pritchett和Sandefur, 2015；Vivalt, 2020），尤其是在论文仍较为地理集中时（Leight, 2022）需要考虑这一点。政策实践者也关注情境因素，但还特别注重影响评估证据的内部有效性，更偏好通过随机对照试验（RCT）进行评估且结果估计精确的项目。 我们的研究建立在现有研究的基础上，探索政策制定者决策过程。罗杰和索马尼（2023）发现，埃塞俄比亚的行政官员对选民的看法与官方统计数据有显著差异，并且 1特别是在政府方面，通常会有优先目标或政策领域（如提高学校入学率），并会请求捐助者的支持以资助有助于实现这些目标的活动。初步项目设计通常类似于现有的或过去的活动，团队可能会参考现有证据（如果存在的话），包括影响评估研究和其他相关研究，了解这些活动的有效性，并根据迭代过程进行调整，结合不同人员/组织为项目准备带来的各种输入。最终形成一份“项目文件草案”，概述了将要实施的具体组件以实现更高层次的目标，该文件随后会被高级管理层审核并调整，以制定最终的项目计划供批准。在整个过程中，关于哪些组件将成为项目的一部分以及这些项目组件的性质，决策受到项目准备团队所可用信息的影响，团队需要决定如何利用这些信息来调整项目计划。本研究中所使用的样本特别选择了他们在这一特定过程中扮演的角色，该过程指导世界银行/国际开发协会支持项目的管道发展。 提供证据简报可以帮助减少这一差距。Nellis等（2019）探讨了政策实践者如何权衡元分析结果与单个研究结果之间的差异。Banuri等（2019）强调了政策制定者中行为偏差的普遍性，而Toma和Bell（2023）则研究了决策辅助工具对政策选择的影响。Hjort等（2019）考虑了巴西市长对于影响评估信息的支付意愿。最后，在一篇相关论文中，我们探讨了当政策制定者、政策实践者和研究人员在寻找证据时认为哪些属性是最吸引人的（Vivalt等，2023）。 而不是研究寻求新的证据并在选择项目时评估证据是相关但概念上有所区别的。例如，政策专业人士可以从一项影响评估中获取信息，该评估发现某个项目的效果微乎其微，以调查缺乏影响的原因。然而，在权衡选择哪个项目时，所有其他条件相同的情况下，他们通常不会选择与效果微乎其微的项目相关联的项目。虽然我们的实验考虑的是假设的选择，但我们关注项目而非研究本身可能更接近于主要关注点，即政策专业人士如何做出决策。在做出这些决策时，政策专业人士可能会在一定程度上考虑研究属性，但这并不是他们唯一考虑的因素。 我们的短论文也是首次探讨政策制定者如何权衡专家建议与影响评估结果的重要性。这与许多从事发展工作的人员的实际关注点密切相关，因为专家知识是政策制定者常用的一种资源（Morgan, 2014）。更广泛地说，本文与“显性”知识与“隐性”知识的概念相关，这一区分在知识管理领域经常被提及。“隐性”知识可以定义为个体持有的难以形式化的知识，它可能基于个人经历和直觉（Polanyi, 2009）。“显性”知识则代表通过正式途径得出的结果，这些结果可以被传达并被他人理解。然而，地方专家的建议可能包含这两种类型的元素。例如，地方专家可能会参考多种正式证据来源来得出结论，并且他们如何解释过往的研究成果并将这些信息与他们更广泛的理解和经验相结合以形成建议，这涉及他们的“隐性”知识。虽然“隐性”知识已被证明在多个不同领域的决策中至关重要（例如， Podg´orski, 2010；Hanna et al., 2014；Meisch et al., 2022) 在经济学领域相对研究不足，而本文是首个探讨政策制定者如何权衡此类证据的研究。 最终，为了量化这些权衡，我们考虑参与者愿意在预期影响方面做出多大程度的牺牲，以换取某种类型信息的支持。程序影响为评估权衡提供了自然的分析单位，因为它们类似于公共预算：它们是公众实际承担的成本，取决于政策制定者的决策。我们的实验设计允许我们断言，例如，如果一项未得到当地专家推荐的有条件现金转移项目相比另一项被推荐的项目的预计影响高出至少5个百分点，则政策制定者将接受该有条件现金转移项目；此外，如果来自不同地区的项目相比其本国项目的预计影响高出至少5.8个百分点，则政策制定者更倾向于选择来自不同地区的项目。这些预计影响相对于提高入学率的流行项目通常产生的效果来说非常大。2 我们的结果强调了当地知识对于政策决策的重要性，并建议研究人员若想最大化其影响，应利用合适的环境并与政策制定者可能寻求建议的当地专家沟通其研究发现。 论文其余部分的结构如下。首先，我们讨论实验中使用的数据。然后，我们描述并呈现离散选择实验的结果。最后，我们讨论我们结果的意义。 2 Data 我们对世界银行和美洲开发银行几场研讨会中的190名政策专业人士进行了调研，具体情况参见表1。本论文的背景是，政府通常有希望优先考虑的目标，并会请求捐助者的支持以实施有助于实现这些目标的活动。负责开发相关项目的团队需要考虑这些因素。 2例如，Vivalt（2020）的研究发现，有条件现金转移支付可以提高入学率5.3个百分点，而无条件现金转移支付可以提高3.5个百分点。一项更近期的关于无条件现金转移支付项目的元分析发现，入学率提高了4.1个百分点（Crosta等，2024）。这表明，在这一实验中，政策制定者愿意放弃大部分甚至全部估计的影响效果。 一个项目提案可以参考各种信息来源，包括专家建议和可用的影响评估证据。在整个过程中，项目组件的决策受到这些信息的影响，但关于这些因素如何被参与这一政策过程的不同类型行为体权衡的知识相对较少。我们关注的研讨会参与者样本包含了许多可能使用影响评估来指导政策决策的类型的行为体。在这190名参加研讨会的政策专业人士中，我们获得了156份回复，代表了非常高的82%的响应率。其中81名政策制定者和75名政策从业人员参与了调查。以下各小节将更详细地描述每个样本。 2.1 世界银行样本 我们对在雅典（2019年9月）、马拉喀什（2019年12月）、曼谷（2023年7月）和达累斯萨拉姆（2023年8月）举办的WB工作坊的参会者进行了调查。参会者包括政策制定者和政策实践者。3每个研讨会大约为期一周，旨在促进政府工作人员与研究人员之间的联系。政策制定者和政策实践者与研究人员配对，并在研讨会期间共同合作设计一个潜在影响评估方案，以用于其项目。 研讨会吸引了来自世界各地的参与者，我们观察到世界银行研讨会的高响应率（91%）。这在一定程度上可能是由于研讨会格式内的数据收集方法：调查作为项目议程的一部分进行。指定的时间段安排在研讨会的早期，以减轻实验者需求效应的可能性。 3参与者根据调查响应被划分为政策制定者和政策实践者两类。具体而言，参与者自认为是政府雇员、公选或任命官员、国际发展组织运营人员、非政府组织（NGO）员工、私营部门员工、研究人员或其他。政府雇员和公选或任命官员被归类为“政策制定者”。国际发展组织运营人员以及少数合作项目的NGO和私营部门伙伴被归类为“政策专业人士”。由于研究人员在这次特定工作坊中的参与度不足，不足以形成一个有意义的对照组。5名选择“其他”的个人根据与Vivalt等人（2023）相同的原则被分类到具体的实质性类别中，另有6人则根据新的分类规则重新进行了分类。事后审查了数据后发现自我报告的就业情况与实际就业情况之间存在不匹配。即使使用原始自我分类（详细结果可upon request提供），我们的发现也不会实质性地改变。 表 1 ： 讲习班的响应率 合格的响应 机构地点年份出席人数调查率 美洲开发银行华盛顿特区 2018 49 18 (18)