环境署评价办公室特别研究文件第 3 号。确定评价的优先事项 ： 制定战略评价组合

U N E P联合国环境规划署评估的优先级设置 ： 开发战略评估组合M. J Spilsbury, S. Norgbey 和 C. Battaglino专题研究论文第 3 号环境署评价办公室2010 年 1 月 2 3目录1-2-3-44.14.2评价结果的重点(结果链 / 影响路径下的距离) 104.34.4 4首字母缩略词AGM年度股东大会CGIAR国际农业研究协商小组CSIRO英联邦科学和研究组织 DTIE 技术、工业和经济司EO评价办公室GEF全球环境基金MSP中型项目MTE中期评价TE终端评估UNEP联合国环境规划署 1评估的优先级设置 ： 开发战略评估组合1-Introduction资源稀缺，应充分利用这些资源，以实现以下核心评价目的 ： （ i ） 提供结果的证据以满足问责制要求 ； （ ii ） 促进业务改进和学习。为此，联合国环境规划署 （ UNEP ） 的评价办公室 （ EO ） 开发了一种分析和优先考虑潜在评价的方法，以改善对一系列活动的选择，这些活动将为组织带来最大的回报。该方法根据与评估功能的主要目的直接相关的标准确定 “评估机会 ” 的相对优先级。一系列的好处预计将从应用这一彻底的定量优先级设置过程中获得。这些包括:加强评价与更广泛的环境署议程的相关性为评估活动分配资金提供结构化理由促进更透明、更可预测的决策根据不断变化的需求和情况调整评价优先事项提高与利益相关者的信誉为评估人员提供明确的方向和目标感记录制定环境署评价组合的明确框架。这种优先事项确定方法是由 EO 工作人员于 2007 年底开发的 ， 并在 2008 年 4 月的联合国评估小组年度大会 （ AGM ） 上提出。从联合国和多边开发银行评估专业人员那里收到的反馈表明 ， 它对更广泛的国际评估界具有普遍的实用性。该方法已在评价办公室 2008 年的年度工作计划中应用，以帮助确保该办公室可以自由分配的极其稀缺的评价资源得到最大的利用。它还应确保更好地理解构成评价办公室工作计划绝大多数的强制性评价的相对重要性。2-优先级设置框架使用类似于以下框架的框架的优先级确定方法已成功应用于各种级别 - 国家 （ 例如在新西兰 ） ， 机构 ， 计划和项目 （ 例如 CSIRO 澳大利亚和一些 CGIAR 中心 ） 。该方法需要定义一套标准和指标 ， 以确定相对吸引力和可行性一组相互排斥的潜在评估 ， 我们称之为 “评估机会 ”. 2评估机会的相对优先评价机会的吸引力因素评估机会的可行性因素评估机会的可行性因素评价机会的吸引力因素评估机会的相对优先图 1. 优先级设置的吸引力和可行性框架吸引力标准解决了与提供问责制和促进运营改进的评估目的直接相关的评估机会的重要特征。影响评估机会的 “吸引力 ” 的主要因素被定义为:评价主题与组织战略方向的一致性评估的主要结果重点 （ 沿影响路径的 “距离 ” - 从活动到影响。例如 ， 中期评估将侧重于沿影响路径的短距离 ， 而影响评估将侧重于路径的末端 ） 评估时可能评估的干预措施带来的环境效益的大小和分布评估机会对资源调动的潜在重要性 所需的摄取事件的数量 ， 影响途径的直接性以及从干预中获得最大影响的滞后时间的长度评估的效果易于归因于项目 / 方案 ， 并存在足够的基线 / 反事实和 / 或绩效监测信息与项目或方案运作相关的评价机会的时间安排与业务相关的调查结果或经验教训将适用于环境署其他项目 / 方案的可能性 项目 / 计划实施适应性管理或减轻项目绩效已知风险的潜力“可行性 ” 标准涉及与实施评估本身有关的问题 ， 并被定义为 ：所需的技术 / 评价能力水平以及相关顾问的可用性评价机会的管理和质量控制所需的监督能力水平设计评估方法所需的努力水平所需的评估方法的简单性 3对于这些 “吸引力 ” 和“ 可行性 ” 因素中的每一个, 确定表示从 “低 ” 到“ 高 ” 的值的范围的一组验证器。确定评价相对优先事项的总体重点是评价投资的 “回报环境署 ” 。当“ 吸引力 ” 和 “可行性 ” 都很高时 ， 总体回报就会更高。随着“ 吸引力 ” 和 “可行性 ” 都下降 ，“ 回报环境署 ” 也下降 ， 因此选择评价机会的选择性增加。图 2. 使用吸引力和可行性因素评估投资的选择性可行性魅力 4表 1. 影响评估 “吸引力 ” 和“ 可行性 ” 的关键因素评分矩阵 ， 用于确定优先级。不希望每个 “单元格 ” 中的所有验证器总是同时应用。有时与单个评估机会有关的验证器将落在一行中的不同单元格中 ， 需要对该指标的得分进行判断。关键因素14710重量评价研究的战略重要性 20%的一致性与电流配合不良中等配合良好的配合电流与20%评价性主题与战略 ； 低未来当前战略 ；战略; 研究的核心要素该组织的对环境署的兴趣主要重要对环境署的战略 ； 核心战略方向。未来资源对于一些环境署未来、当前和环境署的使命分配到主题区域利益相关者; 未来未来资源和未来,是 “低 ” 。资源分配到分配到主题区域地址 GC主题区域是 “中庸 ”是 “高 ” 和“ 高 ”指令电流分别。和未来的资源分配给主题区域是 “低 ” 和分别 “高 ” 。评价吸引力标准 50%结果聚焦 5%主要成果重点评价侧重于成就评价侧重于评估15%的评价交付产出 ，总体结果总体方案 /的结果(沿撞击距离项目效率或方案 / 项目项目绩效和影响通路) 。方案业务性能 （ 例如 TE ）和评估立即和结果、影响长期影响和直接影响15 ％ 的干预效果的大小和分布幅度和干预在很大程度上局部意义低区域 / 全球高区域 /10%分布生成的输出修复或回避修复的意义全球意义环境效益和一些结果退化 ；或避免修复或从干预(预计将一些可能的结果降解避免可能会被评估为导致产生待评估降解多 -评估时间。环境区域 / 全球福利)效果;资源调动潜力 5%潜在重要性项目结束 /评估在哪里评估在哪里项目结束 /5%的评价方案评价方法 / 主题是方法 / 主题是方案阶段机会其中方法 /适度优先适度优先在哪里继续资源动员。主题不太可能给资助机构资助机构和资金很可能安全附加和中等可能性可能有助于安全但取决于资金。帮助保护额外的额外的资金。论评价中期评价资金。结果 ；(MTE)试点项目评估 ；评估在哪里方法 / 主题是高度优先的给资助机构并可能帮助安全附加资金 ；结果、影响和影响研究。将观察到的效果归因于干预 10% 5关键因素14710重量吸收次数多次摄取事件几种吸收很少有摄取事件很少有摄取事件所需的事件 ，必需; 长期间接所需事件 ；必填; 间接对于最大值影响的直接性路径; 因果关系直接和间接通路; 良好影响; 简单路径和滞后时间知之甚少 ，路径; 中度理解直接影响最大影响非常长的滞后时间理解因果关系 ， 中度滞后通路; 非常要实现。（ > 10 年 ） 。因果关系 ， 长滞后时间倍 （ > 4 年 < 7 年 ） 。很好理解> 7yrs < 10 ） 。因果关系 ， 短暂滞后倍 （ < 4yrs ） 。易于归因难以归因一些证据一些证据易于属性 ；7%对项目的影响 /(例如 ， 对政策的更改之间的因果关系之间的因果关系很少或没有步骤方案成果。进程) ；结果和效果 ；结果和效果。结果链测量指标中的多个步骤一些特定的途径之间仍然存在只是间接的结果链仍然存在显示更强取得的成果链接到预期的在关键结果之间因果关系 ；和预期的效果。影响 ；已实现和期望结果中的几个步骤许多演员 / 类似效果。之间仍然存在链倡议或来源取得的关键成果信息 ；和预期的效果。中的多个步骤结果链仍然存在在结果之间已实现和期望影响 ； “贡献 ”没有归属 ” 。存在的无基线 ；无基线; 基线一些基线数据综合3%充足的基线 /基线不能可以推断 ；存在 ；基线数据存在 ；反事实和 /推断 ； 无结果 -有限的结果 -充足的结果 -综合或性能以绩效为导向以绩效为导向以绩效为导向注重结果监测监测监测监测性能信息。信息可用。信息可用。信息可用。监测信息可用。运营改进和学习的潜力 15%评估时间几年后前不久形成性评价项目期间5%机会相对于项目完成。项目完成 /项目设计操作 ， 例如项目或方案方案业务（ 进入时的质量 ） 。MTE 或 '结束操作。或 “阶段结束 ”阶段评估在哪里继续(where continued资金不确定。资金是可能的)可能性由执行的项目环境署有限环境署具有实质性仅项目5%操作相关外部组织 ；参与项目参与联合由环境署执行 ；调查结果或教训将项目不执行 ；项目执行 ；项目全面适用于其他代表项目类似于项目部分代表环境署项目 /更广泛的投资组合数量有限代表更广泛的投资组合programmes.正在进行或计划正在进行或计划更广泛的投资组合正在进行或计划项目内项目内正在进行或计划项目内区域、主题或区域、主题或项目内区域、主题或部门 ；部门 ；区域、主题或部门 ；“一次性 ” 项目 ；项目合作伙伴 /部门 ；一个试点项目项目合作伙伴 /遗嘱执行人共同的项目合作伙伴 /更大的主动性 ；executors unique to the环境署的倡议很少。遗嘱执行人共同项目合作伙伴 /倡议 / 干预。其他环境署遗嘱执行人共同倡议。对许多其他环境署倡议。 6关键因素14710重量项目潜力 /“非常满意 ”“适度有风险或 “适度 ”风险和 “高度 ”5%计划到在项目中“满意 ” 在不满意 ” /“不满意 ” 在实现自适应ImplementationPIR;“不满意 ” 在PIR;管理 ， 或审查 (PIR);几个问题PIR;主要问题减轻已知风险未发现问题在自我认同几个重要的在自我认同为了项目绩效。在自我评价中评价报告 ；中发现的问题评价报告reports;MTE / 阶段结束。自我评价报告 ；项目风险影响研究 /MTE / 阶段结束。失败;终端评估早期 MTE / 结束（ TE ） 。阶段。评估 EO - 标准的可行性 20%评估机会所需的评估能力 10%技术水平 /技术和技术和技术有限足够使用5%评价能力评估专业知识评估专业知识专题 / 专业知识非技术性需要和需要深度 ，必需 ；评价的重点评估专业知识可用性而且非常困难难以采购需要机会 ；这很容易用于评估为评价主题 /深入评价采购机会。评价主题 /focus.需要经验评价主题 /focus;相当容易获得focus.专家团队用于评估required.主题 / 焦点。监督水平联合实施多国家 / 地区单一区域UNEP 唯一10%所需容量与其他项目干预。干预措施 ；实施和用于评估机构 ；UNEP 唯一执行代理 ；机会。多国家 / 地区实施代理单一国家投资组合评估。（ 外部执行 ） ；参与;多个环境署单一环境署分部 /除法 /次级方案次级方案涉及。涉及。评估设计和方法的简单性需要 10%级别 EO 员工的努力可观的设计广泛适应有限适应标准 TOR5%在设计和工作需要在至标准 TORs;标准 TORs;模板可以是实施TORs 的制备 /EO 员工参与EO 员工参与应用。评价方法。评价方法 ；实质上在在有限的程度上EO 员工领导评估。的评价。评估。可靠性和深入研究 ；深入研究 ；深入研究在哪里案头研究审查5%评价精度许多来源许多来源现有信息是的文件与方法。三角测量; 广泛三角测量通过访谈验证一些采访 /使用统计提出的调查结果 ；和一些参考简单的调查。方法 / Delphi详细的实地研究 ；文档。技术; 明显用户调查 ； 严谨明确的假设第三方同行评审。和反事实 ；严格的第三方同行评审。 73-使用 “评估机会 ” 的优先级设置方法表 1 所示的矩阵和相关的优先事项设定过程是由评价办公室专业人员通过互动和迭代的推理、辩论过程制定的 ， 最初是使用一套 “虚拟 ” 的“ 评价机会 ” (最近根据 2007 年评价办公室工作计划完成的评价) 来测试这种方法。环境署评估专业人员使用评分矩阵独立对每个 “虚拟 ” 评估机会进行评估。然后 ， 专业人员一起讨论并审查了每个独立进行的评估。如果授予的