评估集体影响努力的社区参与方法

研究报告评估集体影响努力的社区参与方法评估以家庭为中心的社区变革的经验Amelia Coffey Peace Gwam Susan J. Popkin 2021 年 7 月FAM ILY-CENTER ED 社区变化 关于城市学院非营利性城市研究所是一家领先的研究机构，致力于开发基于证据的见解，以改善人们的生活并加强社区。 50 年来，Urban 一直是对复杂的社会和经济问题进行严格分析的可靠来源；为政策制定者、慈善家和从业者提供战略建议；以及为所有人扩大机会的新的、有前途的想法。我们的工作激发了有效的决策，促进了公平并提高了人们和地方的福祉。版权所有 © 2021 年 7 月。城市研究所。允许复制此文件，归属于城市研究所。封面图片来自 Rawpixel.com/Shutterstock。 内容独立声明 37 ivA CK NOW L EDGM EN TS致谢本报告由 Annie E. Casey 基金会资助。我们感谢他们和我们所有的资助者，他们使 Urban 能够推进其使命。所表达的观点是作者的观点，不应归因于城市研究所、其受托人或其资助者。资助者不决定研究结果或城市专家的见解和建议。有关城市研究所资助原则的更多信息，请访问 urban.org/fundingprinciples。我们要感谢为本报告提供见解的各种以家庭为中心的社区变革 (FCCC) 贡献者。其中包括来自 Annie E. Casey 基金会的 Burgundi Allison、Cindy Guy、Traci Broady 和 Kimberly Spring； Borealis Philanthropy 总裁兼凯西基金会前任董事 Amoretta Morris； Kantahyanee Murray，密歇根公共卫生研究所高级副主任；独立顾问 Scott Hebert、Brigette Rouson 和 Hilary Binder-Aviles； TCC Group 的评估员 Jared Raynor 和 Kate Locke 以及 Metis Associates 的 Anna Minsky；以及我们的城市研究所 FCCC 评估团队：Marla McDaniel、Theresa Anderson、Marcus Gaddy、Amanda Gold 和 Patrick Spauster。 执行摘要v执行摘要由 Annie E. Casey 基金会发起的以家庭为中心的社区变革 (FCCC) 工作在八年（2012-19 年）期间支持了三个贫困率高的社区的地方服务伙伴关系：纽约布法罗各一个；俄亥俄州哥伦布；和德克萨斯州圣安东尼奥。这些努力旨在开发更综合的服务集，以帮助成人和儿童以“两代人的方式”共同取得成功。基金会对 FCCC 采取了所谓的“战略共同投资者”方法，以现有的社区变革努力为基础，提供灵活的技术援助和其他以当地合作伙伴为导向的支持。城市研究所和另外两家评估公司围绕这项工作开展了不同的评估活动。Casey 对 FCCC 的战略联合投资者方法反映了基金会优先支持当地合作伙伴在 FCCC 各个方面的决策权，包括评估活动。让当地利益相关者参与评估活动的期望和目标一开始并不高——主要是为了确保这些活动是可行的并且有利于当地伙伴关系——但随着时间的推移而增长。在 FCCC 的过程中，社区参与的评估方法领域也得到了发展和发展，基金会越来越多地将这些方法视为其在其工作的各个方面支持种族和民族平等与包容 (REEI) 的关键。随着这些期望的增长，评估人员采用了一套不断扩大的社区参与评估方法 (CEM)。我们将 FCCC 中的“社区”定义为计划参与者和参与管理计划的工作人员。 FCCC 中的 CEM 包括让当地合作伙伴参与规划数据收集和审查产品。在工作的后半部分，它包括让这些工作人员与计划参与者一起，在称为 Data Walks 的参与社区活动中解释初步评估结果。从 2016 年开始，基金会还邀请了部分项目参与者在 FCCC 利益相关者会议上了解评估活动。CEM 存在于一个连续统一体中，从简单地向社区利益相关者通报和咨询评估活动，到与社区成员建立牢固的合作伙伴关系，并授权他们就评估设计和执行做出最终决定。 FCCC 中的大多数 CEM 都处于这个连续体的低端，评估人员向社区成员提供信息或咨询。在大多数情况下，评估人员聘请合作伙伴而不是项目参与者。在采访城市研究所团队关于他们在 FCCC 中应用 CEM 的经历时，合作伙伴、基金会工作人员、评估人员和其他利益相关者都同意 CEM 为 FCCC 评估和社区成员增加了价值。人们普遍认为，数据 我执行摘要步行为 FCCC 计划参与者提供了丰富的体验。评估人员认为，这些参与者的反馈增加了评估结果的细微差别。评估人员还认为，不断征求合作伙伴员工对产品的反馈意见可以提高评估结果的准确性，并有助于与这些人建立更牢固的关系。然而，尽管有这些附加值，利益相关者还是指出了使用 CEM 所涉及的挑战。计划参与者仅参与有限的接触点，并且仅在评估的后期进行。评估人员和一些基金会工作人员认为，父母一直在以一种象征性的方式参与其中。利益相关者还指出，让合作伙伴员工参与审查产品需要额外的时间，他们通常需要额外的时间来履行为家庭服务的核心职责。评估人员还强调，让这些工作人员参与规划评估活动会限制利益相关者同意的活动范围，最终意味着评估设计不包括结果研究。尽管存在这些限制，FCCC 评估方法包括比外部评估通常更多的社区参与。这种努力之所以成为可能，是因为基金会提供了罕见的持续支持。 FCCC 在 CEM 方面的经验提供了一些经验教训，可将这些方法纳入未来评估以共同决策为重点的社区变革工作，包括以下内容：1.在选择计划和评估受赠者时采取社区参与的方法。这包括选择具有获得社区成员信任所必需的文化能力的评估者。2.确保所有利益相关者在工作的所有阶段都对社区参与评估和规划有共同的理解和承诺。3.通过明确承诺共同决策将如何运作并贯彻执行，营造安全的反馈空间。4.在开始评估任务之前和整个参与过程中努力建立关系。5.确保本地和外部利益相关者拥有促进参与和伙伴关系的知识和技能。6.预先设定最初的社区参与目标和优先事项，以及随着时间的推移更新这些目标和优先事项的流程。7.从一开始就建立资助者的承诺，以充分资助社区参与工作设计和评估。 执行摘要viii8.适当补偿参与者对社区参与评估的贡献，并尽量减少参与负担。这些经验教训是及时的，因为国家越来越认识到需要将那些有生活经验的人的观点纳入影响他们生活的规划的决策中。 COM M U N IT Y- E N GAG E D 方法 E S T O E VAL U AT I NG A CO L E CT I VE I M PACT E FF ORT1评估集体影响努力的社区参与方法Annie E. Casey 基金会启动了为期八年的以家庭为中心的社区变革 (FCCC)12012 年努力支持三个贫困率高的社区的地方合作伙伴关系，因为他们开发了更综合的服务，以帮助父母和孩子以“两代人的方式”共同取得成功。该基金会没有创建全新的干预措施，而是与位于纽约布法罗的现有合作伙伴合作；俄亥俄州哥伦布；和德克萨斯州圣安东尼奥市，并提供技术援助、培训和同行学习机会，以在现有社区变革努力的基础上再接再厉——安妮 E. 凯西基金会将其称为“战略共同投资者”。2 FCCC 是一项协作努力，其中包括基金会选择的受资助者和顾问的投入，以提供技术援助和其他服务，以支持绩效衡量、评估和学习。 Casey 将这些贡献者称为“FCCC 评估和资源团队”。该团队包括三个研究组织：城市研究所（评估所有三个社区工作的设计、实施和家庭成果）、Metis Associates（帮助建立和支持每个社区的数据容量和绩效指标）和 TCC Group（评估 Casey 的战略共同投资者在FCCC中的作用）。城市研究所于 2013 年开始进行评估。本报告是我们从七年研究观察中学到的系列报告的一部分。评估和资源团队在整个工作过程中以不同的方式使用社区参与的方法进行规划和评估，尽管与此方法有关的目标和实践随着时间的推移而发展。社区参与的评估方法包括来自社区成员的意见、参与和反思——在本报告中定义为参与管理规划的所有项目参与者和工作人员——他们是 FCCC 工作的利益相关者。采取社区参与的方法从一开始就是一项雄心勃勃且具有挑战性的任务。这些方法是在三个复杂而独特的服务合作伙伴关系的背景下采用的，这些合作伙伴关系具有不同的目标和对评估工作的认可程度。评估者都来自存在合作伙伴关系的三个社区之外，这意味着评估者的文化素养和与社区的联系是有限的。本报告讨论并反映了社区参与方法 (CEM) 如何使 FCCC 伙伴关系受益并加强评估，特别是这些方法如何让社区成员参与研究。我们从 CEM 的背景开始，提供有关该领域如何 2COM M U N IT Y- E N GAG E D 方法 E S T O E VAL U AT I NG A CO L E CT I VE I M PACT E FF ORT与FCCC评估一起发展。然后，我们讨论了使用这些方法进行 FCCC 评估的基本原理以及我们的方法如何随着时间的推移而演变。我们利用评估文档以及与基金会工作人员的对话、与评估和资源团队的访谈、与三个合作伙伴的员工的访谈以及与城市评估团队的反思讨论会。一个关键的限制是我们无法从项目参与者那里获得对方法论方法的看法（见附录）。我们总结了未来评估社区变革工作的关键要点和经验教训。正如我们在本报告后面讨论的那样，FCCC 计划和评估活动密切相关，一个领域的方法对另一个领域的方法产生了重大影响。因此，报告讨论了在FCCC 工作中使用的CEM，这些活动与社区参与评估有关。虽然我们主要关注与评估方法有关的问题，但我们的目标是生产一种对项目从业者、资助者和评估者都有帮助的产品。社区参与方法的背景社区参与的研究和评估旨在让受研究过程中研究的干预措施最直接影响的群体成员参与（CTSA 2011）。这些方法涉及评估员角色的根本转变，传统上将专业评估员作为唯一的评估专家，在评估工作中与社区利益相关者合作（Handley et al. 2010）。在过去的三十年里，社区参与的研究方法领域已经发展壮大。许多早期和相对广泛的采用者都在公共卫生领域。美国疾病控制和预防中心 (CDC) 发布了具有里程碑意义的社区参与的原则1997 年，认识到让社区利益相关者参与公共卫生研究和干预的重要性，并为此制定了指导方针。在随后的二十年中，并且在过去几年中加速发展，越来越多的联邦机构和私人利益相关者推动了这些方法，并扩展到许多不同的部门。研究人员和从业人员从与选区建设、社区心理学和社区参与等相关的概念中提取了跨社会科学学科的文献（CTSA 2011）。在定义社区参与的背景下，出现了各种社区定义。社区通常被理解为包括受研究或处理的主题、干预或条件影响的人以及参与解决该问题的更多利益相关者。这些 COM M U N IT Y- E N GAG E D 方法 E S T O E VAL U AT I NG A CO L E CT I VE I M PACT E FF ORT3利益相关者根据具体情况看起来不同，并且可以包括具有不同特征、经验或共同关注点的人群。在社区参与的原则，疾病预防控制中心将社区广泛定义为包括在一个单位中组织或具有共同利益的任何人群。社区不仅仅由地理定义，还可以指基于人口特征的群体，具有共同兴趣或致力于满足共同需求。美国国立卫生研究院 (NIH) 主任的公共关系委员会将社区定义为“与地理接近、特殊兴趣或类似情况有关联或自我认同的人”。帕西克等人。 (2010) 在其定义中包括社区成员和社区组织的工作人员。 Kellogg 的社区健康学者计划（2001 年）包括社区组织代表和在其定义中接受当地干预的人。随着 CEM 领域的扩展，它越来越认识到以社区自我定义为中心的重要性。该领域也越来越认识到，不同的利益相关者，包括那些观点和优先事项发生冲突的利益相