项目评估工具包
工具包目的与受众
该工具包旨在为项目评估提供全面的方法，以规划、实施和回顾项目效果，确保项目的真实性和积极成果。主要受众包括地方教育服务机构、教育局领导、学校或学区团队负责人以及项目评估主任。工具包帮助回答两个核心问题：项目是否成功实现了预期的实施目标？项目是否成功实现了预期的参与者结果目标？
项目评估流程
项目评估过程由五个核心步骤组成：
- 定义：确定评估项目的目的和范围。
- 计划：制定评估计划，包括时间线、物流规划和战略规划。
- 实现：实施评估，包括处理和设计、保真度测量。
- 解释：分析评估结果，解释数据。
- 通知并完善：使用评估结果，进行通知和改进。
评估规划
概述
评估规划包括定义评估目的、确定最终用户、制定时间线、进行物流规划和战略规划。物流规划涉及识别所需资源、数据点、工作人员、目标、成果、分析、潜在挑战和时限。战略规划涉及确定评估项目、研究问题和程序或倡议的简要描述。
程序识别
使用“项目、策略和努力组织工具”识别所有可能符合评估条件的重大项目，包括学术/行为/社会情感提升项目、旨在提高学习效果的活动、学术/行为/社会情感倡议以及全区战略举措。
程序选择
使用“程序选择评分标准”优先考虑具有最高潜力进行评估的项目或策略。评分标准包括数据可用性、有效性对齐、投资资金、直接影响学习、政治可行性、重要投资、资金直接影响学习、员工时间重要投资等。
评估决策
使用“项目评估决策树”确定项目是否适合进行评估，考虑伦理、合规性、评估效用、结果使用、目标用户同意、数据测量和可靠性等因素。
确定目的
评估目的包括需求评估、程序评估、过程评估、冲击或结果评估以及效率评估。评估主任应根据项目目的定义评估范围。
利益相关者
考虑并参与利益相关者社区和外部利益相关者，包括项目资助者、潜在资助者、倡导组织、机构人员、社区项目合作伙伴、区行政管理人员、学校官员、项目工作人员、教育部门、家庭和家长以及学生。
战略规划
使用“程序逻辑模型”直观展示和阐明被评估项目的方案设计，理解其完整的变革理论。逻辑模型包括输入、活动、输出、短期结果、中期结果和长期结果。
研究问题
使用逻辑模型驱动开发并规划项目评估的有效研究问题，确保研究问题针对关键需求、可测量、明确定义。
评估计划工作表
创建评估计划工作表，包括评估项目、目的、受众、时间线、资源、阶段和负责人。
实施程序评估
实施过程与设计
概述学校接收计划、学生项目资格规则、时间量或编程程度，并考虑选择偏差、污染、比较可用性和不同剂量增加的维度。
评估：五年计划
制定未来五年的五年实施计划，包括项目形成性分析、认知、早期年和后期年的项目影响总结分析。
高保真实现
在开发和实施程序时、实施过程中和实施后应包含保真度措施，以确保最终程序能够按预期运行并交付。考虑程序微分、坚持、暴露、质量和响应性。
实施保真度数据
考虑收集实施保真度数据的四种常见方法：自我报告、音频录制、视频录制和外部观察。
实施保真度清单
使用“实现保真度检查清单”确定每个目标和程序组件的坚持、质量、持续时间和目标特性。
实现保真度工具包
使用“实现保真度工具包”测量实施保真度，包括文章说明、评估标准、学习模块、研讨会演示文稿、指南手册、检查清单和提示。
确定程序功效
数量方法概述
描述三种定量分析方法：双重差分 (DiD)、回归断点 (RD) 和倾向得分匹配 (PSM)。
定量方法决策树
使用“定量方法决策树”选择确定项目有效性的方法，考虑学生成长、单组分析、多组分析和不同方法的选择。
回归不连续性
展示回归不连续性分析的实际应用，包括最佳实践和警示故事。
双重差分
展示双重差分分析的实践应用，包括最佳实践和警示故事。
倾向得分匹配
展示倾向得分匹配分析的实际应用，并讨论常见的三个挑战。
使用描述性分析
在特定情况下，对学生在一段时间内的成长或表现趋势进行描述性分析，以帮助评估学生增长。
附加资源
提供项目评估清单、领导与计划、教学方法、数据管理和通信等方面的附加资源。
参考文献
列出相关参考文献。
