概述
匹配比较组设计是一种严谨的准实验研究方法,允许评估者估计新项目、倡议或干预措施的影响。该设计由一个干预组和一个在干预开始时其基线特征与干预组相似的比较组组成。基线特征越相似,观察到的两组之间的差异越有可能归因于干预本身,而不是两组之间其他预先存在的差异。
关键考虑因素
- 匹配组的重要性:研究设计的关键是评估者必须识别两个相似的组,一个由参与干预的个人组成(干预组),另一个由不参与干预的个人组成(比较组)。
- 匹配变量:为了最大化比较的有效性,这两个组必须在干预实施之前尽可能相似。评估者需要有关学校、教师或学生基线特征的数据。其他相关考虑因素包括:
- 混杂因素匹配:影响结果的特征,如果在不通过匹配过程进行控制的情况下,可能会扭曲干预效果估计。
- 选择倾向匹配:与参与倾向相关的混杂因素特别重要,因为它们可能同时影响结果和选择。
- 倾向评分匹配:使用倾向评分来匹配干预组和比较组,将多个混杂因素汇总为一个单一分数,简化匹配过程。
- 代理变量匹配:当缺乏某些潜在混杂因素的数据时,可以使用与潜在混杂因素相似或高度相关的变量作为代理。
- 基线结果变量匹配:尽可能匹配干预组和比较组在基线时测量的结果变量。
- 多重基线特征匹配:确定一组基线特征用于匹配组,但找到合适的匹配可能很困难,因为未治疗案例的数量、匹配特征的数量以及匹配标准严格程度都会影响匹配的可行性。
分析结果
- 分析方法:匹配比较组设计的结果分析类似于随机实验。理论上,两组之间的均值差异反映了干预的影响。然而,由于匹配组很少完全相同,因此需要对均值差异进行一些统计调整,以获得有效的影响估计。
- 协变量调整:评估者通常依赖于一种称为协变量调整的技术来纠正两组之间的均值差异,使其免受匹配无法消除的混杂因素残差差异产生的偏差。
- 案例研究:迈阿密-戴德学区使用教师激励基金 (TIF) 资金实施了 iHEAT 计划,该计划补充了现有的全学区绩效工资计划。评估者使用匹配比较组研究设计来评估 iHEAT 对参与学校中有效和高效教师数量增加的影响。评估结果表明,iHEAT 教师在价值增值分数和课堂观察分数方面均优于其他非 iHEAT 教师。
结论
匹配比较组设计是学校和学区评估新干预措施影响的绝佳选择。虽然不如随机对照试验严格,但它确实允许关于干预影响的结论,并且可以作为一种有效的科研设计选项。使用此设计时,应考虑以下关键点:
- 专注于在潜在的混杂因素上匹配两个组——影响结果感兴趣的背景特征。
- 匹配仅可能在对评估者可以获取数据的背景特征上实现。
- 如果可能的话,评估者应该匹配两个组在基线时测量的结果变量。
- 在要匹配的背景特征数量和找到良好匹配的容易程度之间存在权衡。处理此问题的一种方法是为匹配使用倾向评分。
- 结果的准确性取决于干预组和比较组在基线特征方面的相似性,尤其是在混杂因素方面。因此,评估者必须验证这两个组在基线时在混杂因素上的等效性。
- 在对残差差异进行统计调整后,两组之间的均值差异反映了干预的因果影响大小。