调查模式对数据质量的影响：来自尼日利亚的实验证据（英）

核心观点

本研究通过在尼日利亚进行的大规模实验，探讨了调查方式（面对面与电话）对调查测量和数据质量的影响。实验设计将调查方式效应与其他常见的调查误差来源隔离开来，涵盖了健康、劳动力、冲击、福祉和粮食安全等多个主题的 20 个结果指标。

关键数据和研究结论

• 普遍存在的调查方式效应：研究发现，在几乎所有主题领域和变量类型中，都存在显著的调查方式效应。电话回答与面对面回答在中位数上的差异分别为 17% 和 18%。
• 调查方式效应的方向：70% 的结果变量的调查方式效应为正向，表明受访者倾向于在电话调查中提供更多肯定或更频繁的答复。
• 异质性：研究利用受试者内设计量化了调查方式效应在个体和结果上的异质性。受教育程度较高的受访者受调查方式效应的影响较小，而随着受访者面对的答案选项数量增加，调查方式效应会急剧增加。
• 与其他调查误差的比较：研究发现，由于缺乏普遍的手机拥有率，覆盖误差也是一个重要问题。约一半的结果变量的覆盖误差在符号上与调查方式效应相反，这表明两种误差来源在总体中相互抵消，掩盖了潜在的抽样和非抽样误差。
• 对数据分析的启示：本研究的发现强调了在分析跨调查模式收集的数据时，需要考虑调查方式效应。简单的回归调整可能不足以纠正这种偏差，需要更复杂的统计校正技术。
• 对调查设计和数据收集的启示：研究建议在调查设计中采用标准化和协调一致的措施，例如问卷设计、 enumerators 培训和现场工作规程，以减少调查方式效应。此外，实时调查管理系统可以用来跟踪与调查方式相关的偏差，并允许在数据收集过程中进行干预。

未来研究方向

• 在其他环境中进行类似的调查实验，以检验研究结果的普适性。
• 进一步研究驱动调查方式效应的机制，包括激励和 enumerators 的作用。
• 纪录通过不同模式收集的数据的准确性。
• 研究如何通过统计调整方法（例如响应倾向模型和校准技术）来减轻与调查方式相关的偏差。
• 理解调查方式效应随时间变化的情况。
• 研究实时调查管理系统在检测和减少调查误差方面的潜力。