使用重新加权和贫困预测模型校正电话调查贫困估计中的抽样和无响应偏差

10656 使用加权和贫困投影模型校正电话调查贫困估计中的抽样和无响应偏差 Kexin Zhang ShinyaTakamatsu NobuoYoshida 政策研究工作文件10656 Abstract 为了监测COVID-19大流行期间家庭生活条件的演变，世界银行在大约80个国家开展了COVID-19高频电话调查。电话调查既便宜又容易实施，但它们有一些主要的局限性，例如缺乏贫困数据，由于许多发展中国家的电话覆盖不完整而导致的抽样偏差以及对电话采访的免费答复。为了克服这些限制，世界银行在20个国家进行了试点，在这些国家中，采用了一种快速贫困监测工具，即通过即时和经常跟踪进行的福祉调查，以根据通过电话采访收集的10至15个简单问题估算贫困率，以及抽样权重。 进行了调整，以纠正抽样和无反应偏差。本文基于COVID-19高频电话调查，研究了重新加权程序和通过即时和频繁跟踪方法进行的幸福感调查是否可以消除贫困估计中的偏差。使用人工电话调查样本的实验表明，（i）重新加权程序不能完全消除贫困估计中的偏差，正如先前的研究所证明的那样，但是（ii）当通过即时和频繁跟踪贫困预测与幸福调查相结合时，它们有效地消除了贫困估计和其他统计数据中的偏差。 使用加权和贫困投影模型校正电话调查贫困估计中的抽样和无响应偏差* 张可欣、高松新也、吉田信夫a 关键词：电话调查，加权，贫困预测/估计，抽样偏差和无反应偏差的校正 JEL代码:I32,C83,C81 I.简介和背景 电话访谈为社会科学的实证研究开辟了新的可能性。它大大降低了进行调查的成本，因为所有交流都没有传统调查中习惯的面对面互动。随着COVID-19大流行的爆发限制了面对面的采访，电话调查在学术机构、调查公司和个人研究人员中更为普遍，用于个人层面和家庭层面的数据收集。为了在大流行期间及时跟踪家庭的生活条件，世界银行启动了新冠肺炎高频电话调查(HFPS)，自2020年3月以来，该调查已在大约80个国家进行。这些调查使决策者能够及时和频繁地监测各种社会经济指标。 电话调查有缺点。首先，使用COVID - 19 HFPS很难监测贫困。COVID - 19 HFPS不收集消费或收入数据，这对于在传统贫困监测方法下衡量贫困和不平等是必要的。收集这样的数据是耗时、昂贵且复杂的。面试官必须向家庭询问许多有关其最近消费，支出和详细收入组成部分的复杂问题。这样的面试需要至少30分钟和两个小时，即使是训练有素和合格的面试官。在电话连接并不总是足够稳定以完成如此长的面试的发展中国家管理面试也具有挑战性。 挑战1的解决方案：作为快速贫困监测工具的SWIFT 2020年3月，世界银行启动了一项试点，使用快速贫困监测工具“通过即时，频繁跟踪的幸福调查”（SWIFT），使用COVID - 19 HFPS估算货币贫困。SWIFT在COVID - 19 HFPS问卷中增加了10到15个简单问题，这些额外的问题需要3到5分钟才能提问。根据家庭对这些问题的回答，可以采用SWIFT方法来估算感兴趣人群中的贫困和不平等率。 SWIFT在许多贫困预测方法中被选中，因为它已经过世界银行内外专家的全面测试和审查。结果令人鼓舞-真实和基于SWIFT的贫困预测之间的差异平均为1.2个百分点，并且在+/-2个百分点内，除了一个案例（请参阅附录5或Yoshida等人的更多详细信息。，2022a）。该试点在全球20个国家进行，吉田等人总结了七个国家的结果。（2022b）。 其次，COVID - 19 HFPS的样本不太可能具有全国代表性。在许多发展中国家，移动电话或陆地线路的覆盖范围有限。没有电话的贫困家庭被排除在电话采访之外。此外，电话面试通常比面对面面试面临更高的无回应率。这种不回应通常集中在忙于参加面试的城市居民中。因此，在电话调查中收集的样本往往远非全国代表性，可能导致贫困预测出现偏差。 挑战2的解决方案：重新加权-采样权重调整以解决采样偏差 已经开发了许多调整采样权重或“重新加权”的方法来校正各种类型的采样偏差。本文将它们分为两大类：（1）倾向得分加权（PSW）和（2）“非PSW调整”。 倾向得分加权是一种根据倾向得分调整抽样权重的方法，是根据Rbi和Rosebam（1983年和1984年）提出的倾向得分匹配方法发展而来的。在因果推断的背景下，倾向得分匹配使对照组和治疗组具有可比性，从而最大程度地减少了估计治疗效果的偏差。除非随机选择对照组和治疗组的样品（观察数据通常不是这种情况），否则可能会表现出基线特征。 两组之间的差异。通常估计倾向得分来解决这个非可比性问题。倾向评分是以协变量为条件从群体中选择样本家庭或个体进入治疗组的概率。如果满足一组假设（有关详细信息，请参阅Rosebam和Rbi 1983和1984），则对照组和治疗组之间结果指标的加权平均值的比较为治疗效果提供了无偏估计。 Taylor(2000)和Lee(2006)在网络调查中采用了倾向得分匹配技术来调整抽样权重和纠正抽样偏差。首先，他们选择了代表感兴趣人群的参考调查（例如Procedre，一个国家的全部人口，城市人口或一个国家的所有难民）。他们结合了参考和网络调查，并使用此组合样本估计了倾向得分。然后，他们根据倾向得分将组合样本分为五分位数，并调整了网络调查的抽样权重，以使网络调查的权重之和与每个五分位数中的参考调查的权重之和相等。 另一种倾向得分加权方法是“逆概率方法”，该方法使用倾向得分来构造样本被选择进行参考调查的几率，该几率进一步用作网络或电话调查的抽样权重（Morga和Todd2008，Schafer和Kag2008和Asti2011）。本文根据倾向得分将这些类型的重加权技术分类为倾向得分加权（PSW）方法。如果满足Rbi和Rosembam（1983年和1984年）中的假设，则在网络或电话调查中应用基于PSW的权重的汇总统计数据将代表感兴趣的人群。 第二类重加权技术，我们称之为非PSW方法，在电话或网络调查和参考调查之间的指标比在家庭/个人层面上更全面地匹配。这组方法包括raig，后分层和最大熵。非PSW方法选择一组指标并调整采样权重，以便所选指标的加权平均值在电话/网络调查和参考调查之间紧密/精确匹配。 PSW和非PSW调整通常一起进行。我们考虑PSW和非PSW方法的组合应用的两个优点。首先，为了使PSW消除采样偏差，需要满足一组假设，比如强可忽略性，这些假设不能轻易测试，对于这些假设，非PSW作为加权目的的补充。其次，非PSW方法匹配电话/网络调查和参考调查之间的关键指标的手段，但不能保证这些指标的分布也匹配。相比之下，PSW方法与倾向得分的分布相匹配。由于两种方法都有自己的优势，因此进行PSW和非PSW调整都是合理的。 本文研究了重新加权是否可以纠正SWIFT方法产生的贫困预测偏差。重新加权技术的性能因匹配的数据和目标指标而异，文献中一致认为，重新加权技术可以减少目标统计中的偏差，但不能消除它们（Lee（2006）和DrezeadSomachi（2023））。Dreze和Somachi（2023）通过从家庭调查中删除贫困家庭来创建有偏差的样本，并测试了非PSW重新加权技术（最大熵重新加权或最大熵）是否可以减少贫困率和平均家庭支出的偏差。尽管贫困率估计和家庭支出手段的偏见有所下降，但仍然存在很大比例。 然而，现有的文献缺乏评估重新加权技术如何能够减少SWIFT或任何其他贫困预测方法产生的贫困预测偏差。使用电话或网络调查来估计贫困需要使用贫困预测方法。Dreze和Somachi（2023）使用了实际的消费和收入数据，并表明即使在重新加权后，贫困率和平均家庭支出仍然存在很大的偏差，但没有评估重新加权与贫困预测方法相结合的情况。 实际上，我们的研究发现，当与SWIFT等贫困估算方法相结合时，加权估算贫困的性能可以得到改善。 实验 本文研究了重新加权技术和SWIFT贫困预测方法的结合是否以及在多大程度上可以消除基于有偏差调查样本的贫困估计中的抽样偏差。为了看到这一点，我们首先使用卢旺达，圣卢西亚和乌干达的参考家庭调查，并通过选择至少拥有移动电话或固定电话的家庭来构建子样本。这些样品受到结构抽样偏差的影响。如果没有重新加权和SWIFT贫困预测，这些电话所有者子样本中的贫困率低于完整样本中的贫困率。然后，我们研究重新加权和SWIFT贫困预测是否可以纠正上述偏差。 电话和网络调查数据收集面临抽样和无响应偏差，但上述实验仅关注因手机所有权不均而产生的抽样偏差。为了了解SWIFT和重新加权技术调整无响应偏差的能力，本文使用埃塞俄比亚高频电话调查第7轮（HFPS7）的样本进行了额外的实验，该样本是2018 / 19年埃塞俄比亚社会经济调查第4轮（ESS4）的子样本。由于ESS4的此子样本仅包括电话所有者，因此存在采样偏差。此外，由于它仅包括对HFPS7做出反应的ESS4家庭，因此它也受到无反应偏见的影响。使用此子样本，我们进行了与上述相同的分析，以评估重新加权技术和SWIFT是否可以纠正因采样和无响应偏差而导致的贫困估计偏差。 本文组织如下。第二节介绍了SWIFT贫困预测方法和重新加权技术，第三节展示了四项实验研究（圣卢西亚、卢旺达、乌干达和埃塞俄比亚）的结果。第四节最后，根据四个案例研究，评估了重新加权和基于SWIFT的贫困预测模型在消除贫困估计中的偏差方面的组合。 II.SWIFT和重新加权方法 II.1.SWIFT贫困预测方法 SWIFT是一种应用调查到调查的估算技术（S2S）来快速监测贫困。SWIFT通过对贫困代理的家庭支出/收入进行回归，在训练数据集中训练了一个估算模型。然后，通过将输出数据的贫困代理插入模型，将家庭支出和贫困率估算到另一个称为“输出数据”的数据集中。图1说明了该过程。 标准SWIFT方法有两个关键假设：第一，输出数据中家庭收入或支出与贫困之间的关系可以用等式(1)表示： 1）在哪里𝑢ℎ𝑜~𝑁𝑜) where𝑙𝑛𝑦ℎ𝑜是指输出数据o中家庭h的家庭收入或支出的自然对数。𝑥ℎ𝑜是a(𝑘×1)输出数据中家庭h的贫困相关向量，o。𝛽𝑜是a(𝑘×1)贫困系数的向量相关(𝑥ℎ𝑜).𝑢ℎ𝑜指的是残差，通常被假定为服从正态分布𝑁𝑜).1输出数据包括贫困代理数据{𝑥ℎ𝑜}但不包括 ℎ=1 ℎ=1},这些都是要推算的。为了说明,假设关系是线性的,但是这个条件可以放宽(Yoshidaetal.,2022a)。 第二个关键假设是训练数据中的家庭支出和贫困代理之间的关系也遵循等式（1）。这个假设被称为“模型稳定性”，意味着模型不会从训练和输出数据中改变。 ℎSWIFT估计方程(1')中的参数，(𝑜,𝑜)，以及它们的分布，使用训练数据集，绘制它们(𝑟,random from their estimateddistributions, and substites them into equation (1) to impute household expenditures for all household in the output data.SWIFT repeatures this imputation (typically 20 - ℎ𝑜100倍），导致家庭支出的20到100个向量(）在输出数据中（每个向量包括所有家庭的支出）。在20-100个向量中的每个向量中都估计了贫困和不平等的度量，平均值是贫困和不平等的点估计。标准误差也可以使用20到100个估计来计算。 吉田等人。(2022a)评估上述假设的限制性。首先，他们发现使用线性模型不是强制性的。他们比较了线性模型与非参数模型的性能，发现差异很小。其次，即使发生了像COVID-19大流行这样的大冲击，模型稳定性假设也可以成立。人们经常认为，家庭的生计和生活条件很可能受到像COVID-19大流行这样的大冲击的影响，而冲击前数据集训练的模型不再反映冲击后的环境。因此，冲击前模型估