数据稀缺环境中的动态高分辨率贫困测量

11058 动态、高分辨率贫困数据稀缺环境中的测量 卓正蒂莫西 ·吴理查德 · 李 ·大卫 · 纽豪斯 ·塔利普 · 基利奇 · 马歇尔 · 伯克 · 斯特凡诺 ·埃蒙 · 大卫 · B· 洛贝尔 政策研究工作文件 11058 Abstract 准确而全面的家庭生计测量对于监测减贫进展和社会援助计划的针对性至关重要。然而，传统数据收集的高成本历来使全面测量成为一个难题。本文评估了四种非洲国家详细家庭普查提取数据的替代基于卫星的深度学习方法，以加速大规模、细粒度和动态贫困测量的进步。结果表明，变压器架构解决了多个开放问题。 测量问题，通过提供对各国和城市家庭资产财富局部水平变化的最准确测量，以及家庭资产财富随时间的变化进行测量。人工限制数据可用性的实验展示了模型在数据有限的情况下实现高性能的能力。提出的方法证明了结合卫星图像、公开可获取的地理特征以及新的深度学习架构，可以在数据稀缺的环境中实现高度局部化和动态的贫困测量的潜力。 数据稀缺环境中的动态高分辨率贫困测量 Zhuo郑,a蒂莫西Wu,a理查德Lee,b,c大卫纽豪斯,d TalipKilic,d马歇尔伯克,c,eStefanoErmon,a and大卫 B.Lobellb,c a斯坦福大学计算机科学系 ， 斯坦福大学 ， 加利福尼亚州 94305 ， 美国b斯坦福大学地球系统科学系 ， 斯坦福大学 ， 加利福尼亚州 94305 ， 美国cCenteronFoodSecurityandtheEnvironment, StanfordUniversity, Stanford, 94305,CA, USAdDevelopmentEconomicsDataGroup, WorldBankGroup, WashingtonDC, 20433,DC, USAeStanfordUniversity, Stanford, 94305, CA, USA A R T I C L E I N F O 关键词： Economicwell- being 高分辨率贫困卫星图像 Deeplearning JEL 代码: C45, I32 准确、最新且高度细化的经济福祉测量对于监测和实现国际减贫目标至关重要。这些目标包括联合国可持续发展目标1（No Poverty），该目标的原始截止日期为2030年，以及无数其他国际和地区减贫目标。对于理解这些目标是否正在实现，以及在进展滞后地区对减贫干预措施进行定位和评估而言，家庭贫困和财富的细粒度估计至关重要。6]. 利用可用的卫星图像和/or移动电话数据，结合早期的机器学习和深度学习架构，展示这些新型信息源如何被用于支持大规模的财富和贫困测量。4,17,29]. subsequent 研究引入了进一步的改进，这些研究利 用了公开可用或专有的地理空间数据来提高基于卫星的财富测量精度 [8,12,2]. 这些进步证实了利用卫星图像和机器学习可以提供一种准确、经济且可扩展的解决方案来估算6,21,23].财富 [ 官方对低收入和中等收入国家的贫困测量长期以来依赖于家庭调查，这是一种不可或缺但耗时较长的生计测量工具。鉴于可靠调查测量所需的技术水平以及在进行全国或次区域代表性的生计调查时面临的重大后勤挑战，此类调查往往在世界许多地区很少完成，导致在许多时期和地区无法获得全面和及时的贫困及相关结果的衡量数据。6,9与此同时，调查数据通常基于旨在更大空间尺度上具有代表性的样本，因此通常无法生成村庄或小区层面的可靠估计——而反贫困干预措施往往需要在这些层面进行针对性部署。因此，迫切需要更多成本效益高且可扩展的替代方案来衡量生计状况，以补充和扩大现有的基于家庭调查的努力。 我们汇集了一个大规模、多分辨率和多时间尺度的贫困数据集，使用了国家普查数据或从国家统计局获取的提取数据，并结合了来自不同分辨率多种公共和私营传感器的多光谱卫星影像。该数据集涵盖了四个非洲国家（马拉维、莫桑比克、布基纳法索和马达加斯加）超过120万户家庭的数据，并且独特地包含两个马拉维城市内精确地理参考的测量数据，以及同一地点随时间的重复测量数据——这是此前研究中所缺乏的特征。 我们利用这些数据做出了四项贡献，相对于早期的研究工作。首先，我们直接测试了一种新的深度学习模型——具体来说，是视觉变换器（Vision Transformers）——与文献中常见的基于卷积神经网络（CNNs）的早期深度学习架构进行对比，同时也与使用地理空间特征和表格机器学习方法（如XGBoost）进行预测的更简单的模型进行对比。具体而言，我们设计了一个条件模块，使我们的变压器模型能够处理多模态输入，同时整合卫星影像和地理空间特征（参见“方法”部分）。我们测试了使用不同分辨率的卫星影像数据构建的模型，包括来自Landsat（每像素30米）、PlanetScope（每像素3米）和SkySat（每像素0.5米）传感器的数据。然后，我们将这些更为复杂的方法和输入与依赖于更简单方法的模型进行了比较。 在近年来，公开可用的遥感数据日益丰富，以及机器学习的最新进展已逐步改变了生计测量的格局，逐渐从国家人口普查和相关家庭调查转向结合这些信息与卫星和其他传感器的数据。早期的研究使用的是粗略的、公开可获取的数据。 国家单独进行，并对每个模型进行按国家五折交叉验证。CNN模型仅使用陆资卫星影像作为输入。XGBoost利用地理空间特征（地理特征）单独或与卫星影像统计特征结合使用。所有模型均训练以预测资产财富指数（AWI）[29].在马达加斯加、马拉维和莫桑比克，AWI 估算值在细粒度行政级别上生成并链接到影像数据。在布基纳法索，只有334个市镇的AWI 估算值可用（表 [表号]）。1). 这减少了布基纳法索训练数据的有效样本大小，如图右 panel 中聚类模式的调查测量资产财富所示。1d. This difference is reflected in the results. As shown in Figure1一个简单的变压器模型，在不一致地条件化地理特征的情况下，其他模型在马拉维、莫桑比克和马达加斯加的数据集中表现更佳。在这些国家，使用变压器模型进行的预测达到了2当使用整个普查提取数据进行训练时，其值分别为0.83、0.70和0.62。在布基纳法索，由于有效样本大小较小，基于卫星影像和地理空间特征的XGBoost模型在这些模型中表现出最佳平均性能（解释了62.9%的变异）。仅使用卫星影像的简单变压器模型也保持竞争力（解释了57.4%的变异）。我们还限制训练样本数量为原始训练数据集的1%、5%、10%、25%和50%，以分析模型性能随训练样本大小的变化情况。根据这四个国家的结果，我们实证地识别出10%是一个关键转折点，在此之下，估计精度会迅速下降。 仅在一系列来源的预定义地理空间特征上。 这些比较非常重要，因为依赖公开数据的更简单的做法在大规模应用中可能既更容易实施也更经济，尤其是在公共组织希望广泛应用于其领域时。因此，理解不同模型架构和输入下的性能权衡对于理解如何规模化推广有前景的新测量方法至关重要。 其次，在我们的情境中，一个关键优势在于使用来自国家人口普查或提取的准确且高分辨率的数据进行模型训练和评估。与早期依赖于空间定位精度较低且家庭样本有限的公开可用的家庭调查数据的研究相比，我们的数据覆盖了给定位置上规模更大的家庭集，并且在某些情况下可以精确地理参考。与这些“金标准”数据进行比较，使我们能够理解模型预测误差是由于预测不准确还是真实地面数据测量中的噪声所致——这一点在早期发展中国家的研究中往往难以明确区分。6,29此外，这使我们能够考虑广泛的样本大小范围，以评估先进机器学习方法产生准确估计所需的最小训练数据要求。为了量化训练样本大小对性能的重要性，我们在多个设置中广泛测试额外训练数据对模型性能的影响。 第三，我们高分辨率的人口普查数据使我们能够对如何利用卫星图像和其他地理空间数据来预测非洲城市区域内生计差异获得一种新的理解。这一能力在以往的研究中难以评估，因为训练数据样本有限且存在空间噪声。即使在小范围内，城市内部也表现出显著的空间生计差异性。通过使用马拉维两国城市全面且精确地理参照的人口普查数据，我们能够使用不同分辨率的卫星数据进行模型训练和测试，并发现这些模型在预测这些城市街道和街区层面的财富差异方面出乎意料地准确。 另一个减少财富预测训练样本采集成本的关键因素是每个样本中聚合的家庭数量。为了分析这一因素，我们随机从每个行政区域中抽取10户家庭来构建训练样本，从而为每个国家生成一个“10户家庭”的训练数据集。然后，我们在这个“10户家庭”的训练集中训练一个朴素的变压器模型，并仍然在原始完整的家庭测试集中评估其性能。结果（如图所示）1b) 表明我们的变压器模型使用10户家庭的数据进行训练时，其表现与使用所有家庭数据进行训练的模型相当。以马拉维为例，10户家庭的数据仅包括约23%的调查家庭。使用所有家庭数据训练的模型和使用10户家庭样本训练的模型之间的性能差距仅为3个百分点（82%对79%）。相比之下，当减少训练样本数量时，使用全部训练样本训练的模型与使用25%样本训练的模型之间的性能差距达到12个百分点（82%对70%）。 第四，通过人口普查和抽样数据，我们能够评估基于图像的模型是否能够准确预测财富随时间变化的情况。此前的努力再次受到地面数据的显著限制，这些数据未能在不同调查中反复采样相同的地点 [29因此，尚不清楚一种主要训练用于预测财富或消费在空间上变化的基于图像的模型是否能够预测时间上的变化，因为后者通常较小且可能受到在图像中更难以检测的变化驱动。来自马拉维和莫桑比克同一地点10年间隔的重复人口普查数据使我们能够评估模型是否确实可以从图像中提取出能够预测资产所有权时间变化的信息。 这些结果为高效的数据财富测量提供了重要的见解。当每张图像至少有10户家庭时，优先考虑对更多地理区域进行调查，而非在当前地理区域内调查更多的家庭，以使用我们的变压器模型预测财富。地理空间特征被认为是提高经济测量质量的重要辅助数据[21], 在财富预测中广泛使用。在这里，我们为变压器模型设计了一个条件模块（详见“方法”部分），以实现地理空间特征和深度视觉特征的有效融合。结果如图所示。1C ， 建议地理空间特征显着改善 对于国家一级的财富预测 ， 我们在每个模型上训练每个模型国家一级财富预测的绩效 - 莫桑比克的完整人口普查数据，在该数据中，朴素变换模型略微更准确。图2中的四个网格财富地图，分辨率为4.8 km/像素，仅使用 模型在所有国家的表现均有所提升，特别是在布基纳法索，这主要是由于在 commune 级别将图像与调查数据链接时有效样本量较小所致。当训练样本量较小时，地理空间特征显得尤为有益，表明模型在小样本量下难以从原始图像中学习到最优的视觉表示，此时地理空间特征可以作为财富预测的重要补充。如图 1 中所示的方法，具有地理特征的变压器模型（Transformer model with geo-features）在图 1 中表现出最高的估计效果。2在所有情况下 ， 除了一个 ， 当训练使用 我们的变压器模型和Landsat影像。无需进行地理空间特征准备，使用8块NVIDIA RTX A4000 GPU，整个制图过程可以在一小时内完成。这意味着我们的方法具有在国家范围内加速细粒度财富测量的巨大潜力。 𝑅𝑅 沿渠道维度进行处理后再输入到最终的回归网络中。与之前的设置不同，XGBoost 只接受双时相卫星图像作为输入，因为没有可用的地理空间特征数据（莫桑比克在 2007 年和马拉维在 2008 年）。结果（图 3a）表明，基于完整样本训练的深度学习模型能够捕获马拉维 52% 的变化和莫桑比克 42% 的变化。当给定相同的输入数据时，深度模型的表现优于 XGBoost。这意味着代表权在 预测国家一级财富变化的绩效 我们进一步通过五折交叉验证评估每个国家的财富变化预测。借鉴[29]的