Yielding Insights

本文探讨了利用机器学习模型填补大规模农业调查中作物产量数据缺失的挑战。由于成本限制，作物收割法（最准确的产量测量方法）往往受到限制。文中采用了基于机器学习模型的多重插补技术来预测缺失的产量数据，并通过马里调查数据进行了验证，这些数据包括作物收割和自我报告的产量信息。

数据情况
作物产量数据缺失主要分为两类：

1. 部分缺失：家庭调查收集地块级别的农业实践信息、自我报告的作物生产数据，以及部分地块的作物收割数据。适用于调查内填补框架。
2. 完全缺失：家庭调查拥有地块级别的农业实践信息和自我报告的作物生产数据，但没有基于作物收割的数据。适用于跨调查填补框架。

数据验证
研究使用了马里2017年和2018年的全国代表性农业调查数据，涵盖小米、高粱、玉米、水稻、花生和黑豆六种主要作物。验证结果表明，随机选取的作物收割地块具有代表性，且自我报告产量存在系统性偏差，通常高于作物收割产量，且与小地块面积相关。

实证方法
研究采用机器学习模型进行多重插补，并评估了不同模型和样本大小对预测精度的影响。主要方法包括：

• 使用随机森林算法进行预测，并评估了不同协变量的重要性。
• 比较了自我报告产量和地理空间变量对预测精度的影响。
• 评估了不同训练集大小对预测精度的影响。
• 在调查内和跨调查框架下评估了插补方法的准确性。

结果

• 预测因子重要性：自我报告产量是作物产量的重要预测指标，但地理空间变量具有更大的预测能力。农民农业实践与降雨变量的组合也是重要的预测因子。
• 协变量相对重要性：结合自我报告产量和地理空间变量能显著提高预测精度。
• 作物预测精度：间作率低的作物和商品化程度高的作物预测精度更高。
• 训练集大小：约50%的作物收割测量数据即可提供可靠的预测结果。
• 调查内填补：机器学习模型能有效填补缺失数据，且插补结果与完整案例数据高度一致。
• 跨调查填补：机器学习模型的预测精度较低，可能由于不同年份调查间存在重要差异。

结论

• 基于机器学习的插补方法可以有效填补作物产量数据缺失，并提供准确的产量估计，尤其是在低间作率和高商品化程度的作物方面。
• 跨调查插补的准确性低于同一调查内的插补，表明在不同调查轮次之间外推数据存在局限性。
• 该研究为提高农业调查的成本效率以及插补方法的潜在价值提供了宝贵的见解。