本研报探讨了大型语言模型(LLM)在应用经济学中作为测量工具的潜力,通过分析2010年至2025年非洲10个国家关于粮食和营养安全的公共话语面板数据,发现LLM可以将非结构化文本转换为结构化实证指标,但指标有效性受文档抽样、摘录质量、基准独立性、信息来源多样性等因素影响。研究强调LLM辅助文本测量应作为现有数据系统的补充而非替代,并需进行明确的验证设计、误差分析和透明文档记录。
大型语言模型在粮食安全领域的应用趋势在于将公共文档转化为透明、可审计的压力指标。通过分析异构文档,LLM可提取粮食安全维度、严重程度、叙事框架等信息,但需注意其可能存在的测量误差、来源选择偏差和基准泄露风险。未来发展方向包括完善数据集、增加低泄露记录、进行人工编码验证、扩展信息来源等,以提升测量的结构化、可扩展性和可审计性,使其成为现有数据系统的有效补充。
研报重点分析了大型语言模型在非洲粮食和营养安全领域的应用效果,涵盖10个非洲国家共206份文档记录,来源包括FEWS NET、WFP等机构报告。研究评估了LLM辅助编码框架的结构化变量能力,包括严重程度、叙事框架等维度,并通过严格和探索性验证样本分析了其有效性。研究发现LLM辅助测量具有可行性,但需注意样本局限性,如集中在高严重程度阶段、低泄露记录不足等,需进一步完善验证设计。
当前粮食安全市场现状复杂,非洲10国公共话语数据表明,粮食安全问题在2020年后尤为突出,高严重程度基准阶段(Phase 3)的文档占比高,但低严重程度阶段(Phase 1和Phase 2)的代表性不足。数据来源以技术和人道主义为主,基准泄露风险高,摘录完成率低,这些因素影响LLM辅助测量的准确性。市场需关注数据集的多样性、验证设计的严谨性以及与现有数据系统的结合,以提升粮食安全评估的全面性和可靠性。
研报提示的主要风险包括LLM辅助测量的不确定性,如测量误差、来源选择偏差和基准泄露风险。LLM编码输出并非绝对可靠的真实测量值,需进行明确的验证设计、误差分析和透明文档记录。此外,数据集存在局限性,如样本集中在高严重程度阶段、低泄露记录不足、时间覆盖短等,这些因素可能影响分析结果的普适性。因此,LLM辅助测量应作为现有数据系统的补充而非替代,需谨慎评估其适用性和局限性。