Project Spectrum：利用生成式人工智能增强通货膨胀临近预报（英文）

使用生成式AI来增强通过生成式人工智能实现气候风险分析标题：标题 e光谱项目盖亚 子标题子标题 © 国际清算银行 2026年。版权所有。 允许在注明出处的情况下，复制或翻译部分内容。 执行摘要 网络爬虫和扫描数据集的可用性为中央银行提供了前所未有的访问个人产品价格的实时数据。然而，为了将这些数据用于通货膨胀的即时预测和预测，分析师需要根据统计惯例对产品进行分类。在没有可靠、可扩展的分类方法的情况下，通货膨胀分析师虽然数据泛滥，但缺乏可操作的见解。 产品在爬虫数据规模上的分类是一项重大挑战。手动处理如此大量的数据是不现实的。使用大型语言模型（LLM）进行分类很有前景，但现有的LLM模型，其处理时间和成本变得难以承受。项目光谱使用了欧洲央行的每日价格数据集（DPD），其中包含3,400万种独特产品每天的价格-产品观察数据数十亿条。在撰写本文时，使用GPT-5对这些数据进行分类需要超过六个月的计算时间，成本超过50万欧元。 项目光谱——由国际清算银行（BIS）、德国联邦银行和欧洲中央银行联合开展的合作项目——探索了一种只使用人工智能（AI）将产品描述转化为高维文本嵌入的替代方法。这些嵌入随后利用经典的机器学习算法分类到产品类别。文本嵌入是一种被许多自然语言处理应用所采用的基础AI技术。此方法达到了与大型语言模型提示相当的水平，但成本仅为后者的几分之一：整个DPD分类仅需5天，花费约为1500欧元。 除了对当前DPD中的所有记录进行分类外，该项目还开发了一套生产流程解决方案，能够对新添加到DPD中的新产品进行分类。此外，为确保持续改进，实施了一种迭代算法，以逐步扩大参考数据集。通过选择性地将手动标注的数据添加到参考和验证集中，该算法系统地完善了分类逻辑，提高了整体预测准确性，并适应不断变化的产品范围。 将原始的零散产品描述转换为结构化数据，项目光谱为分析师和政策制定者提供了关于价格变化的及时、详尽洞察。最终，该项目为新一代由人工智能驱动的分析做出了贡献，在这些分析中，数据的丰富性可以更容易地转化为可行动的经济理解。 本报告旨在为利用高频数据进行通胀即时预测的货币政策分析师以及寻求大规模分类成本效益替代方案的中央银行数据科学家提供参考。它还作为对统计机构寻求将扫描器和网络爬虫数据自动分类为官方指数的技术参考。最后，它为研究单个产品层面定价行为的经济研究人员提供了一个方法论框架。 目录 执行摘要3 使用在线物价数据来进行通货膨胀当下预测 82. 相关文献 93. 波谱概述 4. 数据 4.1. 每日价格数据集（DPD）4.2. 通过手动标注参考和测试数据集获取的地面实况4.3. 样本代表性 121315 175. 实施 17181920215.1. 精选参考数据集5.2. 嵌入模型5.3. 使用k近邻算法进行分类5.4. 使用前馈神经网络进行分类5.5. 直接大型语言模型提示 22 6. 评估 6.1. 分类准确度226.2. 分类方法的可行性及成本比较26 7. 初步部署和持续改进流程 28 8. 结论与下一步计划 10. 参考文献页 32 1. 使用在线价格数据来进行通货膨胀现在预测 精准及时的通货膨胀预测1预测在有效的货币政策中起到了核心作用，因为通货膨胀通常会对政策措施产生滞后性的反应。2通过预测未来的价格趋势，政策制定者可以提前调整利率和其他政策工具，以维持价格稳定并防止代价高昂的经济波动。这种远见不仅有助于锚定通胀预期和促进可持续增长，3不仅加强了公众对货币当局及时有效应对新兴风险的信心。 随着消费者支出的很大一部分在线进行，电子商务平台的数据现在是通货膨胀预测和定价分析的一个丰富的实时信息来源。在传统的统计抽样和店内数据收集中，现场工作人员定期访问商店并记录价格。由于在线数据能够捕捉实时价格变化，它们有可能比传统的宏观经济指标提供更及时和更有针对性的见解，而这些指标通常会有一定的延迟，并且以固定的发布频率出现。4数据还提供了关于产品和价格制定的更丰富信息，包括单个价格变化的频率和幅度，大企业的价格制定，关于销售和折扣使用的店铺级数据以及提供给产品范围的演变。5 然而，尽管在线价格数据细节丰富，提取可操作的见解仍然是一项挑战。主要问题是网络抓取的数据未标准化——它们以各种格式出现，缺乏质量调整，并且以非标准化的文本形式包含关键信息，使得解读变得困难。6这种异质性要求进行广泛的协调工作，以创建统一的数据集。 主要挑战是项目光谱针对的，是根据国际分类标准对产品进行标签，例如根据目的的消费个体分类（COICOP）。为了利用个人价格信息进行通货膨胀分析，将每个产品映射到分类类别至关重要。这有助于在细粒度级别构建一致的价格系列。确保准确的分类对于保持各国通货膨胀计算的可比性也至关重要。 提高高频价格数据质量和可获得性的优势显而易见。同时，从高频数据中创建结构化、统一的数据集面临的挑战多种多样。除了分类问题之外，收集到的数据规模超过了传统数据处理方法的容量，需要广泛的自动化。而用于经济政策的典型数据集包含数百或数千个数据点，而网络抓取的在线价格数据则包含数百万甚至数十亿个观测值。处理如此庞大的数据量需要新的技能和对技术基础设施进行调整，以便于高效存储和处理。只有当这些数据被结构化和统一时，中央银行才能将其转化为决策、预测和经济分析的见解。 为了应对这些挑战，Spectrum项目利用文本嵌入和机器学习技术自动对网页抓取的产品描述进行分类，从而实现了更及时和细致的通货膨胀分析。该技术方法通过一个大型网页抓取价格数据库——DPD（由欧洲中央银行在价格设定微观数据分析网络（PRISMA）的背景下收集，参见Osbat等（2022年））进行了验证。DPD是在欧元区内通过网页抓取方式收集价格数据最具雄心的项目之一。它每天收集大约400万个价格-产品观测数据。由于产品更替率高，每月可能新增近百万个需要分类的新产品。使用这个大数据集使Spectrum项目能够验证其方法在执行时间和成本方面的效率，并证明其适用于处理大规模、高频数据集。 2. 相关文献 非凡的经济事件，如金融危机和新冠疫情，强调了获取关键宏观经济指标更准确、更及时数据的重要性，以便为中央银行提供关于当前经济状况的即时洞察，并及早发现突然变化。这突显了数据基础设施在当代经济预测中的关键作用（Tissot和de Beer，2020年）。几篇研究论文记录了使用在线价格进行经济政策的益处（Cavallo，2013年）；以及基于“十亿价格项目”的第一批出版物。7例如，Cavallo和Rigobon（2016）提供了经验证据，表明从网络爬虫价格构建的指数可以有效追踪各国官方消费者价格指数（CPI）的动态和变动。这一发现，确认了微观数据的效用，在后来的作品中得到了有力支持，这些作品利用了来自扫描数据的多情景下的微观价格，如德国市场（Beck等人，2024年），以及更广泛的国际研究（Alvarez-Blaser等人，2025年）。 高频、网络爬取的价格微观数据可以提高相对于已建立的基准计量经济学模型对头寸通货膨胀的预测准确性。这一点已被Cavallo（2018b）和Harchaoui、Janssen（2018）所探讨。最近，专注于对使用在线价格以提高通货膨胀预测工具的系统分析，Aparicio和Bertolotto（2020）为10个国家提供了证据，表明使用此类数据的模型在预测CPI变化方面优于传统基准模型。 实证研究表明，在线价格数据不仅提高了通货膨胀及其子组件的预测和即时估算能力，而且对于难以预测的CPI子组件尤为重要，因为这些子组件波动性高。Macias等人（2023年）比较了使用在线价格数据进行波兰食品和非酒精饮料通货膨胀的即时估算性能，与标准单变量模型和中央银行判断性预测。他们表明，整合网络抓取数据可以减少预测误差。他们工作的一个关键贡献是强调了在线价格观测准确分类在即时估算中的关键作用。适当的分类确保观察到的价格变化真正反映了相关商品类别内的价格动态。同样，Beer等人（2025年）关注奥地利食品和非酒精饮料的网络抓取价格，证明将网络抓取数据整合到基于时间序列的短期预测中，显著提高了分解通货膨胀率的可预测性。8 网络爬取数据的应用不仅限于预测和现期通货膨胀或其子组成部分。在线价格数据对于理解企业的定价行为，包括价格变动的频率和规模，具有巨大价值。此类数据有助于分析价格变动分布，从而更好地理解通货膨胀，并有助于在宏观经济模型中确定微观基础（Gautier等，2023；Gautier等，2024；欧洲央行，2025；Dedola等，2025）。 3. 波谱概述 项目光谱探索人工智能（AI）将产品描述分类以提高通货膨胀预测自动化的潜力。它利用文本嵌入和多语言能力的大型语言模型（LLMs）将原始、高容量、非结构化的产品数据转换成标准化、可获取的信息。通过自动化产品分类，项目光谱促进了高频在线价格数据融入通货膨胀预测和预测过程，使得，例如，短期通货膨胀率预测更加准确。 直接将LLM应用于产品分类的方法是向LLM提供产品描述和产品类别的定义，并提示其预测适当的类别。这种方法，以下称为“直接LLM提示”，对于少量产品是有效的，但存在可扩展性问题。由于提示需要包含完整的类别描述手册，假设有几百个产品类别，提示可能达到约56,000个token。9使用目前可用的LLM模型，在规模上采用这种方法——面对数百万商品和数十亿观察数据——由于处理如此大量提示的时间成本问题而变得复杂。例如，在撰写本文时，使用GPT-5对3400万条记录进行分类可能需要超过200天，成本超过65万欧元。10,11 项目光谱探索了一种替代方法，即仅使用人工智能将产品信息转化为嵌入，然后通过经典的机器学习算法（图1）将这些嵌入分类到产品类别中。该项目旨在表明，这种方法，以下简称“基于嵌入的分类器”，可以达到与直接LLM提示相似的准确性，同时显著减少分类时间和成本。除了节省时间和成本外，文本嵌入还消除了提示中的随机性。LLM模型的动态特性有助于指导LLM提示，从长远来看提高其性能和效率，但可能会降低分类的重复性和可靠性。 图1 此图表展示了将非结构化产品数据转化为固定类别的过程，以便随后计算特定类别的指数。 文本嵌入是一种人工智能技术，根据其语义内容将文本转换到高维空间。结果是n维向量，其中n的范围从几百到几千，具体取决于嵌入模型。嵌入将语义相似的文本在向量空间中定位在一起。这在图2中得到了说明，图2将大约30,000个产品描述映射到3072维空间，然后使用t-SNE算法进行降维以作展示。图2显示，相似产品聚集在一起，这表明嵌入是一种有前景的分类方法。一旦产品描述被映射到这个多维空间，就可以通过传统的分类算法进行处理。 这张图表展示了大约30,000个产品（每个以点表示）的分布情况。首先将产品描述转换为3,072维嵌入，然后使用K-means算法将它们分组为五个不同的簇。接下来，为了可视化，使用t-SNE算法将这些高维向量和簇投影到二维空间。颜色代表算法簇，而每个簇的文本标签（例如，外卖）是根据视觉检查和选择每个组中的主题模式手动分配的。 来源：PRISMA DPD及作者计算 表1总结了某些产品分类方法的主要优点和缺点。人工数据标注无法扩展以处理大量网页抓取数据。同时，传统的基于关键词的算法（例如正则表达式、词汇或语义词典）在处理非结构化、异构和多语言的产品数据集时存在困难，并需要不断的词典更新。直接使用LLM提示可以达到多语言数据的高精度，但由于处理的时间和成本，不易扩展。项目Spectrum正在测试结合嵌入模型与分类算法是一种实用、准确且可扩展以处理大量网页抓取数据集的方法的假设。 为了检验这一假设，项目光谱实施了基于嵌入的分类方法，并按照2018年欧洲个人消费目的分类（ECOICOP）对欧洲中央银行（ECB）的DPD中的产品进行分类，以此对其进行评估。12这是欧洲统计局（Eurostat）建立的用于构建消费者价格指数（CPI）的分