项目光谱：利用生成式人工智能强化通货膨胀临近预报

十二月2023 二月2026利用生成式人工智能以增强通过生成式AI实现气候风险分析标题：标题 e预测当前通货膨胀子标题子标题标题：标题：项目光谱“盖亚项目” © 国际清算银行 2026年。版权所有。 允许在注明出处的情况下，复制或翻译部分内容。 执行摘要 网络抓取和扫描数据集的可用性为中央银行提供了前所未有的实时产品价格数据访问权。然而，为了使用这些数据来进行通货膨胀现在预测和未来预测，分析师需要根据统计惯例对产品进行分类。在没有可靠、可扩展的分类方法的情况下，通货膨胀分析师数据泛滥但缺乏可执行的见解。 产品在网页抓取数据规模下的分类是一个重大挑战。手动处理如此大量的数据是不可行的。利用大型语言模型（LLMs）进行分类具有前景，但现有的LLM模型使得处理时间和成本变得过高。项目Spectrum使用了欧洲中央银行的每日价格数据集（DPD），其中包含了34百万种独特产品的数十亿价格-产品每日观察数据。在撰写本文时，使用GPT-5对这个数据集进行分类需要超过六个月的计算时间，成本超过50万欧元。 项目光谱——国际清算银行（BIS）、德国联邦银行和欧洲中央银行之间的合作——探索了一种替代方法，其中仅使用人工智能（AI）将产品描述转化为高维文本嵌入。然后，使用经典机器学习算法将这些文本嵌入分类到产品类别。文本嵌入是许多自然语言处理应用所使用的AI基础技术。这种方法达到了与LLM提示相当的正确率，但成本仅为后者的几分之一：整个DPD分类仅需五天，花费约1500欧元。 除了对当前DPD中的所有记录进行分类外，该项目还开发了一套生产流程解决方案，能够对新加入DPD的产品进行分类。此外，为确保持续改进，实施了一个迭代算法，逐步扩大参考数据集。通过有选择地向参考和验证集添加人工标记的数据，该算法系统性地优化了分类逻辑，提高了整体预测精度，并适应不断变化的产品范围。 通过将原始的、碎片化的产品描述转化为结构化数据，Project Spectrum为分析师和政策制定者提供了及时、详细的价格发展趋势洞察。最终，该项目有助于催生新一代以人工智能为动力的分析，使得数据丰富性可以更轻松地转化为可操作的经济理解。 本报告旨在为利用高频数据进行通货膨胀短期预测的货币政策分析师以及寻求大型分类中成本效益替代方案的中央行数据科学家提供帮助。它还作为统计机构寻求自动化将扫描和网页抓取的数据分类到官方指数的技术参考。最后，它为研究个人产品层面定价行为的经济研究人员提供了一个方法论框架。 目录 执行摘要3 缩写和缩略语 82. 相关文献 93. 波段概述 4. 数据 4.1. 每日价格数据集（DPD）4.2. 通过对参考数据集和测试数据集的人工标注获取地面真值4.3. 样本代表性 121315 5. 实施 5.1. 精选参考数据集175.2. 嵌入模型185.3. 使用k-最近邻算法进行分类195.4. 使用前馈神经网络进行分类205.5. 直接大型语言模型提示21 22 6. 评估 6.1. 分类精度226.2. 分类方法的可行性和成本比较26 7. 初次部署及持续优化流程 28 8. 结论与下一步行动 1. 利用在线价格数据对未来通货膨胀进行预测 精确及时的通胀预测1预测对于有效的货币政策至关重要，因为通货膨胀通常会对政策措施产生时滞反应。2通过预测未来价格趋势，政策制定者可以提前调整利率和其他政策工具，以维持价格稳定并防止成本高昂的经济波动。这种前瞻性思维不仅有助于锚定通货膨胀预期，促进可持续发展，3但同时也增强了公众对货币当局迅速有效应对新兴风险的信心。 随着消费者支出的很大一部分都在线上进行，电商平台的数据现在成为通货膨胀预测和定价分析实时信息的丰富来源。在传统的统计抽样和店内数据收集中，现场工作人员定期走访商店并记录价格。由于在线数据可以捕捉实时价格变动，它们有可能提供比传统宏观经济指标更及时和更有针对性的见解，而传统宏观经济指标通常会有一些延迟，并以固定频率发布。4这些数据还提供了关于产品和定价的更丰富信息，包括单个价格变化的频率和规模、大企业的定价策略、销售和折扣的使用情况以及提供的产品范围的演变。5 然而，尽管在线价格数据详细丰富，提取可操作见解仍然是一项挑战。主要问题是网络爬取的数据没有标准化——它们以各种格式出现，缺乏质量调整，并且以非标准化的文本形式包含关键信息，这使得解读变得困难。6这种异质性需要付出大量努力来实现数据的统一。 主要挑战是按照国际分类标准对产品进行标记，例如根据目的的个别消费分类（COICOP）。为了利用个别价格信息进行通货膨胀分析，将每个产品映射到分类类别至关重要。这使能在微观层面上构建一致的价格系列。确保准确的分类对于保持国家间通货膨胀计算的可比性也至关重要。 提高高频价格数据质量和可获取性的优势显而易见。同时，从高频数据中创建结构化、统一的数据集面临的挑战则多方面。除了分类问题外，收集到的数据规模超出了传统数据处理方法的处理能力，需要高度自动化。而用于经济政策的典型数据集包含数百或数千个数据点，而网络抓取的在线价格数据则包含数百万甚至数十亿个观测值。处理如此庞大的数据量需要新的技能和技术基础设施调整，以便于高效存储和处理。只有当这些数据被结构化和统一时，中央银行才能将其转化为决策、预测和经 为应对这些挑战，Project Spectrum利用文本嵌入和机器学习技术自动对网络爬取的产品描述进行分类，从而实现更及时和细致的通货膨胀分析。该技术方法通过一个大型网络爬取的价格数据库——DPD进行了验证，该数据库由欧洲中央银行在价格设定微观数据分析网络（PRISMA）的背景下收集（参见Osbat等人（2022年的研究））。DPD是欧元区通过网络爬取收集价格数据最具雄心壮志的举措之一。它每天收集约400万个价格-产品观测数据。由于产品更换率高，每月可能增加近百万个需要分类的新产品。利用这个庞大的数据集，Project Spectrum能够验证其方法在执行时间和成本方面的效率，并证明其适用于处理大规模、高频数据集。 2. 相关文献 非凡的经济事件，如金融危机和新冠疫情大流行，凸显了获取更准确、更及时的关键宏观经济指标数据的必要性，以便为中央银行提供对当前经济状况的即时洞察，并在早期发现突然的变化。这强调了数据基础设施在当代经济预测中的关键作用（Tissot和de Beer（2020年））。几篇研究论文记录了使用在线价格进行经济政策的益处（Cavallo（2013年））；以及基于“十亿价格项目”的第一批出版物。7例如，Cavallo和Rigobon（2016）提供了实证证据，表明从网络抓取的价格构建的指数能够有效地追踪不同国家和不同时间范围内官方消费者价格指数（CPI）的动态和变动。这一发现证实了微观数据的实用性，并得到了后来利用来自各种情境（如德国市场Günter（2024））的扫描数据微观价格以及更广泛国际研究的稳健支持（Alvarez-Blaser等（2025））。 高频、网络抓取的价格微观数据可以提高对名义通货膨胀的预测准确性，相对于成熟的基准计量经济学模型。这一点已被Cavallo（2018b）和Harchaoui与Janssen（2018）所探讨。最近，Aparicio和Bertolotto（2020）专注于对利用在线价格以改进通货膨胀预测工具的系统分析，他们为10个国家提供了证据，表明使用此类数据的模型在预测CPI变化方面优于传统基准模型。 实证证据表明，在线价格数据不仅能提高对总通货膨胀的预测和即时预测能力，还能提高其对子成分的预测能力。这对于因其高波动性而难以预测的CPI子成分来说尤为重要。Macias等人（2023年）通过使用在线价格数据对波兰食品和非酒精饮料通货膨胀的即时预测性能与标准单变量模型和中央银行的判断性预测进行了比较。他们展示了将网络抓取数据纳入预测中可以减少预测误差。他们工作的一个关键贡献是突出了在线价格观测准确分类在即时预测中的关键作用。正确的分类确保观察到的价格变化真正反映了相关商品类别内的价格动态。同样，Beer等人（2025年）关注奥地利食品和非酒精饮料的网络抓取价格，证明了将网络抓取数据整合到基于时间序列的短期预测中显著提高了分解通货膨胀率的可预测性。8 网络抓取数据的应用范围不仅限于预测和即时报告头寸通货膨胀或其子组件。在线价格提供了深入了解企业定价行为的巨大价值，包括价格变化的频率和规模。此类数据有助于分析价格变化分布，从而更好地理解通货膨胀，并有助于在宏观经济模型中确定微观基础（Gautier等（2023年）；Gautier等（2024年）；欧洲央行（2025年）；Dedola等（2025年））。 3. 波段概述 项目光谱探讨了人工智能（AI）对产品描述进行分类以自动提高通货膨胀预测的潜力。它利用文本嵌入和多语言能力的大型语言模型（LLMs），将原始、高容量、非结构化产品数据转换为标准化的、可获取的信息。通过自动化产品分类，项目光谱促进了高频、在线价格数据整合到通货膨胀预测和预测过程中，例如，使短期通货膨胀率预测更加准确。 直接使用生成式AI进行产品分类的方法是向大型语言模型提供产品描述和产品类别的定义，并提示它预测适当的类别。这种方法，以下简称“直接LLM提示”，对于少量产品是有效的，但存在可扩展性的挑战。由于提示需要包括完整的类别描述手册，假设有几百个产品类别，提示可能达到约56,000个标记。9使用目前可用的LLM模型，在规模上采用这种方法——面对数百万种商品和数十亿个观测值——由于处理如此大量提示的时间成本问题变得复杂。例如，在撰写本文时，使用GPT-5对3400万条记录进行分类可能需要超过200天，并花费超过65万欧元。10,11 项目光谱探索了一种替代方法，即仅使用人工智能将产品信息转化为嵌入，然后通过经典的机器学习算法（图1）将这些嵌入分类到产品类别。该项目旨在表明，这种方法，以下简称“基于嵌入的分类器”，可以达到与直接LLM提示相似的准确度，同时显著减少分类时间和成本。除了节省时间和成本之外，文本嵌入还消除了提示中的随机性。LLM模型的动态特性有助于指导LLM提示，从而在长期内提高其性能和效率，但可能会降低分类的复现性和可靠性。 图1 此图表展示了将非结构化产品数据转化为既定类别的过程，从而使得后续计算特定类别指数成为可能。 文本嵌入是一种人工智能技术，它根据文本的语义内容将其转换到高维空间。结果是n维向量，其中n的范围从几百到几千，具体取决于嵌入模型。嵌入将语义相似的文本在向量空间中定位得靠近。这在图2中得到了说明，图中约30,000个产品描述被映射到3,072维空间，然后使用t-SNE算法投影到二维空间以进行说明。图2显示，相似的产品被聚集在一起，这表明嵌入是分类的有前景方法。一旦产品描述被映射到这个多维空间，它们就可以通过传统的分类算法进行处理。 这张图展示了大约30,000个产品（每个产品以一个点表示）的分布。首先将产品描述转换为3,072维嵌入，然后使用K-means算法将这些嵌入分组为五个不同的簇。接下来，为了可视化，使用t-SNE算法将这些高维向量和簇投影到二维空间。颜色代表算法簇，而每个簇的文本标签（例如，外卖）则是根据视觉检查和选择每个组内的主题模式手动分配的。 来源：PRISMA DPD和作者计算。 表1总结了某些产品分类方法的主要优点和缺点。手动数据标注无法扩展以处理大量网络爬取的数据。同时，传统的基于关键词的算法（例如正则表达式、词汇或语义词典）在处理非结构化、异构和多语言的产品数据集时存在困难，并且需要不断的词典更新。直接利用大型语言模型（LLM）提示可以达到多语言数据的高准确性，但由于处理的时间和成本，难以扩展。项目Spectrum正在检验这样一个假设：将嵌入模型与分类算法相结合是一种实用、准确且能够扩展以处理大量网络爬取数据集的方法。 为了验证这一假设，光谱项目实施了一种基于嵌入的分类方法，并通过根据2018年欧洲个人消费目的分类（ECO