核心观点
该项目旨在利用人工智能技术自动对网络抓取的产品描述进行分类,以促进高频率在线价格数据在通货膨胀即时预测和预测中的应用。项目探索了两种方法:直接大型语言模型提示和基于嵌入的分类器。直接大型语言模型提示虽然准确,但由于处理时间和成本过高而不可行。基于嵌入的分类器在准确性和成本之间取得了更好的平衡,并且具有可扩展性和模块化等优点。
关键数据
- 项目使用了欧洲中央银行每日价格数据集 (DPD),其中包含 3400 万个独特产品的每日价格-产品观测值。
- 参考数据集包含 30,000 个经过手动标记的产品,用于训练分类算法。
- 测试数据集包含 30,000 个产品,用于评估分类性能。
- 项目涵盖了欧元区 19 个国家 CPI 购物篮中约 50% 的支出。
研究结论
- 基于嵌入的分类器在分类准确性和成本之间取得了更好的平衡,并且具有可扩展性和模块化等优点。
- 该方法可以有效地将大量非结构化数据转换为结构化数据,为分析师和政策制定者提供及时、详细的洞察力。
- 通过迭代过程逐步扩展参考数据集,可以进一步提高分类准确性和适应性。
未来步骤
- 在不同的数据集和语言中测试解决方案。
- 构建基于 ECOICOP 子类级别的 CPI 指数,并将其与官方通货膨胀时间序列进行比较。