核心观点
项目Spectrum旨在利用人工智能技术自动对网络抓取的产品描述进行分类,以提升通胀即时预测和分析的效率。项目主要关注解决产品分类难题,通过将产品描述转化为高维文本嵌入,再利用经典机器学习算法进行分类,从而实现高效、准确的分类效果。
关键数据
- 项目使用的数据为欧洲央行每日价格数据集(DPD),包含约3400万个独特产品的每日价格观测值。
- 项目将产品分类至ECOICOP 2018五位数级别,覆盖了欧元区19个CPI篮子的约50%支出。
- 项目开发了两种基于嵌入的分类器:k近邻(KNN)算法和前馈神经网络(FFN),并与直接大型语言模型(LLM)提示方法进行比较。
研究结论
- 基于嵌入的分类器在准确性和效率方面均优于直接LLM提示方法,分类成本和时间显著降低。
- 嵌入分类器在大多数ECOICOP类别中实现了超过70%的分类准确率,但在某些类别(如健康和住房)中准确率较低。
- 项目实现了初步部署和持续改进流程,通过迭代人工标注数据逐步扩展参考数据集,提升分类准确率。
- 项目成果为统计机构、经济研究人员和政策制定者提供了宝贵的参考,有助于将数据丰富转化为可操作的经济洞察。
未来展望
- 项目将测试不同数据集和语言的解决方案,并构建ECOICOP五位数级别的CPI指数进行历史回测,以进一步验证其有效性。