乌克兰 ： 技术援助报告 - 消费物价指数报告任务

乌克兰消费物价指数报告（2024年3月25 - 29日）2024年7月 编制人克劳德·兰伯雷 免责声明 “本文件的内容是国际货币基金组织工作人员应乌克兰当局（“裁谈会受援国”）的技术援助请求向其提供的技术咨询。本文件（全部或部分）或其摘要可由基金组织向基金组织乌克兰执行董事、基金组织其他执行董事及其工作人员披露，以及裁谈会受援方的其他机构或机构，并应他们的请求，向世界银行工作人员和其他技术援助提供者，除非裁谈会受援方明确反对这种披露(见《能力发展信息传播业务指南》)。将本报告（全部或部分）发布或披露给除裁谈会接受方、世界银行工作人员和其他技术援助提供者的机构或机构以外的货币基金组织以外的各方，应得到裁谈会接受方和货币基金组织统计部门的明确同意。. " 目录 特派团成果和优先建议摘要3 第一节详细的技术评估和建议4 A.导言5B.数据收集和数据准备6C.分类8D.数据清理9E.索引编译和数据集成10F.任务期间会见的官员13 首字母缩略词和缩写 COICOP按目的分类的个人消费CPI居民消费价格指数IQR四分位间距法ML机器学习SSSU乌克兰国家统计局STS乌克兰国家税务局TA技术援助 特派团成果和优先建议摘要 1.在奥地利维也纳进行了一次技术援助（TA）访问，以协助乌克兰国家统计局（SSSU）引入行政扫描仪数据来编制消费者价格指数（CPI）。SSSU计划使用来自国家税务局（STS）的行政扫描仪数据。该数据源涵盖了零售商依法要求使用的收银机记录的交易。该代表团就乌克兰CPI中使用该数据源的主要流程提供了建议。 2.合并扫描仪数据将提高CPI的质量并减少现场价格收集。一旦引入这些数据，区域，产品和时间覆盖范围将得到改善。可以编制加权价格指数，因为价格和收入信息都可以在扫描仪数据中获得。 3.在将数据传送到SSSU之前, STS将需要一些预处理。STS数据是大数据，包含零售商为商品进行的每笔交易的信息。特派团建议合并交易，指的是在给定月份内在某个地区的所有商店出售的同一物品。由于没有正式的项目代码，因此必须使用文本标签来标识同一项目的交易。然后通过将总收入除以售出的总数量来获得平均价格。在计算这些平均价格之前，需要进行一些数据清理。数据还必须与CPI中使用的分类相关联。SSSU已经开发了字符串搜索算法，可以识别项目标签中的模式，以便可以自动将其分配给CPI类别。. 4.SSSU应同意STS将提供的数据特征。应指定预处理计算，数据中包含的变量以及数据供应的频率和及时性，包括为第一次传输提供返回数据。应通过更新SSSU和STS之间的谅解备忘录中的协议来形式化数据供应。根据该协议，必须从技术角度准备数据的生成，传输，接收和存储。 5.然后，SSSU必须进一步处理数据，然后才能将其用于指数计算。特派团建议将扫描仪数据中的项目链接到CPI层次结构的最低级别（i。Procedres.335级代表性产品）。SSSU应进一步审查和更新字符串搜索算法提出的分类建议。应建立流程和工具来支持项目分类。最后，应实施异常值方法，以检测和删除价格异常的物品。 6.应使用固定篮法计算选择产品的实验价格指数。与更高级的索引方法相比，该方法更接近当前的实践，对数据的要求更低，并且更易于解释。尽管STS数据的潜在范围很广，但应仅针对有限的产品（例如某些食品或药品）计算指数。指数应按地区的代表性产品水平计算。这与从手动收集的价格获得基本价格指数的水平相同。这种方法将有助于与当前价格系列进行一致的比较，并有助于将来将扫描仪数据纳入CPI。 为了支持上述工作领域的进展，访问团建议了一项详细的行动计划，其中包括以下优先建议。 第一节详细的技术评估和建议 A.INTRODUCTION 8.SSSU计划使用来自STS的管理扫描仪数据来计算CPI。This administrative data source covers thetransactions recorded by counter machines that retailers have been legally required (with some exception) to use. TheSTS would transmate these data in a pre - aggregated form to the SSSU for CPI calculations. 9.行政扫描仪数据可以改善CPI的产品，地理和时间覆盖范围。扫描仪数据提供了改进的产品覆盖率，因为可以包括零售商出售的更多商品，而不是仅对少数品种进行采样。地理覆盖范围也得到了改善，因为可以包括更多的网点。可以扩展时间覆盖范围，因为扫描仪数据覆盖了特定商品的参考月份的很大一部分，而不是每月一次或两次观察商店的价格。这也将有助于更好地捕获销售，促销和折扣。 10.扫描仪数据将提高价格指数的准确性。扫描仪数据不仅包含价格信息，还包含销售单位数量信息。在单个项目级别上的这种详细加权使得可以根据项目的重要性对项目进行采样并应用加权指数公式。 11.多源数据收集方法将降低价格收集成本，并使CPI生产系统更具弹性。现场价格收集是乌克兰CPI的主要数据来源。行政扫描仪数据最终可能取代SSSU区域机构工作人员目前进行的部分手动现场价格收集。 12.CPI中扫描仪数据的工作将持续数年。2024年，应努力确保定期访问数据并计算实验性价格指数。然后可以将这些实验指标与当前系列进行比较。已经制定了一项行动计划（表2），其中包括进行此类试点研究的主要步骤。一旦试点研究取得进展，可能需要进一步的技术援助。根据试点研究的结果，可以在2025年调整CPI生产系统，以便在2026年1月之前整合到CPI中。在CPI中的扫描器数据的集成通常以增量方式进行。例如，人们可以首先整合食品和药品，然后逐步将范围扩大到其他产品。 13.扫描仪数据的使用将改变CPI的生产过程。将来，扫描仪数据的处理将在中央一级创建新任务，同时减少在区域一级进行的数据收集活动。在CPI中使用扫描仪数据的主要过程是：（i）数据 收集和数据准备；（ii）分类；（iii）数据验证；以及（iv）索引编制和数据集成。本报告将进一步讨论这些过程。 B.数据收集和数据准备 14.STS数据是大数据。数据源包括关于在零售商和买方之间交易的每个单独物品的价格数据。在执行任务期间，检查了一些样本文件。一天的交易总计超过7700万行，每行代表特定项目的交易。目前，数据是从超过900, 000台收银机中收集的，涵盖了全国不同类型的网点，涉及各种产品。该数据源的覆盖范围将来可能会进一步增加。 15.在将数据发送到SSSU之前，STS应该进行一些初始转换。一些预聚合将有助于减少数据的大小.SSSU处理较小的数据集将更实际。此外，某种程度的聚合避免了可能被认为是机密的事务级数据的披露。 16.访问团就平均价格的计算水平提供了建议。在使用扫描仪数据计算平均价格时，必须考虑以下维度：（i）时间维度；（ii）出口/区域维度；（iii）产品维度。从概念上讲，交易可以在质量相同的情况下合并为单个平均价格。 时间维度。一般来说，人工收价是在1st和25th每个月的天。平均价格应与当前CPI的时间覆盖范围保持一致。数据可在STS上获得，延迟约5天。在生产环境中，月底的数据供应将留出足够的时间来处理和分析数据，以在9上发布CPIth下个月的一天。应根据试点研究的结果确认时间覆盖范围的选择，并与CPI顾问委员会代表的成员进行讨论。 出口/区域层面。CPI的区域分层由25个地区组成。平均价格应根据相同地区计算。这种方法将有助于与CPI的整合，因为每个区域阶层都可以获得价格数据。与目前的做法相比，价格数据的地理覆盖范围将有所改善。进入平均价格的数据应该是指整个地区的交易，而不仅仅是在当前CPI价格收集城市中发生的交易。可能存在可能的单位值偏差。1在平均价格中，因为来自不同类型的网点（不同的链，小型和大型网点）的交易是组合的。但是，由于机密性，按网点或网点类型提供数据可能是不可能的。 产品尺寸。条形码不包括在STS数据中，因为零售商不强制提供此类信息。在没有正式项目标识符的情况下，必须使用标签(文本字符串)来识别相同的项目。应该进行一些文本字符串清理，以便将标签略有不同的相同项目分组在一起。 17.平均价格应按单位价值计算。单位值是通过将总收入除以在平均价格规定范围内的所有交易的销售单位总数而获得的。此平均价格（单位值）与原始数据中每个交易行的价格的算术平均值不同。这是因为在一个交易行中可能出售多个单位。 18.提供给SSSU的数据应包括CPI处理所需的变量。理想情况下，以下变量应在给定月份中对给定区域中的给定项目可用： 日期(月)描述项目的标签（文本字符串）区域代码总收入（对于给定项目/地区/月组合）销售单位总数（对于给定项目/地区/月组合）平均价格(以总收入除以销售单位总数得出)COICOP类别(详情见本报告C节)作为平均价格计算基础的原始数据中的交易行数量(用于质量控制) 19.由于这些变量的机密性，是否可以提供有关收入和销售单位数量的数据仍然不确定。通常，CPI计算中使用的扫描仪数据包含价格和销售单位数量。如果无法安排获得收入或出售单位数量，则出于CPI计算的目的，提供衡量项目“重要性”的替代指标将是有益的。例如，收入可以按类别转换为收入份额。另一种选择是按递减顺序对收入进行排名，并发送类别中项目的排名，而不是收入变量本身。 20.应更新STS和SSSU之间的谅解备忘录，包括提供扫描仪数据的专用协议。此类协议应定义数据集中包含的变量，数据传输的规则（频率和及时性），包括首次传输的历史数据的提供，以及其他规定，例如STS对数据进行的任何预处理。协议可确保所提供数据的连续性，并有助于避免数据传输中的不协调更改或中断。 21.SSSU应在接收到数据文件后进行一些初始质量检查。此初始验证可包括验证文件的大小、检查包含在文件中的变量以及编译主要变量的一些基本摘要统计信息。 建议行动: SSSU与STS同意要传输给SSSU的数据，并通过更新谅解备忘录（MOU）来形式化数据供应。数据变量，频率，及时性和STS预处理都应在更新的MOU中解决。SSSU准备接收数据并与STS就数据传输协议达成一致。 SSSU开始定期接收数据，并确认数据符合商定的要求。 C.分类 22.扫描仪数据中包含的项目必须连接到CPI中使用的分类。乌克兰CPI使用按目的分类的个人消费（COICOP），该分类分为最低级别的335种代表性产品（称为7位数的COICOP级别）。访问团建议将扫描仪数据中的项目与代表性产品的级别(7位数的COICOP)联系起来。这将有可能以与当前CPI相同的详细程度来计算价格序列。分类过程是确保指标准确性的关键步骤。 23.SSSU已经开发了一种字符串搜索算法，可以识别项目标签中的模式。此方法根据产品的不同自动将项目链接到5位甚至7位的COICOP类别。虽然此方法并非没有错误，但在一定程度上有助于根据COICOP组织数据。必须继续维护文本挖掘规则，因为项目标签中的模式可能会随着时间的推移而变化。 24.任务建议审查并可能更新字符串搜索算法提出的分类建议模式匹配并不完美，可能导致分类错误。此外，对于仅通过该方法在更高级别的分类的项目，仍必须选择7位数的COICOP类别。在短期内，这项审查可以手动完成。通过只处理试点项目范围内的项目并侧重于销售最多的项目，可以将分类负担降至最低。 25.应建立流程和工具以支持项目分类项目- COICOP关系应存储在单独的参考表中。然后，可以将该参考表与每月扫描仪数据文件合并，以获得每个项目的相应COICOP类别。这种策略将使分类过程高效，因为每个项目在进入参考表时只需处理一次。它将确保分类在不同地区是一致的(i.Procedres.在不同地区销售的同一件物品被分配到相同的COICOP类别)，并且跨时间(i。Proce