缺失的证据：追踪全球学术数据使用

政策研究工作文件 缺失证据 全球范围内追踪学术数据使用情况 布莱恩·斯塔西·卢卡斯·基茨米勒王晓宇 丹尼尔·格兹森 马勒 乌马尔·谢拉朱丁 政策研究工作文件10673 摘要 对一个国家的数据驱动研究是制定循证公共政策的关键。然而，人们对数据驱动研究在哪些方面存在不足以及如何扩展知之甚少。本文提出了一种按研究主题国家追踪学术数据使用的方法，应用于开放获取的研究论文，并运用自然语言处理技术。该模型的预测结果与人工编码方法得出的国家使用数据文章数量估算值高度相关，相关系数达到0.99。通过对超过100万篇学术文章的分析，该论文发现一个国家相关文章的数量与... 该研究与其人均国内生产总值、人口以及国家统计系统的质量密切相关。本文识别了与数据驱动研究强相关的数据来源，并发现下级区域数据的可用性似乎尤为重要。最后，本文根据各国从增加数据供给或需求中获益最多的情况，将国家分为不同组别。研究结果表明，前者适用于许多低收入和低收入中等收入国家，而后者适用于许多中上收入和高收入国家。 政策研究工作论文系列旨在发布研究进展成果，以促进关于发展问题的思想交流。该系列的一个目标是尽快发布研究成果，即使呈现的内容尚未完全完善。论文会注明作者姓名，并应按此引用。本文中表达的观点、解释和结论完全属于作者本人。这些观点不一定代表国际复兴开发银行/世界银行及其附属机构的观点，也不一定代表世界银行的执行董事或他们所代表的政府观点。 缺失证据：全球范围内学术数据使用追踪 布莱恩·斯塔西，卢卡斯·基茨米勒，王晓宇，丹尼尔·格兹森·马勒，和乌马尔·拉朱丁·塞 关键词：数据，学术界，研究，自然语言处理 JEL codes: C45, C52, O30 1 简介 近几十年来，产生的数据量呈爆炸式增长，为政策改善人民生活创造了无限机遇（世界银行，2021年）。尽管数据在其原始形式下可能具有价值，但数据的全部价值只有在被分析以产生洞见，并将这些洞见转化为公共政策或增强问责制时才能实现。 研究人员在这方面扮演着至关重要的角色。许多研究人员花费无数小时来消化数据，利用数据创造新知识，并与他人沟通这些知识，意图影响公共话语和公共政策。有许多数据驱动的分析案例对人们的生活产生了真实而重要的影响（Jolliffe等人，2023）。其中一个来自巴西的案例明确考察了研究人员影响政策结果的能力。在那里，对2,150个市镇的证据发现，向市镇长官通报关于一项简单政策变更有效性的研究结果，增加了其市镇实施该政策的概率10个百分点（Hjort等人，2021）。 若无研究，将面临数据回馈社会减少、旨在改善民生的政策无法落实的风险。然而，对于何处存在数据驱动证据缺失以及政府如何最佳地激发地方决策者的证据基础等问题，鲜为人知。本文试图通过解答两个问题来填补这些空白：(1) 使用数据的研究论文涉及哪些国家？(2) 各国如何增强其国家证据基础？我们关注数据驱动研究，因为数据对于政策制定日益重要，且需要特定政策来增加数据的供需，例如提升统计能力和提高数据素养。 为回答第一个问题，我们基于涵盖216个国家和不同学术领域的100万篇英文研究文章，提出了一种新的衡量研究文章中数据使用的方法。这些文章由语义学者开放研究语料库（s2orc）提供，该语料库已数字化全球数百万篇研究论文，并通过API提供原始文本访问（Lo等人，2020）。借助亚马逊Mturk工作者，我们手动对其中900篇文章进行编码，标记其是否使用数据，随后我们训练一个自然语言模型来预测Mturk工作者的编码结果（Devlin等人，2018）。该模型达到了87%的样本外准确率，当文章数据聚合到国家层面时，该模型与Mturk工作者分类的文章数量之间的相关系数为0.99。随后，我们将该模型应用于s2orc数据库中2000年至2020年的100万篇学术文章。该模型估算的是一个国家数据驱动研究的数量，无论研究人员位于何处，而不是该国公民进行的数据驱动研究数量。我们认为，前者是理解国家决策者可获得的证据基础的相关指标。 我们发现，数据驱动型研究与人均GDP和人口数量密切相关，这两者共同解释了各国约75%的差异。尽管高收入国家仅占世界人口的约15%，但它们却是近50%使用数据的论文的研究对象，而占世界人口约10%的低收入国家，在所有使用数据的论文中仅占约5%。 为回答第二个问题——各国如何增强其国家证据基础——我们首先确立了在控制了人口和GDP之后，一个国家的统计能力仍可预测数据研究，并且未使用数据的文章（我们将其作为衡量该国一般研究兴趣的代理指标）。为理解一个国家的统计能力中哪一部分对增强数据驱动研究最为重要，我们探索了与学术数据使用最相关的数据来源。我们发现，第一级行政级别的地理空间数据可用性每增加1%，数据使用量就增加1.1%；过去十年进行过人口普查与数据使用量增加0.3%相关；过去10年进行过两次或两次以上的劳动力（农业）调查与数据使用量增加0.4%（0.2%）相关。尽管我们无法建立这些因果联系，但政府可以提供具体的数据产品，从而可能增强其可利用的证据基础。 增加数据供给是一个国家提升其数据驱动研究水平的方式，另一种方式是增加对其数据的需求数据。这对于那些已经投资相关数据产品但数据驱动研究相对较少的国家尤其重要。这些情况是现有数据未被充分利用，并且可能有必要让现有数据对研究人员更加易得，从而提升国家的数据素养。为了探讨增加数据供给与数据需求之间的区别，并借鉴Porteous（2020）的研究，我们将国家分为四类：沙漠国家数据需求与数据供给均较少，沼泽国家数据供给高但数据需求少，绿洲国家数据需求高但数据供给少，湖泊国家数据需求与数据供给均高。近三分之二的低收入国家和撒哈拉以南非洲国家属于绿洲，这表明这些国家从其数据供给中获得的证据相对较大，且它们在数据需求不足方面相对没有太多问题，但可以从增加可供研究人员使用的数据中获益。相比之下，欧洲近半数国家属于沼泽，这表明其优先事项在于提升现有数据的利用率。 以往研究已揭示了各国在经济学研究成果上的差距，并指出富裕国家是更多经济学研究的主题。例如，Robinson、Hartley和Schneider（2006）、Das等人（2013）以及Porteous（2020）利用EconLit数据库考察了哪些国家最受经济学家研究。Cameron、Mishra和Brown（2016）以及Sabet和Brown（2018）将此扩展，指出影响评估在不同国家间也分布极不均衡。Phillips和Greene（2022）表明冲突研究存在对西方国家的偏见，而Courtioux等人（2022）则表明学术研究与公共科研投资密切相关。 我们通过应用自然语言处理（NLP）来改进对哪些国家研究不足的理解，从而为文献做出贡献。使用NLP使我们能够在三个方面超越现有文献：（1）扩大样本规模，并考察所有相关领域，而不仅限于经济学；（2）识别使用数据的论文，这对于理解数据需求或数据供给是否可以解释一个国家研究不足至关重要；（3）指出各国可以采取的措施来增加数据研究。 本文其余部分的结构安排如下：第二部分讨论我们的数据来源，第三部分详细介绍我们的方法，第四部分介绍理论框架，第五部分展示我们的实证结果，第六部分进行稳健性检验，第七部分为结论。 2 数据 我们用于学术文章的数据来源是语义学者开放研究语料库（S2ORC）（Lo等人，2020）。该语料库包含超过1.3亿篇多学科的英文学术文章。语义学者语料库中收录的文章直接来自出版商、arXiv或PubMed等开放档案，以及从互联网上爬取而来。 我们对文章进行了一些限制，以确保其适用于我们的研究目的。首先，仅包含具有摘要和解析过的PDF或LaTeX文件的文章被纳入分析。摘要全文对于分类研究国家和文章是否使用数据至关重要。解析过的PDF和LaTeX文件对于提取出版日期和研究领域等关键信息非常重要。这一限制从原始语料库中剔除了大量文章。在仅保留具有可解析PDF（即适合数字化处理）的文章后，剩余约3千万篇文章，而在移除无摘要的文章时，这3千万篇文章中又约有26%被剔除。其次，仅考虑了2000年至2020年间的文章。这一限制又剔除了剩余文章中的9%。最后，我们排除了以下领域的研究文章，因为我们旨在关注那些可能使用国家统计系统产生的数据的领域：生物学、化学、工程学、物理学、材料科学、环境科学、地质学、历史学、哲学、数学、计算机科学和艺术。包含的领域有：经济学、政治学、商学、社会学、医学和心理学。这一第三限制又剔除了剩余文章中的约34%。从最初1.36亿篇文章的语料库出发，最终形成了约1000万篇文章的最终语料库。 由于需要密集的计算机资源，我们从包含1千万篇文章的受限制语料库中随机选取了1,037,748篇文章作为方便样本。最终1百万篇文章样本的描述性统计数据见表1。 3 经验策略 本项目采用的实证方法利用了自然语言处理（NLP）的文本挖掘技术。自然语言处理的目标是从原始、非结构化的文本中提取结构化信息。在本项目中，自然语言处理用于提取研究国家和论文是否使用数据。我们将逐一讨论这些内容。 为确定每篇学术论文的研究国家或国家，基于标题、摘要或主题字段中的信息，采用了两种方法。第一种方法基于ISO3166国家名称的存在，使用正则表达式进行搜索。编译一个定义好的国家名称集合，并在相关字段中检查这些名称的存在。这种方法透明、在社会科学研究中被广泛使用，并且易于扩展到其他语言。然而，如果国家名称拼写非标准，则存在排除错误的可能性。 第二种方法基于命名实体识别（NER），它使用机器学习从文本中识别对象，并利用spaCy Python库。命名实体识别算法将文本分割为命名实体，在本项目中，NER用于识别学术文章中的学习国家。spaCy支持多种语言，并且已经训练了多个国家的拼写形式，克服了正则表达式方法的一些局限性。如果一个国家被正则表达式搜索或NER识别，它将被链接到该文章。请注意，一篇文章可以链接到多个国家。 第二项任务是判断论文是否使用数据。采用了一种监督式机器学习方法，首先随机选取了3500篇出版物，并使用Mechanical Turk服务由人工评阅员进行手动标注（Paszke等人，2019）。为了让人工评阅员对“数据”有相似且恰当的理解，在审阅第一篇论文之前，他们收到了以下指示： 这些文件都是一篇学术文章。本研究旨在衡量一篇特定的学术文章是否使用了数据以及这些数据来自哪个国家。 本练习中有两项分类任务： 1. 判断一篇学术论文是否使用了任何国家的数据 2. 确定数据来自哪个国家。 对于任务1，我们特别关注数据的运用。数据是指为产生研究成果而收集、观察、生成或创建的任何信息。例如，一项使用调查数据报告发现或分析的研究，就使用了数据。以下是一些线索... 一项研究是否使用数据，包括是否描述了调查或普查、估计了统计模型，或报告了表格、均值或汇总统计数据。 在使用数据的文章被分类后，请注明所使用的数据类型。选项包括：人口或商业普查数据、调查数据、行政数据、地理空间数据、私营部门数据和其他数据。如未使用数据，则标记“不适用”。如使用多种数据类型，请勾选多个选项。 对于任务2，我们需要关注文章中所研究的国家或国家。在某些情况下，可能没有适用的国家。例如，如果研究是理论性的，并且没有具体的国家应用。在某些情况下，研究论文可能涉及多个国家。在这些情况下，请选择论文中讨论的所有国家。 我们预计所有文章中有 10% 到 35% 将使用数据。 附录A.1中展示了分类文章时面向MTurk工作者的屏幕图像。工作者在文章上花费的中位时间，即从文章被接受分类到分类提交之间的时间，为25.4分钟。如果仅使用人工评阅员而非机器学习工具，那么本研究中审查的1,037,748篇文章将需要约50年的人类工作时间，成本为3,113,244美元，该成本假设每篇文章的成本为3美元，正如支付给MTurk工作者的一样。 随后，该模型在3,500篇标注文章上进行训练。我们使用BERT（双向编码