发送多个预付费激励是否有效？来自随机实验的证据

请引用本文为 ：Chang ， Andrew C. ， Joanne W. Hsu ， Eva Ma ， Kate Bachtell 和 Micah Sjoblom （ 2024 ） 。 “发送多个预付费激励措施是否有用吗 ？ 来自随机经验的证据 ” ， 《金融与经济讨论系列》 2024 - 023 。华盛顿 ： 美联储系统理事会 ， https: / / doi. org / 10.17016 / FEDS.2024. 02323 。财经系列讨论联邦储备委员会 ， 华盛顿特区 ， ISSN 1936 - 2854 （ 打印 ）ISSN 2767 - 3898 (在线)发送多个预付费激励措施是否有用吗 ？ 来自随机实验的证据Andrew C. Chang 、 Joanne W. Hsu 、 Eva Ma 、 Kate Bachtell 和 Micah Sjoblom 2024 - 023注意 ： 金融和经济讨论系列 （ FEDS ） 中的员工工作文件是为激发讨论和评论而分发的初步材料。提出的分析和结论是作者的分析和结论，并不表示其他研究人员或理事会成员的同意。在出版物中引用的金融和经济讨论系列 （ 除了承认 ） 应清除与作者 （ S ），以保护这些论文的暂定性质。 Page1 of22发送多个预付费激励措施是否付费 ？来自随机实验的证据2024 年 4 月 15 日Andrew C. Chang ， * 联邦储备系统理事会 ， andrew. c. chang @ frb. gov Joanne W. Hsu ， * 密歇根大学 ， jwhsu @ umich. edu伊娃 · 马 ， 联邦储备系统理事会 ， eva. ma @ frb. gov Kate Bachtell ， 芝加哥大学 NORC ， bachtell - kate @ norc. org Micah Sjoblom ， 芝加哥大学 NORC ， sjoblom - micah @ norc. orgAbstract为了鼓励调查参与并提高样本代表性，消费者财务调查 （ SCF ） 在调查完成后提供无条件的预付货币激励和单独的后付激励。我们在 2022 年 SCF 中进行了预注册的受试者间随机对照实验，每个实验组至少有 1200 户家庭，以检查改变预付激励结构是否会影响调查结果。我们评估了以下效果 ： （ 1 ） 更改预付激励的总美元价值 （ “激励效应 ” ），（ 2 ） 给予两个相同的预付激励，这些激励保持固定的总美元价值 （“ 提醒效应 ” ），以及 （ 3 ） 提供多个不同金额的预付激励，这些激励保持固定的总美元价值 （ “斜率效应 ” ） 对调查响应率，面试官负担和数据质量。我们的证据表明，相对于单个 $5 的预付激励，单个 $15 的预付激励会增加回复率，并保持相似的面试官负担和数据质量水平。将 15 美元分成两个不同金额的预付费奖励增加了面试官的负担，尽管在不提高回复率的情况下延长了现场时间，减少了回复所需的联系尝试次数，或者提高了数据质量，无论第一个预付费是大于还是小于第二个。关键字:预付费激励; 无条件激励; 序贯激励; 回复率; 调查; 数据质量; 家庭财务JEL 代码 ：C83; C93; G5* ： ORCID 0000 - 0002 - 9769 - 789X 。 * ： ORCID 0000 - 0002 - 0715 - 6230 。所提出的分析和结论是作者的分析和结论 ， 并不表示联邦储备系统理事会其他成员 ， 其研究人员或芝加哥大学的 NORC我们感谢凯西 · 哈格蒂、迈克尔 · 卡尔马、凯瑟琳 · 麦格纳格尔、凯文 · B 。Moore，Heather Sawyer，Alice Heriqes Volz 和 2023 年联合统计会议的会议参与者，以寻求对该项目的评论和帮助。我们的预注册计划是在开放科学框架下的 “2022 SCF 预付费激励实验 ” 在 https: / / dx 。doi.org / 10.17605 / OSF 。IO / BXJNE 。该实验得到了内部审查委员会的批准。芝加哥大学的 NORC在协议 ID # 21 - 08 - 433 下。 Page2 of22Introduction招募参与者进行调查的环境越来越具有挑战性，这给研究人员带来了许多风险，他们需要平衡实现代表性样本和保持数据质量，同时控制现场的财务成本和时间。激励措施，包括在调查完成时无条件的预付激励措施，是鼓励调查反应的一个重要工具。虽然调查通常采用单个预付费激励, 但是在数据收集期间, 可以以各种方式构造预付费激励。由美国联邦储备委员会 （ FRB ） 赞助的消费者金融调查 （ SCF ） 开始采用预先通知明信片，然后根据 Hs，Schmeiser，Haggerty 和 Nelso （ 2017 ） 的调查结果，预付 5 美元现金和 2016 年浪潮的邀请函。为了探索受访者激励措施结构的变化如何提高回应率，现场持续时间和数据质量，我们在 2022 年 SCF 中嵌入了为期 8 周的现场实验。我们随机分配了 6 组受访者，他们的预付激励结构和金额各不相同，其中一组之前使用的单一预付激励为 5 美元。在我们的实验中，我们测试了三个不同的条件 ： （ 1 ） 改变预付激励的总美元价值 （ “激励效应 ” ），（ 2 ） 给予两个相同的预付激励保持固定的总美元价值 （“ 提醒效应 ” ），以及 （ 3 ） 提供多个不同金额的预付激励保持固定的总美元价值 （ “斜率效应 ” ） 。我们分析了实验结果，以确定不同的预付激励结构对家庭财务的调查回复率，面试官负担和数据质量的影响。结果提供了对不同设计的成本和收益的见解，以及完成有关敏感话题的深入面试官管理的调查的预付激励措施的价值。此外，通过提供各种价值的激励金额，我们调查了较高的激励金额与完成率之间的关系是单调的还是在较大的价值下恶化。我们发现，更大的预付激励产生了更高的响应率，约 2 或 3 个百分点 （ 基线响应率的三分之一左右 ），对其他调查结果没有有害影响，并且最好将激励作为单一付款，而不是将其分成多个付款。将激励分成不同数额的支付，通过增加现场时间而不提高答复率、减少答复所需的联系尝试次数或提高数据质量，增加了现场采访者的负担。预付费货币激励对策的理论背景大量的经验和理论研究支持使用激励措施作为促进调查完成的更广泛战略的一部分。大量研究表明 ， 无条件的预付激励措施相对于有条件的预付激励措施特别有效1 联邦储备系统理事会 （ 2023b ） 。 SCF 收集有关美国家庭收入 ， 财富 ， 债务和其他财务结果的信息。有关 SCF 的描述 ， 请参阅 Aladangady ， Bricker ， Chang ， Goodman ， Krimmel ， Moore ， Reber ， Henriques Volz 和 Windle （ 2023 ） 。 Page3 of22incentives (Blohm and Koch 2021). In according with theories of social exchange, noncontingent pre - paid incentives can encourage survey response by providing a psychological sense of obligation to return the faving of the incentive (Gouldner 1960; Dillman杠杆显着性理论提供了另一种机制 ： 预付费激励可以帮助建立信任 ， 即受访者会尊重请求并完成调查 （ Groves ， Singer 和 Corning 2000 ） 。也就是说 ， 激励可能会吸引外部动机 ， 这些动机在产生对调查请求的遵从性方面通常不如内在或利他动机有效 （ Hansen 1980 ） 。激励措施的有效性因设计和规模而异。不同的激励金额可能会产生不同的杠杆或更强的义务感。根据经济交换理论，当总体收益超过成本时，受访者对调查做出回应，因此更大的激励措施应产生更高的回应率 （ Bier 和 Kidd 1994 ） 。但是，响应率可能不会随着激励的大小而单调增加。一些研究发现，预付激励的大小与响应率之间的关系是非线性的 （ Warrier，Goyder，Gjertse，Hoher 和 McSprre 1996 ； Trssell 和 Lavraas 2004 ） 。 2 一种可能的解释是，激励的大小可能会对低或高杠杆，互惠感或对调查合法性的看法产生不同的吸引力。此外，过大的激励措施可能导致受访者不信任调查，或者过度吸引外部激励因素而无法有效。也就是说，对 2007 年至 2010 年 SCF 后薪激励增加的分析发现，这种增加减少了响应所需的联系尝试和时间，同时保持数据质量 （ Bricer 2014 ） 。2014 年的一项模仿 SCF 工具和现场策略的实验发现，对非常大的有条件后付费激励 (Hs，Schmeiser，Haggerty 和 Nelso 2017) 没有负面影响。大多数调查在数据收集期间使用一次预付费激励措施。 3 但是，鉴于垃圾邮件的激增，个人可能会较少关注他们的邮政邮件，或者可能会完全错过最初的邮件或激励措施。因此，一些研究调查了重复 （ 顺序 ） 预付激励措施的使用，希望重复激励措施将引起受访者对调查材料的更仔细 （ 或任何 ） 阅读和考虑。Messer 和 Dillma （ 2011 ） 发现，跟进最初的请求，包括通过优先邮件向非响应者提供 5 美元的预付激励和第二个 5 美元的预付激励，将全州网络调查的响应率从 59 ％ 提高到 68 ％ 。在另一项邮件网络调查的背景下，瓦格纳、韦斯特、库珀、张、加沃德、西村和锯 (2023) 发现 ，2 美元的预付激励包括在最初的邮件中 ， 通过优先邮件发送额外的 5 美元大大增加了回应率。然而 ， 在这两个研究中 ， 第二个激励的效果不能从优先邮件的效果中分离出来。2 与此相关 ， Han ， Montaquila 和 Brick （ 2013 ， 表 2 ） 发现 ， 预付激励的大小会影响回应率 ， 条件是符合条件的受访者完成筛选的速度有多快。3 相应地 ， 有大量的研究评估单一的预付激励是否会影响回应率。例如 ： Hsu ， Schmeiser ， Haggerty 和 Nelson （ 2017 ） ； Frederiks ， Romanach ， Berry 和 Toscas （ 2020 ） ； Jackson ， McPhee 和 Lavrakas （ 2020 ） ； Powell ， Geronimo - Hara ， Tobin ， Donoho ， Page4 of22Dyema，Steveso，Assad，Kiss 和 Taylor （ 2021 ） 在对医生的邮件调查中进行了一项实验，发现 “第二次激励措施 （ 在第一次激励措施后一个月发送 ） 与每次完成的调查的较高响应率和较低的成本相关 ”，但对项目无响应没有可衡量的影响。迪尔曼、史密斯和克里斯蒂安 (2014 年，第424 ） 现在建议混合模式研究的研究人员在他们的后续沟通中加入第二个现金激励措施，为 “以后的沟通 [] 提供阅读的机会，并希望采取行动，从而增加整体反应。“也就是说，Dyema，Jaqes，Cyffa，Assad，Hammers，Elver，Maleci 和 Steveso （ 2015 ） 发现，再次针对非响应者的第二个预付激励措施并没有提高响应率。很少有研究研究过重复激励的大小在增加或减少的差异效应，我们称之为 “斜率效应 ” 。一个例子是 Dyema，Steveso，Assad，Kiss 和 Taylor （ 2021 ），他们发现，相对于小于第一个的第二个激励，第二个激励大于第一个激励的回应率或项目回应几乎没有可测量的差异。同