生成式人工智能技术,尤其是大型语言模型(LLMs)如ChatGPT,对在线知识社区的影响进行了分析。研究发现,ChatGPT的发布导致Stack Overflow网站访问量和问题数量显著下降,尤其在表现优异的主题领域,而Reddit社区的活动未出现下降。Stack Overflow上的参与度下降主要集中在新用户中,表明初级用户更有可能退出。研究结果表明,LLMs可能取代在线知识社区,导致参与度下降、互动减弱,并对知识传播产生深远影响。研究还发现,Stack Overflow上提出的问题在ChatGPT发布后变得系统性地更加复杂和精炼,进一步支持了初级用户依赖LLMs而非社区的观点。研究强调社会纽带的重要性,以及内容特征和社区成员身份因LLMs而发生变化的现象,为社区管理提供了指导。此外,研究还引发了对未来在线社区内容生产的关注,因为社区内容生产下降可能影响LLMs的训练数据。
研究方法包括使用Stack Overflow和Reddit开发人员社区的数据,通过合成控制法和差分-差分设计进行分析。研究结果表明,ChatGPT的发布对Stack Overflow的影响显著,而对Reddit的影响不显著。研究还探讨了LLMs对不同主题领域的影响异质性,发现受影响最显著的主题主要是与具体的、独立的软件编码活动联系最为紧密的主题。
研究结论强调,社会纽带对在线社区的可持续性至关重要,管理者可以通过促进社交化来弥补LLMs的影响力减弱。此外,研究还揭示了内容特征和社区成员身份的变化,为社区管理提供了指导。研究还引发了对未来在线社区内容生产的关注,因为社区内容生产下降可能影响LLMs的训练数据。