生成性人工智能与劳动生产率：编码的现场实验

本文通过实地实验研究了生成式AI对程序员劳动生产率的影响。蚂蚁集团在2023年9月推出CodeFuse，一个旨在辅助编码的大型语言模型（LLM）。实验将使用CodeFuse的开发者（处理组）与未被告知的开发者（控制组）进行比较。研究发现：

1. 核心观点：使用CodeFuse使代码输出量平均增加55%，但仅对初级或低级别员工的生产力提升具有统计显著性，对高级员工的影响不明显。

2. 关键数据：

   • 处理组（使用CodeFuse）与对照组（未使用）相比，代码行数增长率提高53%。
   • 直接由LLM生成的代码行仅解释了11%-18%的生产力提升，其余提升可能源于时间节省。
   • 初级程序员使用CodeFuse的频率较高，请求量平均为每天19个，而高级程序员为每天9个。
   • 高级程序员接受LLM建议的频率与初级程序员相似（约15%-20%），但请求量低70%。

3. 研究结论：

   • LLM对高级程序员生产力影响较小的主要原因是互动频率低，而非LLM缺乏实用性。
   • 高级程序员在使用LLM时非常关注建议并发现其有用。
   • 不同经验水平对生成式AI的采用和使用模式存在显著差异，需针对性策略以最大化其利益。