本研究通过一项受控的现场实验,调查了个人对人类和大型语言模型(LLM)生成回答的评价,其中内容的来源或被隐藏或被公开。实验中,参与者被展示一系列问题,每个问题都附带一个由人类或AI生成的回答。在随机设计中,一半的参与者被告知回答的来源,而另一半则保持不知情。研究结果表明,总体而言,参与者倾向于更喜欢AI生成的回答。然而,当AI来源被揭露时,这种偏好显著下降,这表明评估判断受到回答来源的披露影响,而不仅仅是其质量。这些结果强调了人们反对AI生成内容的偏见,突出了在社会环境中提高AI工作认知的挑战,在这些环境中,质量评估应至关重要。
研究数据来自Quora和Stack Overflow平台上的25个热门问题,涵盖了五个科学领域:物理科学和工程、生命科学、健康科学、社会科学和人文学科。每个问题都由四个LLM(ChatGPT、Claude、Gemini和Llama)和一个人类受访者生成五个回答。参与者被随机展示5个问题,每个问题附带两个回答:一个由LLM生成,一个由人类生成。参与者被要求提供人口统计信息,包括年龄、性别和教育背景。
研究采用逻辑回归分析来检验个人对人类或AI生成回答的偏好是否基于他们对来源的了解。结果显示,在所有规格中,对回答来源的了解对个人的偏好有显著影响。当受访者知道一个回答是由人类还是由AI生成时,他们更有可能选择人类生成的回答。女性受访者比男性受访者更倾向于选择人类生成的回答,而男性受访者对是否由人类或LLM撰写文本的反应更为显著。此外,具有编程专业知识的人当了解来源时,更有可能选择人类生成的回答。对于人文科学和生命科学领域的问题,当参与者了解来源时,他们对人类生成回答的偏好显著下降。
研究结论表明,了解回答的来源会影响个人的偏好,并且这种影响因性别、编程专业知识以及问题的领域而异。这些发现不仅扩展了关于人类和AI文本感知差异的文献,还补充了之前注意到来源披露对内容感知影响的研究。研究结果表明,在将LLM部署到各个领域时,确保最终用户了解内容的来源可能有助于提高其感知的信誉和有效性。未来的研究应该进一步检验来源透明度的长期影响,将调查扩展到包含非文本媒体,并探索增强型人类-AI协作的动态。