生成式人工智能与虚假信息：最新进展、挑战和机遇

引言
生成式人工智能（AI）的易用性和低成本使其被广泛用于创建高度逼真的虚假信息，对选举和政治进程构成严重威胁。AI生成的图像、视频、音频和文本在社交媒体、广告和电子邮件中传播，影响公众舆论和民主信任。2024年欧洲选举预计将面临AI生成虚假信息的显著挑战，而社交媒体平台在检测和移除此类内容方面仍存在不足。

综合生成虚假信息的种类、普遍性和对选举的影响

• AI生成图像和视频：包括全合成图像（如使用GANs和扩散模型生成的人脸）、面部属性操纵（如年龄变化）、人脸互换、面部重演和唇语同步等。
• AI生成音频：基于端到端学习的语音合成技术（如TTS和VC）已实现高保真度，被用于制造虚假对话和声明。
• AI生成文本：大型语言模型（LLMs）如ChatGPT可生成流畅且具有说服力的虚假文本，被用于撰写新闻报道和传播误导性信息。
• 对2024年欧洲选举的威胁：多个案例显示AI生成内容被用于影响选民，如摩尔多瓦、斯洛伐克和保加利亚的选举中。AI生成内容通过低成本、高逼真度和协调一致的宣传手段，损害选举诚信和公众信任。

最近在检测综合生成虚假信息方面的进展

• 合成和操控的图像与视频：检测方法主要基于深度学习模型（如CNN和ViT），但泛化能力有限，误判问题突出。MINTIME架构等创新方法提升了多身份视频检测的鲁棒性。
• 音频深度伪造：检测技术包括反欺骗模型、情感识别和欺骗攻击检测系统，但缺乏稳健的数据集和通用模型。
• 机器生成文本虚假信息：检测方法包括基于文体学、深度学习和统计方法，但多语言检测能力不足，需更多数据支持。

AI辅助验证专业人士和公民的工具

• InVID-WeVerify插件：集成视频碎片化服务和OCR工具，帮助识别和验证可疑内容。
• 媒体专业人士辅导服务：AI工具如文本说服技巧检测器和ChatGPT风格验证助手，提升媒体对虚假信息的应对能力。
• 公民辅导服务：泰坦项目利用苏格拉底方法，通过LLMs提供批判性思维训练和媒体素养教育。
• 提升AI内容验证服务的透明度：需提供模型卡片、技术文档和用户指南，确保AI工具的可信赖性和可理解性。

虚假信息与生成AI交叉的伦理和法律问题

• 数据污染、版权关切和权力不平衡：生成式AI训练数据中可能包含未经授权的版权内容，加剧数据质量问题。大型科技公司主导AI发展，引发竞争和权力失衡问题。
• 生成AI使用产生的虚假信息风险：AI生成内容可能被用于情感操纵和个性化虚假信息，需加强监管和法律框架。

前方挑战

• 生成AI、幻觉和LLM训练数据的质量：LLMs易产生虚假信息和幻觉，需提升训练数据质量。
• 克服公民对AI的错误信任：公众难以区分AI生成内容，需加强媒体素养教育。
• 开发新的AI生成内容检测工具：需持续研发检测技术，应对AI生成内容的快速进化。
• 超越英语：多语言检测工具需求：低资源语言缺乏检测支持，需开发多语言工具。
• 研究人员对数据的访问：社交媒体数据访问受限，影响虚假信息研究。
• 研究资金匮乏：公司投入远超学术界，需更多资金支持研究。

机遇和下一步行动

• 欧盟需提供更好的数据访问和资金支持：推动社交媒体平台开放数据，建立共享的计算基础设施。
• 研究人员需加强合作：联合开发多语言数据集和开源工具，提升检测技术的有效性。
• 政策制定者需平衡创新与监管：确保AI技术发展符合伦理和法律要求，维护公众信任和民主进程。