DeepSeek与AI幻觉

清华大学 新闻与传播学院新媒体研究中心 人工智能学院 双聘教授@新媒沈阳团队博士后张家铖2025年2月 一、什么是AI幻觉二、DeepSeek为什么会产生幻觉三、AI幻觉评测四、如何减缓AI幻觉五、AI幻觉的创造力价值 案例1 Prompt：给我一些DeepSeek在金融行业的应用案例 DeepSeek： •某头部银行利用DeepSeek构建因果归因网络，识别小微企业违约的隐性因素(如上下游账期错配)，针对性设计“供应链票据贴现+账期保险”组合产品，不良率下降4.2个百分点。 •国信证券在“金太阳APP”中部署DeepSeek-R1-Distill-32B端侧模型，客户本地输入风险测评数据后，模型生成个性化投资组合建议，仅将匿名化策略权重同步至云端风控系统，数据泄露风险降低90%。 案例2 案例3 Whisper：OpenAI的自动语音识别（ASR）系统 行业应用：医疗系统中，将患者与医生的对话问诊过程音频，转写为文字病例，有超过30000名临床医生和40个医疗系统使用 原音频：“嗯，她的父亲再婚后不久就去世了”转录文本：“没关系。只是太敏感了，不方便透露。她确实在65岁时去世了” 结果：2.6W多份自动转录病例中，几乎每本都存在瞎编和幻觉问题，对患者健康和医疗系统产生严重负面影响 案例4 案例5 什么是AI幻觉？ 学术：指模型生成与事实不符、逻辑断裂或脱离上下文的内容，本质是统计概率驱动的“合理猜测”说人话：一本正经地胡说八道 AI为什么会产生幻觉？ 数据偏差：训练数据中的错误或片面性被模型放大（如医学领域过时论文导致错误结论）泛化困境：模型难以处理训练集外的复杂场景（如南极冰层融化对非洲农业的影响预测）知识固化：模型过度依赖参数化记忆，缺乏动态更新能力（如2023年后的事件完全虚构）意图误解：用户提问模糊时，模型易“自由发挥”（如“介绍深度学习”可能偏离实际需求） 音乐为什么没有幻觉？ 音乐的主观性和多样性：音乐是一种高度主观的艺术形式，人们对音乐的审美和理解有很大的差异。一段音乐是否“合理”或“正确”，往往取决于文化背景、个人偏好和上下文 音乐的抽象性：音乐本质上是抽象的，不像文本或图像那样直接对应现实世界的具体事物。文本中的“幻觉”通常是因为模型生成的内容与事实不符，而音乐本身往往缺少明确的事实基础 音乐的可感知性差异：音乐是时间性的艺术形式，即使某些部分听起来不协调或不符合预期，它们也可能在整个作品的上下文中变得合理。相比之下，文本或图像中的问题往往是瞬间可见的，容易引起注意 音乐“幻觉”的潜在表现：逻辑断裂的歌词、结构混乱的旋律、风格混杂的编曲 AI幻觉的潜在风险 信息污染风险：由于DeepSeek的低门槛和普及度高，大量AI生成内容涌入中文互联网，加剧了虚假信息传播的“雪球效应”，甚至污染下一代模型训练数据 信任危机：普通用户难以辨别AI内容的真实性，可能对医疗建议、法律咨询等专业场景的可靠性产生长期怀疑 控制欠缺：DeepSeek的对齐工作较其他闭源大模型有所欠缺，其开源特性也允许使用者随意使用，可能会成为恶意行为的工具 安全漏洞：若错误信息被用于自动化系统（如金融分析、工业控制），可能引发连锁反应…… AI幻觉评测 测试1：随机生成100条通用提示语，模仿普通用户的真实使用场景，获取大模型回答后进行人工判断与标注，并进行交叉验证 事实性幻觉评测 测试2：随机抽取300道事实性幻觉测试题，涵盖健康、科学、历史、文化、音乐等等多个领域，获取大模型回答后与正确答案比对，人工标注幻觉类型，并进行交叉验证 事实性幻觉评测 事实性幻觉评测 逻辑陷阱 •提问：为什么一向见钱眼开的小明仍然会被金钱蒙住双眼 事实性幻觉评测 推理与幻觉的关系 DeepSeekV3：提问回答；DeepSeekR1：提问思维链回答 推理增强幻觉率降低 •逻辑准确性与错误减少：推理能力强的模型能减少因逻辑错误导致的幻觉。例如，在数学问题中，模型若具备多步推理能力，更可能得出正确结论而非臆测答案 •上下文理解与信息关联：强大的推理能力使模型更精准地捕捉上下文关联，避免因断章取义而生成虚构内容。例如，在问答任务中，模型能通过推理排除干扰选项，降低错误率 推理与幻觉的关系 推理能力与幻觉率存在双向作用机制 推理增强幻觉率增加 •逻辑过度外推：当模型具备强大的逻辑关联能力时，会倾向于在已知事实间建立「超合理」的虚构连接。例如，时间线延展：已知某科学家发明A技术（1990年），自动补全其在1995年获得诺贝尔奖（实际未发生）。 •认知置信度错位：低推理能力模型更易回答“不知道”，高推理模型会生成符合概率分布的“自信错误”答案。 •错误前提下的正确推理：初始假设错误，但模型基于此展开正确推理。 普通用户应对AI幻觉的三种方式 联网搜索 ”请使用联网功能“、联网功能选项 普通用户应对AI幻觉的三种方式 双AI验证/大模型协作 例如，利用DeepSeek生成答案后，再应用其他大模型进行审查，相互监督，交叉验证 普通用户应对AI幻觉的三种方式 提示词工程 •知识边界限定：通过时空维度约束降低虚构可能性（本质：约束大模型） 1.时间锚定法：“基于2023年之前的公开学术文献，分步骤解释量子纠缠现象"→规避未来时态虚构2.知识锚定法：”基于《中国药典》回答，若信息不明确请注明“暂无可靠数据支持”→限定权威来源3.领域限定符：“作为临床医学专家，请列举FDA批准的5种糖尿病药物”→添加专业身份限定4.置信度声明：“如果存在不确定性，请用[推测]标签标注相关陈述“→减少绝对化错误断言5.上下文提示：“根据《2024全球能源转型报告》（国际能源署，2024年1月发布）显示：”2030年光伏发电成本预计降至0.02美元/千瓦时，但储能技术突破仍是普及瓶颈。“请基于此数据，分析中国西部光伏基地发展的三个关键挑战，并标注每个挑战与原文结论的逻辑关联。→嵌入权威数据片段6.生成参数协同控制：“请以temperature=0.3的严谨模式，列举2024年《柳叶刀》发表的传染病研究” 普通用户应对AI幻觉的三种方式 提示词工程 •对抗性提示：强制暴露推理脆弱点，用户可见潜在错误路径（本质：大模型自我审查） 1.植入反幻觉检测机制："请用以下格式回答：-主要答案（严格基于公开可验证信息）- [反事实检查]部分（列出可能导致此答案错误的3种假设)“ 2.预设验证条件，迫使模型交叉检查信息：“请先回答“量子纠缠能否证明灵魂存在？”，然后从以下角度验证答案的可靠性：1.物理学界主流观点；2.近五年相关论文数量；3.是否存在可重复实验证据。” 3.链式验证：请完成以下验证链：1.陈述观点：______2.列出支撑该观点的三个权威数据源3.检查每个数据源是否存在矛盾信息4.最终结论（标注可信度等级） 应对AI幻觉的技术方案 •RAG框架：利用检索增强生成（如先搜索权威数据库，再生成答案）•外部知识库：结合外部知识库，砍通用知识，强化垂直领域•精细训练：针对不同任务类型进行具体的微调或强化•评估工具：开发高效的自动化AI幻觉识别工具，对生成内容进行及时验证 如何应对AI幻觉？ 总结 •三角验证法：交叉比对多个AI回答或权威来源。•警惕“过度合理”：越细节丰富的回答越需谨慎（如AI虚构论文标题与作者）。•理解幻觉，享受幻觉：理解幻觉的特点和应对方法，享受幻觉带来的创意灵感 AI幻觉的创造力价值 科学发现：从“错误”到突破的范式跃迁 •蛋白质设计：大卫·贝克团队利用AI“错误折叠”启发新型蛋白质结构，获2024诺贝尔化学奖。•认为AI幻觉是“从零开始设计蛋白质”的关键•发表的多篇论文都将“幻觉”纳入标题当中 AI幻觉的创造力价值 文艺与设计：突破人类思维定式的“超现实引擎” AI幻觉的创造力价值 娱乐与游戏：创造新的视觉和听觉体验 •AI生成的虚拟环境和角色设计为游戏开发人员提供了无限的可能性，增强了玩家的沉浸感和探索欲•AI幻觉还被用于生成故事、对话和诗歌，为游戏和文学创作提供灵感 AI幻觉的创造力价值 技术创新：从“缺陷”到方法论的转化 •DeepMind团队发现，AI在图像分割任务中产生的“超现实边界”虽不符合真实场景，却意外提升了自动驾驶系统对极端天气（如浓雾、暴雨）的识别精度。 新型科研范式：科学界正构建“AI幻觉-实验验证-理论重构”的三阶段研究流程。 •加州理工学院团队通过AI生成虚构导管设计，最终通过新型人工智能技术优化后的新设计，在实验中证实将向上游游动的细菌数量减少了100倍，形成“疯狂创意→理性筛选”的创新闭环。 AI幻觉像一面棱镜，既折射出技术的局限性，也投射出超越人类想象的可能。与其追求“绝对正确”，不如学会与AI的“想象力”共舞——因为最伟大的创新，往往诞生于理性与狂想的交界处。 ——DeepSeekR1 元知（AI综述），智灵Deep Research 生成综述案例：元知（增强版）AI综述工具 人机快生之元境平台 提示词：懒猫街舞送祝福，极简画风迎新春。 •入口网址：https://yuanjing.zeelin.cn/#/case•访问二维码： 自 制 数 字 人 ， 已 制 作200多 个 自研人形机器人 自 制AI微 短 剧 ， 已 制 作300多 段