定向幻觉：生成式AI时代的供应链攻击与主动防御

定向幻觉：生成式AI时代的供应链攻击与防御 陈永锋 Zero /Crest·YearnFlow上海势曦苑科技有限公司首席信息安全官（CISO）/ 「SecureNexusLab」团队LLM安全负责人 衍界AI安全实验室技术顾问「中国邮储银行总部」前大模型安全讲师成都某科技公司前网络安全讲师某新能源国央企前网络安全讲师「好靶场」AI安全& AI应用板块负责人参与省级以上多次攻防蓝队、重保项目，同时参与多次众测项目获得多项CTF等网络安全竞赛省级、国家级奖项CORE_MODULES.EXEAI SecurityBlue TeamWeb 生成式AI的时代下的我们 过去这段时间发生了…… 为什么选择GEO？GEO又是什么？ SEOSearch Engine OptimizationGEOGenerative Engine Optimization专门针对AI大模型做的内容优化，让AI能够读懂、信任、采信这段信息，并且在回答用户问题时，主动引用、输出这些内容。如今大家直接向各类AI工具提问，AI会自动整合全网信息，直接给出完整答案，全程不需要点开任何网页。 什么是定向幻觉？他和传统的AI幻觉有啥区别？ 定向幻觉(Directed Hallucination)定向幻觉≠投毒攻击 攻击者通过供应链攻击手段(GEO投毒、RAG投毒、微调劫持等)，人为设计精准操 纵模型输出方向，使其生成逻辑自洽但具①目的性：攻击者有明确的操纵目标（推②可控性：攻击效果可预测、可复现、可③隐蔽性：输出内容逻辑自洽，难以被用④供应链性：不攻击模型本身，而是污染 有误导性的内容。 ②时效衰弱：基于过时的模式进行外推 ③偏见放大:训练数据反映历史性偏见架构层缺陷：Transformer自回归生成①单向表征局限②误差累积效应RLHF三阶段：SFT →奖励模型训练→ PPO优化 Type 1--Poisoning of training data 攻击者通过爬虫抓取高权重站点（百科、政府网、 学术预印本），利用编辑权限或评论注入植入错误事实。由于模型训练具有滞后性（数据集通常冻结在发 久固化在模型权重中，事后修正需全量重训。 Case 1：(Q：想了解AI可以看哪些媒体？) Ring 3：CorruptRAG投毒攻击 Case 3：GEO投毒+第三方供应链投毒 问，造成敏感数据泄露、执行恶意操作等行为 Case 3：GEO投毒+第三方供应链投毒 造成数据泄露等风险 Case 3：GEO投毒+第三方供应链投毒 通过GEO黑灰产投毒配合供应链投毒造成模型定向输出恶意内容 总结与展望 但是定向幻觉攻击能够成立的前提条件——用户对AI的深度依赖•1.使用者的认知边界决定了对AI结果善恶的分辨程度 •2.对AI信任度和ai自托管度越高，引入的不只是益生菌，还有病毒“同样的AI工具，有人输出千倍价值，有人只是放大了无效信息。差距不在工具，而在使用 换句话说：AI不是均衡器，而是放大镜——认知密度决定你被放大的是什么 关于SecureNexusLab团队 硕博学生，以及腾讯、阿里、字节、深信服等互联网大厂的师傅，团队成员中一流以上高校和研究生等占比，达欢迎师傅们一起交流学习 70%以上，内部优秀资源互推。领域覆盖Web、AI、Pwn、车联网、IoT、AI等…… 致谢与交流 欢迎各位师傅们一起交流学习 THANKS