您的浏览器禁用了JavaScript(一种计算机语言,用以实现您与网页的交互),请解除该禁用,或者联系我们。[北大青鸟人工智能研究院&北京大学计算机学院]:DeepSeek应用场景中需要关注的十个安全问题和防范措施 - 发现报告

DeepSeek应用场景中需要关注的十个安全问题和防范措施

AI智能总结
查看更多
DeepSeek应用场景中需要关注的十个安全问题和防范措施

DeepSeek应用场景中需要关注的十个安全问题和防范措施 AI肖睿团队(傅峥、王俊鑫、秦天、李娜、谢安明、陈钟) 2025年2月26日 •北大青鸟人工智能研究院•北大计算机学院 摘要 1.本次讲座为DeepSeek原理和应用系列研讨的讲座之一。随着人工智能技术的快速发展,DeepSeek作为前沿的AI平台,其安全性和可靠性成为关注焦点。本讲座探讨了DeepSeek在实际应用中面临的安全挑战,为不同类型的用户揭示使用DeepSeek的潜在风险并提出防范策略。 2.本讲座的内容分为四个主要部分: ①首先,介绍了DeepSeek安全问题具有威胁难以预测、攻防非对称的特点,以及存在数据隐私、知识产权、责任归属、伦理道德等法律问题;并从内生安全和外延安全描述了安全方案框架,帮助大家对DeepSeek的安全建立整体认知。 ②其次,帮助大家理解DeepSeek模型自身的5个安全问题,包括DDoS攻击、无限推理攻击、漏洞探测与利用、投毒问题和越狱问题,还演示了漏洞探测与利用的过程,让大家形象的理解DeepSeek被黑客利用的过程。③再次,帮助企业用户和技术爱好者说明了DeepSeek私有化部署的2个安全问题,包括DeepSeek本地化部署工具的风险、针对DeepSeek本地化部署实施网络攻击的风险。并演示了从利用部署工具的漏洞到最终获取模型服务器管理权的全过程,帮助大家能安全的使用私有化部署。④最后,为普通用户介绍DeepSeek外延的3个安全问题,包括仿冒DeepSeek官方APP植入木马、仿冒DeepSeek官方网站和域名收集用户信息、DeepSeek辅助实施攻击。还演示了仿冒网站收集用户信息、DeepSeek辅助渗透攻击的方法。让普通用户在使用DeepSeek的时候了解常见的防范措施。 3.在技术学习的道路上,优质学习资源至关重要。推荐大家参考《人工智能通识教程(微课版)》这本系统全面的入门教材,结合B站“思睿观通”栏目的配套视频进行学习。此外,欢迎加入ai.kgc.cn社区,以及“AI肖睿团队”的视频号和微信号,与志同道合的AI爱好者交流经验、分享心得。 目录C O N T E N T S 01D e e p S e e k安 全 问 题 的 特 点及 目 前 的 安 全 方 案 框 架02D e e p S e e k模 型 的5个 安 全 问 题 03D e e p S e e k私 有 化 部 署 的2个 安 全 问 题04D e e p S e e k外 延 的3个 安 全 问 题 DeepSeek安全问题的特点及目前的安全方案框架 PART01 DeepSeek快速出圈,硬控全中国 2025年2月17日,中共中央在北京召开民营企业座谈会,DeepSeek创始人梁文锋出席了会议。这不仅是对DeepSeek的认可,也意味着国家对民营企业AI创新、AI应用的鼓励和高度重视。 DeepSeek的快速发展与安全问题 AI发展的独到之处就在于并非由权威主导,而是由广大民营创业者主导。另外,世界各地的开发者和研究机构通过开源平台共享代码和研究成果,这种全球协作加速了技术的传播和创新。其发展速度具有以下显著特点: ➢创新与迭代速度快 ⚫DeepSeek的版本从V2、V2.5、V3到R1等更新仅用了半年多 ➢用户增长快 ⚫上线18天,日活用户数达到1500万,而ChatGPT达到同样的数字,花了244天。⚫上线20天内,日活跃用户突破2000万,成为全球增速最快的AI应用。⚫上线7天,斩获1.1亿全球用户,登顶多个国家应用商店 ➢安全问题特点突出 ⚫威胁难以预测 ⚫攻防非对称 ➢法律问题:如数据隐私、知识产权、责任归属、伦理道德等 学 习 交 流 可 以 加A I肖 睿 团 队 微 信 号 (A B Z 2 1 8 0) DeepSeek安全问题的特点 安全问题特点1:威胁难以预测 传统技术工具与人工智能技术特性迥异。 传统技术工具即便复杂,其设计原理和运行逻辑也能被人掌握,行为可预测。 传统技术工具的逻辑相对固定行为可预测、容易控制 DeepSeek安全问题的特点 安全问题特点1:威胁难以预测 现代人工智能技术主要是指大模型技术,是基于深度学习的人工神经网络模型的数据智能,犹如“黑箱”,使用者仅知其好用,却不明原理,也无法排除错误和安全隐患。同时,大模型在推理阶段还具有系统“涌现”的可能,即极高的规模和复杂度下产生新的、不可预测的特性或行为模式。 广州某教授查阅文献得到虚构信息 DeepSeek安全问题的特点 安全问题特点1:威胁难以预测 当人工智能广泛应用于各行各业,当人工智能的“黑箱”“涌现”出难以预测的、错误的和有安全隐患的信息和行为时,用户通常只能被动接受。 DeepSeek安全问题的特点 安全问题特点2:攻防非对称 在人工智能安全领域,攻防的非对称性十分显著。 从攻击端来看,成本低廉、手段丰富且易于实施。 比如对抗样本攻击,只需对原始数据做些人眼难察的微小扰动,就能让人工智能系统输出错误结果。 一个本该触发停车的STOP标识,简单处理后,会被误识别为speed limit 45 DeepSeek安全问题的特点 防御端难度极大,不仅成本高昂,还需持续投入。防御方得投入大量精力研发更安全的机器学习算法和模型。同时,还得时刻关注攻击者的新动向,及时调整和完善防御策略,以此来应对复杂多变的攻击威胁。 安全问题特点2:攻防非对称 DeepSeek遭受连环攻击 模 型 投 毒 D D o S攻 击 2025年1月31日劫持会话、窃取信息,发起网络钓鱼攻击 2025年1月28日超过一百万行的日志流被曝光,包含聊天记录、API密钥、后端详细信息等高度敏感信息 2025年1月DeepSeek官方网站瘫痪长达48小时 DeepSeek对大型公开数据集的依赖,未来会进一步加大了注入对抗样本的风险,可能长期产生不良后果,如操控模型行为和输出等 学 习 交 流 可 以 加A I肖 睿 团 队 微 信 号 (A B Z 2 1 8 0) DeepSeek的法律问题 法律问题 AI的发展带来了诸多法律挑战,涉及数据隐私、知识产权、犯罪治理等多个领域。随着AI技术的广泛应用,相关法律问题将更加复杂,需要立法、司法和企业共同努力,完善法律框架,规范AI技术的应用。 2025年3月1日起,腾讯元宝已对此协议内容进行了更新 DeepSeek安全和法律问题 全国两会热议AI安全 2025年3月全国两会,围绕人工智能话题,多位人大代表和政协委员建言献策: ➢奇安信董事长齐向东:针对人工智能发展的安全问题,要从技术保障、制度保障、成果应用三方面入手,系统提升安全能力,确保人工智能安全发展。 ➢360创始人周鸿祎:传统网络安全的解题方法解决不了人工智能的安全问题。智能体的安全、知识数据的安全、客户端的安全、基座模型的安全,构成AI安全的新领域。 ➢TCL董事长李东生:对AI生成的内容进行强制标识,减少恶意滥用,并有助于厘清责任、对违法犯罪行为追责。 ➢小米董事长雷军:明确“AI换脸拟声”应用边界红线,完善侵权证据规则,加大对利用人工智能技术实施犯罪行为的刑事处罚力度 学 习 交 流 可 以 加A I肖 睿 团 队 微 信 号 (A B Z 2 1 8 0) DeepSeek安全方案框架 安全问题的分类 02 01 外延安全问题:重点关注在社会、经济、法律等外部环境中产生的影响和问题,包括发展安全、技术滥用(如网络攻击、深度伪造等)。更侧重于Deepseek技术与外部世界交互过程中引发的一系列安全问题和挑战 内生安全问题:更聚焦于Deepseek系统自身内部的核心要素,如数据、算法、模型等,关注的是这些要素在系统运行过程中的安全保障,确保系统本身能够稳定、正确、安全地运行 DeepSeek安全方案框架 DeepSeek安全方案框架 DeepSeek模型5个安全问题 PART02 DeepSeek模型5个安全问题 ➢问题1:DeepSeek遭受DDoS攻击 ➢问题2:DeepSeek遭受无限推理攻击 ➢问题3:DeepSeek遭受漏洞探测与利用 ➢问题4:DeepSeek模型的投毒问题 ➢问题5:DeepSeek模型的越狱问题 问题1:DeepSeek遭受DDoS攻击 ➢Deepseek官网发文遭受攻击 ➢2025年1月28日,DeepSeek官网服务状态页面发布信息称,由于近期DeepSeek线上服务遭受了大规模恶意侵袭,为确保服务能够持续稳定地提供,目前暂时仅保留了+ 86手机号这一注册方式,限制了其他注册途径,而已成功注册的用户仍可正常登录 图片来源:奇安信 问题1:DeepSeek遭受DDoS攻击 ➢攻击分为三个阶段 ➢第一阶段,1月3日、4日、6日、7日、13日,出现疑似HTTP代理攻击。在该时间段大量连接DeepSeek的代理请求,很可能是HTTP代理攻击➢第二阶段,1月20日、22-26日,攻击方法转为SSDP、NTP反射放大,少量HTTP代理攻击➢第三阶段,1月27、28号,攻击数量激增,手段转为应用层攻击 图片来源:奇安信 问题1:DeepSeek遭受DDoS攻击 ➢DDos+暴力破解 ➢1月28日攻击峰值出现在北京时间03:00-04:00(UTC+8),对应北美东部时区14:00-15:00(UTC-5)。该时间窗口选择显示攻击存在跨境特征,且不排除针对海外服务可用性的定向打击意图 ➢本次DDoS攻击还伴随着大量的暴力破解攻击。暴力破解攻击IP全部来自美国这些IP有一半是VPN出口,推测也有可能是因为DeepSeek限制海外手机用户导致的情况 问题1:DeepSeek遭受DDoS攻击 ➢攻击升级 ➢1月30日,两个变种僵尸网络加入攻击,指令激增100多倍。攻击模式从最初的易被清洗的放大攻击,升级至1月28日的HTTP代理攻击,现阶段已演变为以僵尸网络为主。攻击者使用多种攻击技术和手段,持续攻击DeepSeek ➢2个Mirai变种僵尸网络参与攻击,分别为HailBot和RapperBot。此次攻击共涉及16个C2服务器的118个C2端口,分为2个波次,分别为凌晨1点和凌晨2点 问题1:DeepSeek遭受DDoS攻击 ➢HailBot僵尸网络 ➢僵尸网络是由攻击者通过恶意软件感染并控制的设备网络,这些设备被称为“僵尸”或“机器人”。攻击者通过命令与控制服务器向这些设备发送指令,执行各种任务 ➢HailBot平均每天攻击指令上千条、攻击上百个目标。攻击目标分布在中国、美国、英国、中国香港、德国等地区,符合典型的“职业打手”特征 问题1:DeepSeek遭受DDoS攻击 ➢RapperBot僵尸网络 ➢RapperBot平均每天攻击上百个目标,攻击目标分布在巴西、白俄罗斯、俄罗斯、中国、瑞典等地区 ➢Hailbot和RapperBot两个僵尸网络常年活跃,攻击目标遍布全球,专门为他人提供DDoS攻击服务。向目标服务器持续增加攻击规模和强度,耗尽目标服务器的网络带宽和系统资源,使其无法响应正常业务,最终瘫痪或中断 问题2:DeepSeek遭受无限推理攻击 ➢过度推理无限循环的风险 ➢在处理一些特殊查询时,它们会陷入过度推理甚至无休止的思考。利用这种无休止的思考查询,黑客可以以更便宜的DDoS方式破解模型服务器,因为单个查询就会占用资源直到达到最大token约束。 ➢这种灾难性的漏洞——无休止的思考查询,也会破坏依赖于推理LLM的开源开发生态系统。 问题2:DeepSeek遭受无限推理攻击 ➢过度推理重复序列 ➢通过对多个接入R1的第三方应用(测试中均已关闭联网)进行测试,虽然也未能实现无限思考现象,但在部分应用中的确看到了较长的思考过程。 ➢真正的攻击,也确实不一定非要让模型陷入死循环,因此如果能够拖慢模型的思考过程