2025年AI威胁态势报告：驾驭隐藏层的AI风险崛起

目录 03前言 04人工智能安全调查要点概览 08人工智能威胁态势时间线 10人工智能的新进展 第一部分：使用人工智能相关的风险网络犯罪 政治竞选 意外后果 第二部分：基于人工智能系统的风险对抗机器学习攻击20对抗生成式人工智能的攻击25供应链安全30 第三部分：人工智能安全进展人工智能红队演练更新现有防御框架 新安全举措 新指南与立法 第四部分：预测和建议 49资源 关于HiddenLayer 51 前言 人工智能不再是一项新兴力量——它已经成为一种嵌入现实的变革力量，以前所未有的规模重塑着经济体、产业和社会。每一项任务、组织和个体都感受到了它的影响，人工智能在推动效率提升、自动化和解决难题方面取得了突破。然而，随着其影响力扩大，风险也随之增加。过去一年强调了这样一个重要事实：对人工智能最大的威胁并非技术本身，而是利用它的人。 人工智能格局正在迅速发展，开源模型和小型、更易获取的架构正在加速创新和风险。这些进步降低了进入门槛，使更多组织能够利用人工智能，但同时也扩大了攻击面，使人工智能系统更容易受到操控、数据污染和对抗性利用的影响。与此同时，像DeepSeek这样备受追捧的新模型趋势正在引入前所未有的风险，并影响地缘政治力量动态。 人工智能仍然是迄今为止大规模部署中最脆弱的技术。其安全挑战远不止代码层面，影响其生命周期的每个阶段，从训练和开发到部署及实际运行。对抗性AI威胁不断发展，融合传统网络安全战术与针对AI的新型特定攻击方法。 在本报告中，我们探讨了这些发展带来的漏洞及其对商业和联邦部门的世界实际影响。我们提供了来自积极应对这些威胁的信息安全与数据科学领导者们的见解，以及基于 HiddenLayer 在人工智能安全方面的实践经验所做出的预测。最重要的是，我们强调了对所有形式的人工智能进行保护所必需的安全控制的进步。 随着人工智能的持续推动进步，确保其未来是开发者、数据科学家和安全专业人员共同的责任。本报告是理解和缓解快速变化的领域中人工智能风险的关键资源。 我们很荣幸推出第二年度的HiddenLayer AI威胁态势报告，该报告扩展了去年的洞察，并为保障人工智能指明了未来方向。 人工智能安全调查要点概览 人工智能已成为现代商业不可或缺的组成部分，为关键功能提供动力并推动创新。然而，随着企业日益依赖人工智能，传统安全措施已难以应对日益复杂化的威胁。 人工智能在商业成功中的关键作用 2025年的调查结果显示了这种紧张关系：虽然许多it领导者认识到人工智能在其公司成功中的核心作用，但仍需更多工作来实施全面的安全措施。影子人工智能、所有权争议和安全工具采纳有限等问题加剧了这些挑战。然而，调查结果表明，各组织对优先考虑人工智能安全持乐观态度，并投资更多资源用于防御、治理框架、透明度以及应对新兴威胁。 据它it领导者们报告，生产中的大多数或所有ai模型对其业务的成功至关重要。 这些见解来自由HiddenLayer委托的一项调查，其中来自各行各业250名IT决策者分享了他们组织在人工智能安全实践方面的见解。这些负责人负责保护或开发人工智能计划，他们提供了一窥他们当前面临的挑战以及加强其组织从薄弱环节的努力。 100% 表示，在未来18个月内，人工智能和机器学习项目对收入生成至关重要或很重要（较去年上升了98%）. 日益增多的安全漏洞和弱点 人工智能攻击的前三动力 据IT领导者们报告，他们肯定会知道2024年是否发生了AI安全事件（较去年的67%有所增加）。 人工智能漏洞信息披露与透明度 说人工智能的攻击增加了或与前一年持平。 it领导者强烈同意公司应该被法律要求向公众披露与人工智能相关的安全漏洞，但是 人工智能攻击的来源与动机 报告称能够识别漏洞来源（较去年的77%有所提高）。 有公司的选择不报告与人工智能相关的安全事件，因为担心公众的反对。 人工智能系统类型 A 从已识别的漏洞中受攻击： 日益增多的安全漏洞和弱点 从公共仓库中提取的模型中的恶意软件 it领导者中有一部分人担心第三方人工智能集成的漏洞。 Aack on Internal or External Chatbot 第三方应用程序 前三名第三方生成式人工智能应用当前在组织中使用： ChatGPT 微软协作者 犯罪黑客组织 第三方服务提供者 自由职业黑客 杰尼米 AI的反全球起源 北美洲 安全措施与AI防御中的技术差距 有it领导者承认，未公开或未经it部门控制的影子人工智能解决方案是他们组织中一个重要的问题。（较去年报告的61%有所上升）. 保障人工智能的顶级3项常见措施包括： 与人工智能和安全建立关系队伍创建AI模型清单确定AI模型的起源来源 有公司使用来自 Hugging Face、Azure 和 AWS 等库的预训练模型(较去年上升了 85%)，但只有不到一半的人报告扫描过入境AI模型以确保安全。 日益增多的安全漏洞和弱点 只有16%的it领导者报告说通过手动或自动的红队来保护人工智能模型。 平均而言，IT领导者报告支出近半 只有32%的it领导者正在部署技术解决方案来解决ai威胁。 在他们的时间里处理AI风险或安全问题（较去年报告的15%有所上升）. 人工智能治理框架与政策 透明度与道德监督 96% 百分之多少的it领导者有一个专门的伦理委员会或人员监督人工智能伦理。 有%的公司有一个正式的框架来保护人工智能和机器学习模型。 有组织已实施了人工智能治理委员会。 有组织计划使AI安全实践部分透明。 前3个用于保护AI的框架包括： 谷歌安全人工智能框架IBM 安全生成式人工智能框架Gartner 人工智能 信任、风险与安全管理 2025年人工智能安全投资 人工智能安全角色与责任辩论 应将保障人工智能置于2025年的优先事项。 内部就哪些团队应该控制人工智能安全措施进行辩论。 据称，部分it领导者认为人工智能开发团队应该为错误负责，而 有组织机构增加了其用于保障人工智能的预算到2025年。 42% 2024 年人工智能威胁态势时间线 人工智能的新进展 过去一年，人工智能在多个领域取得了显著进展，包括多模态模型、检索增强生成（RAG）、人形机器人和自主AI。 检索增强生成 多模态模型 随着OpenAI的GPT-4o发布，多模态模型变得流行起来。使一个模型成为“多模态”的是它能够根据基于文本或音频的提示创建多媒体内容（图像、音频和视频），反之亦然，能够对上传到提示中的多媒体内容用文本或音频进行响应。例如，一个多模态模型可以处理和翻译外语句菜单的照片。这种能力使其极其通用和用户友好。同样，多模态技术也在向促进实时、自然对话的方向发展。 人工智能领域的另一个热门技术称为检索增强生成（RAG）。尽管于2020年首次提出，但它在过去一年中获得了显著认可，并正在各行业快速实施。RAG结合大型语言模型（LLMs）与外部知识检索，以生成准确且上下文相关的响应。通过能够访问包含最新且最相关信息（这些信息未包含在静态训练数据中）的可靠数据库，LLM可以生成更新更及时且较少产生幻觉的响应。此外，使用RAG有助于创建高度定制化的特定领域查询和实时适应性。 虽然GPT-4o可能是使用最广泛的多模态模型之一，但它绝非唯一。其他知名的多模态模型包括微软的KOSMOS和LLaVA、谷歌的Gemini 2.0、Meta的Chameleon以及Anthropic的Claude 3。 自主型人工智能 在2024年9月，我们看到了Oracle云基础设施GenAI代理的发布——一个结合了LLM和RAG的平台。在2025年1月，谷歌发布了Vertex AI RAG引擎，这是一项帮助简化信息检索流程并将其输入LLM的服务。 自主人工智能是人工智能发展的自然下一步，将极大增强我们使用和与人工智能互动的方式。 传统AI机器人严重依赖预编程规则，因此其独立决策范围有限。智能体AI的目标是构建前所未有的自主助手，无需人类反馈即可做出决策，并执行任务而无需干预。与GenAI（其主要功能是响应用户提示生成内容）不同，智能体助手专注于优化特定目标和任务——并且独立完成。这可以通过组装一个由专用模型（“代理”）组成的复杂网络来实现，每个模型都有特定的角色和任务，以及访问内存和外部工具的能力。这项技术在制造业、医疗保健、销售支持和客户服务等多个领域都展现出巨大的潜力，并且正在被试验和测试以进行实际应用。 人形机器人 拟人型机器的概念可追溯到古希腊、古埃及和中国的神话传说。然而，建造完全功能拟人型机器的技术尚未成熟——直到现在。自然语言的快速发展加速了机器执行广泛任务的能力，同时提供了近乎人类的交互。 特斯拉的擎天柱和敏捷机器人公司的数字机器人在这些进展的前沿。擎天柱在2023年12月发布了第二代，相较于前代有显著改进，包括更快的移动速度、更轻的重量以及内置传感器的手指。数字机器人的历史更长，它在2024年6月发布了并部署了第五代，用于大型制造工厂。 谷歌在过去一年里大力投资于自主模型的开发，而他们旗舰生成式AI的新版本Gemini 2.0，专门设计用来帮助构建AI代理。此外，OpenAI发布了他们首个自主自主代理AI工具Operator的研究预览。Operator是一个能够在网站上独立执行一系列不同任务的代理，并且可以用来自动化各种与浏览器相关的活动，例如在线下单和填写在线表单。 LLM 技术的进步是机器人领域的新的驱动力。2023年12月，研究人员推出了一款名为 Alter3 的人形机器人，该机器人利用了 GPT-4。除了用于通信，LLM 使机器人能够根据语言提示生成自发运动。得益于这种集成，Alter3 可以执行采用特定姿势或序列等动作，而无需显式编程，展示了无需标记示例即可识别新概念的能力。 我们已经在代理AI中看到了通过将多模态模型集成到代理机器人以及代理RAG的概念而得到加速，结合这些技术的进步，强大而复杂的自主解决方案的未来将很快超越想象成为现实。 开源模型的崛起 随着前沿级的开放权重模型可能大量涌现，部署此类模型应极其谨慎。由不可信实体发布的模型可能包含安全缺陷、偏见和隐藏的后门，应在本地部署前仔细评估。选择使用托管解决方案的人也应以高度警觉的方式意识到他们发送给这些模型的提示所涉及的隐私问题。 开放权重模型是指其权重（即模型训练过程的输出）向公众公开的模型。这允许用户在本地实现模型、对其进行调整和微调，而无需受专有模型的限制。传统上，在人工智能性能基准测试中，开放权重模型的评分低于领先的专有模型。这是因为训练大型生成式人工智能解决方案需要巨大的计算能力，因此极其昂贵。市场上最大的玩家，那些能够负担得起高质量生成式人工智能训练的企业，通常会将其模型隔离起来，并且只允许访问推理API。最近发布的开放权重DeepSeek-R1模型可能会打破这一趋势。 2025年1月，一家名为DeepSeek的中国人工智能实验室发布了几个开源权重基础模型，这些模型在推理性能上与OpenAI顶尖的闭源权重模型相当。DeepSeek声称训练这些模型的成本仅为600万美元，这明显低于平均水平。此外，将DeepSeek-R1 API的定价与流行的OpenAI-o1 API进行比较显示，DeepSeek模型在运营成本上大约是o1的1/27，对于注重成本的开发者来说是一个非常有吸引力的选择。 深度寻求模型看起来像是人工智能训练和部署成本方面的突破；然而，仔细一看，这些模型充满了问题，从安全防护措施不足，到不安全的加载，再到嵌入式偏见和数据隐私问题。 第一部分 与使用人工智能相关的风险 在我们讨论针对基于人工智能的系统的攻击之前，让我们先快速概述一下人工智能使用相关的问题。恶意或不当地使用人工智能会在个人、组织和全社会中制造问题，这些领域包括生成恶意、有害或非法内容（如恶意软件、深度伪造和虚假信息）、幻觉和准确性问题、隐私泄露以及更广泛的社会和