Check Point AI 报告 • 第1版年度报告

为了创新和成功的未来安全接下来的页面将提供对这些威胁的全面理解，使读者能够驾驭人工智能安全的错综复杂局面。人工智能威胁已不再是理论上的——它们已经存在且正在快速演变。随着对人工智能工具的访问变得越来越普遍，威胁行为者通过两种关键方式利用这一转变：利用人工智能来增强其能力，并针对采用人工智能技术的组织和個人。洛特姆·芬克斯坦，奇安信研究部总监 05 人工智能的安全保障、安全措施与安全使用• 跨越文本、音频和视频的自主和交互式社会工程的兴起 解锁和•将LLMs武器化，恶•企业应用人工智能进行软件开发和数据挖掘及其相关风险• • 野外数据中毒的出现和大型虚假信息的放大，由GenAI工具增强的AI工具•e通过防火保护组织免受最先进的威胁人工智能正在改变各行各业，网络犯罪和网络安全的形势也不例外。企业采用人工智能——以及不幸的是，威胁行为者也在采用——提高了效率、规模和影响力。在当前时刻，我们认为暂停并评估人工智能和网络安全的现状和未来是至关重要的。攻击者如何使用人工智能，以及接下来会发生什么？作为网络防御者，我们如何利用人工智能来增强我们的安全工作，更有效地保护我们的组织？这些问题在Check Point研究的首期人工智能安全报告中得到解答。我们的焦点集中在：人工智能加速未来：网络攻击者和防御者 4 人工智能安全报告 202503 研究 AI04 企业人工智能人工智能漏洞研究中的APT攻击狩猎暗网中的AI模型：针对LLM账户的新社会工程学目标 AI用于恶意软件 误用（图1）。目前，ChatGPT和OpenAI的API是网络犯罪分子最流行的模型，而Google Gemini、Microsoft Copilot和Anthropic Claude等其他模型正迅速获得人气。随着Alibaba发布的DeepSeek和Qwen等开源模型的推出，格局正在发生变化。这些模型增强了可访问性，使用限制极少，并且有免费层级，使其成为犯罪的关键资产。 02 人工智能威胁6 人工智能安全报告 202501 简介03 研究 AI04 企业人工智能05 人工智能的安全保障、安全措施与安全使用人工智能漏洞研究中的APT攻击狩猎暗网中的AI模型新的针对LLM账号的社会工程学攻击 AI用于恶意软件 图1 – 地下论坛讨论利用DeepSeek进行恶意软件开发网络犯罪分子正密切关注主流人工智能应用的趋势。每当一个新的大型语言模型（LLM）向公众发布时，地下行动者就会迅速测试其潜在用途。 7 人工智能安全报告 202501 简介03 研究 AI04 企业人工智能02 人工智能威胁05 人工智能的安全保障、安全措施与安全使用人工智能漏洞研究中的APT攻击狩猎暗网中的AI模型新的针对LLM账号的社会工程学攻击 AI用于恶意软件 网络犯罪分子正在利用主流平台，创建和销售专门为网络犯罪量身定制的恶意LLM模型（图2）。这些黑暗LLM模型旨在规避为伦理模型建立的保障措施，并作为黑客工具积极推广。 臭名昭著的AI模型WormGPT是由越狱ChatGPT（图3）创建的。“终极黑客AI”，它能在不受道德约束的情况下生成钓鱼邮件、编写恶意软件和制作社会工程学脚本。一个Telegram频道推广其用于欺诈、僵尸网络创建和网络入侵，并提供订阅服务，突出黑暗AI的商品化。 8 人工智能安全报告 202502 人工智能威胁01 简介03 研究 AI04 企业人工智能05 人工智能的安全保障、安全措施与安全使用人工智能漏洞研究中的APT攻击狩猎暗网中的AI模型新的针对LLM账号的社会工程学攻击 AI用于恶意软件 03 研究 AI04 企业人工智能9 人工智能安全报告 202505 人工智能的安全保障、安全措施与安全使用人工智能漏洞研究中的APT攻击狩猎 当其他人修改开源模型时。随着主流AI模型的演进，它们的黑暗对应物也随之演进。 一波新的暗黑AI模型，例如GhostGPT、FraudGPT和HackerGPT（图4），服务于网络犯罪的具体方面。一些模型通过越狱技术包裹主流AI， 05 人工智能的安全保障、安全措施与安全使用假人工智能平台的崛起基于AI的服务需求导致了假冒AI平台的兴起，这些平台旨在欺骗用户、分发恶意软件、窃取敏感数据或实施金融欺诈。例如，HackerGPT Lite（图5），看似是一个AI工具，但怀疑是钓鱼网站；以及伪造的DeepSeek下载网站，实际上分发恶意软件。在案例，一个模仿ChatGPT的恶意Chrome扩展被设计用来窃取用户凭证。一旦安装，这个有害扩展劫持了Facebook会话cookie，赋予攻击者对受害者账户的完全访问权限，并允许他们远程操作。 01 简介10 人工智能安全报告 202503 研究 AI04 企业人工智能02 人工智能威胁人工智能漏洞研究中的APT攻击狩猎暗网中的AI模型新的针对LLM账号的社会工程学攻击 AI用于恶意软件 05 人工智能的安全保障、安全措施与安全使用社交工程——操纵个人采取他们通常不会采取的行动——是许多网络攻击的核心。即使是利用纯粹的技术漏洞进行的攻击也常常以一个社交工程计划开始。攻击者利用文本、音频和图像来令人信服地模仿特定个人或生成人声，以建立信任来欺骗他们的目标。随着人工智能的最近进展，攻击者可以大规模地创建逼真的材料，进行自动聊天，并在模仿他人时举行实时音频和视频会议。随着这些人工智能驱动的工具在犯罪论坛上泛滥，且事件不断发生，我们依赖音频和视觉线索进行身份确认的能力受到了严重威胁。用于大规模电话诈骗的完全自主音频深度伪造工具已经出现，这意味着辨认熟悉的面孔或声音不再足以证明身份；相反，交互必须通过额外的身份验证措施来加强。人工智能驱动的社会工程学已经影响着现实世界的网络犯罪。联邦调查局最近警告公众日益利用人工智能生成的文本、图片、音频和视频来增强他们的攻击。这表明攻击者 如今拥有以前无法获得的复杂能力，显著提升了欺骗和欺诈的有效性。深入探讨深度伪造技术与它们的滥用以下各节将考察涉及每种媒体类型（文本、音频、图像和视频）的利用场景，详细说明犯罪论坛中积极推广的相关服务，并分析实际案例报告，以说明这些不断发展的威胁的实际影响。网络诈骗依赖于质量和数量。即使措辞拙劣的骗局，例如勒索色情电子邮件——在发送给数百万潜在受害者时也能盈利，即使成功率只有很小一部分。因此，攻击者旨在提高其伪装的质量和其运营的自动化水平，在最大限度地发挥影响的同时，最大限度地减少昂贵的人力资源。人工智能在这些领域促进了进步，创造了多种语言的高度逼真的文本、音频和视频，并使交互式聊天机器人得以实现，从而产生了能够恶意地与受害者互动的自动化代理。 03 研究 AI04 企业人工智能11 人工智能安全报告 2025人工智能漏洞研究中的APT攻击狩猎暗网中的AI模型新的社会工程学针对 LLM 账户的 AI 用于恶意软件 (Red V 标记表示成熟级别已在市场上提供并在野外被利用)05 人工智能的安全保障、安全措施与安全使用离线生成实时生成完全自主媒体类型TEXT预渲染脚本或邮件实时生成回复AI生成，全交互对话音频预录拟人化实时语音操控全人工智能驱动对话音频视频预创建深度伪造视频实时脸部互换或视频篡改完全自动化，人工智能生成互动视频生成式人工智能技术涵盖了不同复杂程度和成熟度的范围，从基本的离线文本、图像和视频生成，到需要真人参与的先进在线操作，例如换脸或声音模仿。在最高级别，完全自主的实时生成能够即时产生逼真的内容，在与受骗者互动时动态响应。 12 人工智能安全报告 2025 03 研究 AI05 人工智能的安全保障、安全措施与安全使用01 简介02 人工智能威胁13 人工智能安全报告 202504 企业人工智能人工智能漏洞研究中的APT攻击狩猎暗网中的AI模型新的社会工程学针对 LLM 账户的 AI 用于恶意软件 自2022年以来，ChatGPT及其他大型语言模型（LLM）聊天机器人的可用性降低了生成令人信服文本的门槛，提升了钓鱼邮件的质量。攻击者通常与其受害者具有不同的语言和文化背景，之前面临着巨大的语言障碍。然而，现在LLM技术允许攻击者毫不费力地制作出具有本地化流畅性和文化细微差别的消息。在最近的一个案例中，Check Point Harmony Email & Collaboration 阻止了一个使用多种文本措辞来规避检测的勒索信活动。在这些成千上万的信息中，每封邮件都以独特的方式重新措辞了“时间紧迫”的紧迫感，使用了诸如“你的沙漏几乎要空了”或“你正接近时间的尽头”等表达。由于勒索信活动通常不包含恶意 URL 或附件等传统威胁迹象（IoCs），除了加密货币钱包地址之外，检测严重依赖于文本分析，这进一步使防御措施复杂化。 llm技术现在允许攻击者毫不费力地制作出带有本土化流畅性和文化细微差别的消息。 05 人工智能的安全保障、安全措施与安全使用对暗网论坛的审查揭示了多种专门为简化钓鱼和垃圾邮件活动创建和管理而设计的AI辅助工具（图6）。例如，GoMailPro（图8），每月500美元，在2023年集成了ChatGPT以自动化生成垃圾邮件和钓鱼邮件。2024年的最近更新，包括恢复用于垃圾邮件分发的被封锁的电子邮件账户的功能，进一步增强了该解决方案。 03 研究 AI04 企业人工智能14 人工智能安全报告 2025人工智能漏洞研究中的APT攻击狩猎暗网中的AI模型新的社会工程学针对 LLM 账户的 AI 用于恶意软件 05 人工智能的安全保障、安全措施与安全使用另一个AI文本应用的例子是由网络犯罪团伙GXC团队开发的“商业发票交换器”（图8）。它旨在通过自动扫描受感染的电子邮件账户查找发票或付款指令来促进商业电子邮件妥协（BEC）。它更改银行详细信息，将资金转移到攻击者控制的账户。利用AI，它可以无缝地克服语言障碍，高效地管理大量数据，并自动化分发，从而提高欺诈性电子邮件攻击的规模和影响。 03 研究 AI04 企业人工智能15 人工智能安全报告 2025人工智能漏洞研究中的APT攻击狩猎暗网中的AI模型新的社会工程学针对 LLM 账户的 AI 用于恶意软件 05 人工智能的安全保障、安全措施与安全使用X137电报管理控制台，在暗网论坛上宣传，是一个完全自主的基于人工智能的文本交互代理的例子。该工具在基于文本的平台中自动化任务，同时根据指定任务与多个用户进行实时对话。使用Gemini AI，X137监控、总结并与电报通信互动，提供无审查的、与黑客相关的见解。除了受经济利益驱动的犯罪分子，国家行为者也越来越利用生成式人工智能来增强社会工程方案。谷歌报告伊朗、俄罗斯和中国APT以及信息行动人员已经使用像Gemini这样的AI工具进行内容创作、本地化和角色开发。OpenAI的报告同样发现了在影响力行动中使用这些功能，简化了网络钓鱼、影响力活动和侦察。这些人工智能驱动工具的主要贡献在于它们能够扩大犯罪活动规模，克服了以往在雇佣精通语言和文化的人才方面存在的瓶颈。人工智能生成的文本使网络犯罪分子能够克服语言和文化障碍，显著增强了他们执行复杂实时和离线通信攻击的能力。无审查的基于大语言模型的聊天机器人可以同时令人信服且有效地管理多个通信线程。 人工智能生成的音频深度伪造网络犯罪分子越来越多地使用AI生成的音频，即“音频深度伪造”，来实施复杂的冒充诈骗。这项技术能够制作出非常逼真的人物声音副本，增强了诈骗者欺骗受害者的能力。社交媒体上的语音样本——从名人到普通用户——为攻击者提供了丰富的资源。一个最近的案例据报道，在意大利，骗子使用了AI辅助的音频深度伪造技术，成功地模仿了国防部长Guido Crosetto的声音。攻击者试图通过谎称资金需要用于释放人质来勒索他的富有的联系人。包括设计师Giorgio Armani在内的一些知名人士成为目标。至少有一位认识这位部长的人被骗，并转移了一笔巨款。流行的平台如 ElevenLabs 和像开源的基于检索的语音转换工具RVC该算法仅用十分钟的声音样本就能生成逼真