CHECK POINT AI 安全年度报告

目录01引言 面向AI的安全性、由AI实现的安全性以及借助AI实现的安全性 AI威胁已不再停留在理论阶段—它们已经存在并迅速发展。随着AI工具的普及，威胁参与者在利用这一转变时主要有两种方式：利用AI来增强其能力，以及针对采用AI技术的组织和个人发起攻击。以下页面将提供对这些威胁的全面理解，使读者能够驾驭复杂的人工智能安全环境。为了一个安全、创新和成功的未来，Lotem Finkelstein，Check Point Research研究总监 引言AI在网络攻击者和防御者中加速发展的未来人工智能正在彻底改变各行各业，网络犯罪和网络安全也不例外。企业采用人工智能——不幸的是，威胁行为者也采用了人工智能——可以提高效率、扩大规模和影响。此时此刻，我们认为有必要停下来，评估人工智能和网络安全的现状与未来。攻击者会如何使用AI，之后又会发生什么？作为网络防御者，您应如何利用AI来加强自身的安全工作并更有效地保护组织？这些问题已在《Check Point Research AI安全报告》第一版中进行解答。我们的关注点在于：•跨文本、音频和视频的自主与互动式社交工程的兴起•LLM的越狱与武器化•恶意软件开发与数据挖掘的自动化•企业采用人工智能及其相关风险•数据中毒在实际环境中的出现以及由GenAI工具放大的大规模虚假信息•以毒攻毒的AI工具-保护您的组织免受最先进的威胁 面向AI的安全性、由AI实现的安全性以及借助AI实现的安全性05用于研究的AI03AI威胁02用于APT搜寻的AI引言01企业人工智能04新型社交工程将LLM帐户作为目标面向恶意软件的AI人工智能漏洞研究暗网中的AI模型2025年AI安全报告4 网络犯罪分子使用的AI模型网络犯罪分子正在密切关注主流人工智能应用的趋势。每当一个新的大型语言模型（LLM）向公众发布时，地下行为者都会迅速测试其被滥用的潜力（图1）。目前，ChatGPT和OpenAI的API是网络犯罪分子中最受欢迎的模型，而GoogleGemini、Microsoft Copilot和Anthropic Claude等其它模型也图1–关于利用DeepSeek进行恶意软件开发的地下论坛讨论 在迅速获得人气。随着阿里巴巴推出DeepSeek和Qwen等开源模型，网络安全解决方案的格局正在发生变化。这些模型增强了可访问性，使用限制极少，并且提供免费套餐，使其成为网络犯罪的重要资产。 暗网中的AI模型用于APT搜寻的AI新型社交工程将LLM帐户作为目标面向恶意软件的AI人工智能漏洞研究2025年AI安全报告6面向AI的安全性、由AI实现的安全性以及借助AI实现的安全性05用于研究的AI03AI威胁02引言01企业人工智能04 恶意AI模型的发展网络犯罪分子正在利用主流平台，创建并销售专门为网络犯罪量身定制的恶意LLM模型（图2）。这些黑暗的LLM模型旨在规避为道德模型设立的安全措施，并被积极推销为黑客工具。 暗网中的AI模型用于APT搜寻的AI新型社交工程将LLM帐户作为目标面向恶意软件的AI人工智能漏洞研究2025年AI安全报告7面向AI的安全性、由AI实现的安全性以及借助AI实现的安全性05用于研究的AI03AI威胁02引言01企业人工智能04 臭名昭著的AI模型WormGPT是通过从ChatGPT越狱而产生的（图3）。它被宣传为“终极黑客AI”，且能在不受道德约束的情况下生成网络钓鱼邮件、编写恶意软件并创建社交工程脚本。某一Telegram频道鼓吹可将其用于欺诈、僵尸网络创建和网络入侵，从而提供旨在突出暗网AI商业化的订阅服务。 暗网中的AI模型用于APT搜寻的AI新型社交工程将LLM帐户作为目标面向恶意软件的AI人工智能漏洞研究2025年AI安全报告8面向AI的安全性、由AI实现的安全性以及借助AI实现的安全性05用于研究的AI03AI威胁02引言01企业人工智能04 冝緸⚥涸AI模型用于APT搜寻的AI新型社交工程将LLM帐户作为目标面向恶意软件的AI人工智能漏洞研究2025年AI安全报告9面向AI的安全性、由AI实现的安全性以及借助AI实现的安全性05用于研究的AI03AI威胁02引言01企业人工智能04 新一波黑暗人工智能模型，例如GhostGPT、FraudGPT和HackerGPT（图4），专门用于网络犯罪的特定方面。一些模 型通过越狱绕过主流AI，而另一些则修改开源模型。随着主流AI模型的演变，它们的黑暗对手也在同步演变。 伪AI平台的崛起对基于人工智能的服务的需求导致了虚假人工智能平台的出现，这些平台旨在欺骗用户，传播恶意软件、窃取敏感数据或进行金融欺诈。示例包括HackerGPT Lite（图5），它看似是一个AI工具，但被怀疑是网络钓鱼网站；而虚假的DeepSeek下载网站实际上分发恶意软件。在某一案例中，一个模仿ChatGPT的恶意分布式Chrome扩展程序被设计用于窃取用户凭据。一旦安装，这一有害的扩展程序便会劫持Facebook会话Cookie，从而可让攻击者完全访问受害者的帐户并进行远程操作。 引言01暗网中的AI模型用于APT搜寻的AI新型社交工程将LLM帐户作为目标面向恶意软件的AI人工智能漏洞研究2025年AI安全报告10面向AI的安全性、由AI实现的安全性以及借助AI实现的安全性05用于研究的AI03AI威胁02企业人工智能04 社交引擎（通过操控个人采取他们通常不会采取的行动）是众多网络攻击的核心所在。即使是纯粹利用技术漏洞的攻击，通常也始于某一社交引擎策略。攻击者会利用文本、音频和图像从而以令人信服的方式冒充特定个人或生成真人声音，从而建立信任以欺骗其目标。随着AI实现各种最新进展，攻击者得以大规模地创建看似真实的材料、进行自动化聊天，并在冒充他人的情况下举行实时音频与视频会议。随着这些AI驱动式工具在犯罪论坛上的扩散以及相关事件的上升，我们在身份确认方面对音频与视觉线索的依赖正受到严重影响。用于大规模电话诈骗的完全自主式音频深度伪造工具已经面世，而这意味着仅仅识别熟悉的面孔或声音已不再足以证明身份；相反，必须通过额外的身份验证措施来加强互动。AI驱动式社交引擎的出现已在影响现实世界的网络犯罪活动。联邦调查局最近警告公众，网络犯罪分子正加速利用AI生成的文本、图像、音频和视频来增强其攻击。这表明，攻击者现已拥有以前无法获得的复杂技术能力，从而会大幅提升欺骗和欺诈的危害效果。AI驱动式社交引擎：一个全新的时代 引言01用于APT搜寻的AI将LLM帐户作为目标面向恶意软件的AI人工智能漏洞研究暗网中的AI模型2025年AI安全报告11面向AI的安全性、由AI实现的安全性以及借助AI实现的安全性05用于研究的AI03AI威胁02新型社交工程企业人工智能04 在线欺诈依赖于覆盖的数据质量和数量两个因素。即使是拙劣的诈骗内容，例如色情勒索电子邮件，发送给数百万潜在受害者时，即使只有一小部分成功，也能获利。因此，攻击者的目标是提高其假冒行为的质量和操作的自动化水平，在最大化影响的同时，尽量减少昂贵的人力资源。人工智能推动了这些领域的进步，能够以多种语言生成极具说服力的文本、音频和视频，并启用交互式聊天机器人，从而产生能够恶意与受害者互动的自动化代理。深度解析深度伪造技术及其滥用以下部分将研究涉及每种媒体类型（文本、音频、图像和视频）的利用场景，详细介绍在犯罪论坛中积极宣传的相关服务，并分析实际事件的报告，以说明这些不断演变的威胁的实际影响。 介质类型离线生成文本预渲染脚本或电子邮件音音预先录制的伪装内容音音预先创建的深度伪造视频（红V标记成熟度水平已向市场推出并被实际采用）深度伪造自动化的成熟度水平生成式人工智能技术涵盖了从基本的离线文本、图像和视频生成，到需要真实个体参与的高级在线操作（例如换脸或模仿声音）的一系列复杂程度和成熟度。在最高层级，完全自主的实时生成能够即时产生令人信服的内容，并在互动中动态响应毫无戒心的个人。 引言01用于APT搜寻的AI将LLM帐户作为目标面向恶意软件的AI人工智能漏洞研究暗网中的AI模型2025年AI安全报告12面向AI的安全性、由AI实现的安全性以及借助AI实现的安全性05用于研究的AI03AI威胁02新型社交工程企业人工智能04 实时生成完全自主式实时生成的响应AI生成的全交互式对话实时语音变声纯AI驱动式会话音频实时人脸替换或视频篡改全自动化且由AI生成的交互式视频 AI生成的文本社交引擎自2022年以来，ChatGPT和其它大型语言模型(LLM)聊天机器人的可用性降低了生成可信文本的门槛，从而提升了网络钓鱼电子邮件的危害性。攻击者通常与受害者有着不同的语言与文化背景，而这些攻击者以前面临着巨大的语言障碍。然而，LLM技术如今却使攻击者能够毫不费力地凭借接近母语的流畅度和文化细微差别来创建消息。在最近的一起案例中，Check Point Harmony Email &Collaboration阻止了一场使用多种文本措辞来规避检测的色情勒索活动。在数以千计的邮件中，每封邮件都以“时间正在流逝”的紧迫性为主题并进行了特有的重新措辞和编辑，比如使用了“您的时间已所剩无几”或“您的大限将至”一类的表述。由于色情勒索活动通常不含恶意URL或附件等传统入侵指标(IoC)，因此除加密货币钱包地址外，相关检测主要依赖于文本分析，而这进一步导致了防御措施的复杂化。 引言01用于APT搜寻的AI将LLM帐户作为目标面向恶意软件的AI人工智能漏洞研究暗网中的AI模型2025年AI安全报告13面向AI的安全性、由AI实现的安全性以及借助AI实现的安全性05用于研究的AI03AI威胁02新型社交工程企业人工智能04 LLM技术如今能使攻击者毫不费力地凭借接近母语的流畅度和文化细微差别来创建消息。 对Darkweb论坛的审查揭示了各种专门用于简化网络钓鱼与垃圾邮件活动的创建和管理的AI辅助式工具（图6）。例如，GoMailPro（图8），其价格为每月$500，它于2023年集成了ChatGPT，以便自动生成垃圾邮件和网络钓鱼电子邮件。其2024年的最新更新则包括可恢复用于垃圾邮件分发的被封锁电子邮件帐户的功能，从而进一步提升了该解决方案。 引言01用于APT搜寻的AI将LLM帐户作为目标面向恶意软件的AI人工智能漏洞研究暗网中的AI模型2025年AI安全报告14面向AI的安全性、由AI实现的安全性以及借助AI实现的安全性05用于研究的AI03AI威胁02新型社交工程企业人工智能04 AI文本应用程序的另一示例则是网络犯罪团伙GXC Team所开发的“BusinessInvoice Swapper”（图8）。它旨在通过自动扫描被入侵的电子邮件帐户以查找发票或付款指令，从而为商业电子邮件入侵(BEC)提供便利。它会更改银行详细信息，以将资金转向攻击者控制的帐户。利用AI，它可无缝克服语言障碍、高效管理海量数据并自动进行分发，从而提升欺诈性电子邮件攻击的可扩展性和影响力。 引言01用于APT搜寻的AI将LLM帐户作为目标面向恶意软件的AI人工智能漏洞研究暗网中的AI模型2025年AI安全报告15面向AI的安全性、由AI实现的安全性以及借助AI实现的安全性05用于研究的AI03AI威胁02新型社交工程企业人工智能04 在暗网论坛上宣传的X137 Telegram管理控制台是一个完全自主的基于人工智能的文本交互代理的例子。该工具在文本平台上自动化执行任务，并根据指定任务与多个用户进行实时对话。X137利用Gemini AI监控、总结并参与Telegram通信，提供未经审查的与黑客相关的见解。这些人工智能驱动的工具的主要贡献在于它们能够扩大犯罪活动的规模，克服以往与雇用精通语言和文化的人员相关的瓶颈。人工智能生成的文本使网络罪犯能够克服语言和文化障碍，显著增强其执行复杂的实时和离线通信攻击的能力。未经审查的基于LLM的聊天机器人可以令人信服且有效地同时管理多个通信线程。除出于经济动机的罪犯外，国家参与者也日