CHECK POINT AI 安全年度报告：第一版

核心观点

• AI 威胁已从理论阶段进入现实，网络犯罪分子正利用 AI 增强攻击能力，并针对采用 AI 技术的组织和个人发起攻击。
• 暗网中涌现大量黑暗 AI 模型，如 WormGPT、GhostGPT、FraudGPT 和 HackerGPT，专门用于网络犯罪活动。
• 新型社交工程利用 AI 生成高度逼真的文本、音频和视频，进行大规模欺骗和欺诈。
• AI 被用于恶意软件开发、数据挖掘、身份验证绕过和虚假信息传播，攻击手段不断升级。
• LLM 账户成为网络犯罪分子的目标，被盗账户被用于绕过 AI 使用限制、匿名进行恶意活动。
• 暗网中出现针对 AI 模型的越狱技术，攻击者通过提示工程绕过 AI 的安全限制，生成恶意内容。
• AI 在网络安全领域也有应用，如增强检测机制、进行 APT 搜寻和漏洞研究，提高研究效率。
• 企业环境中 AI 服务使用广泛，但同时也存在数据丢失、过度代理、影子 AI 应用和 GenAI 应用中的新兴漏洞等风险。
• Check Point 提供 GenAIProtect 和 Infinity AI Copilot 等解决方案，帮助企业安全使用 AI 工具，并集成 AI 驱动的安全助手，提高安全管理效率。

关键数据

• 全球范围内 AI 服务集成和曝光率存在显著差异，企业网络中使用 AI 服务比例最高的国家中没有一个英语国家。
• OpenAI 的 ChatGPT 是目前使用最广泛的 AI 服务，出现在 37% 的企业网络中；微软的 Copilot 出现在 27% 的企业网络中。
• 37% 的企业网络使用 Grammarly，25% 使用 DeepL，18% 使用 QuillBot 等写作助手服务。
• 21% 的企业网络使用 Vidyard 和 8% 使用 Gamma 等视频与演示工具。
• 每 80 个从企业设备发送到生成式 AI 服务的提示中，有 1 个 (1.25%) 被发现存在敏感数据泄漏的较高风险，另有 7.5% 的提示 (1/13) 包含潜在的敏感信息。

研究结论

• AI 正在改变网络安全格局，攻击者利用 AI 提升攻击能力，而防御者也需要利用 AI 增强防御能力。
• 企业需要关注 AI 带来的安全风险，并采取相应的措施进行管理和防护。
• AI 技术在网络安全领域的应用前景广阔，可以帮助企业更有效地检测、预防和预测威胁。