Check Point AI 报告 • 第1版年度报告

人工智能安全报告

核心观点： 人工智能技术正在被网络犯罪分子利用，用于增强其攻击能力并针对采用人工智能技术的组织和个人。随着人工智能工具的普及，威胁行为者通过两种关键方式利用这一转变：利用人工智能来增强其能力，并针对采用人工智能技术的组织和个人。

关键数据：

• 全球范围内，人工智能服务在企业网络中的使用率差异很大，英语国家并未在采用人工智能服务的最高百分比的企业网络国家名单中名列前茅。
• 在企业网络中，最流行的AI服务包括ChatGPT、微软小助手、Grammarly等，其中ChatGPT在37%的企业网络中被看到，其次是微软的Copilot，占比27%。
• 在从企业设备发送给GenAI服务的每80条提示中，有1条被发现具有敏感数据泄露的高风险，另外还有7.5%的提示（即每13条中有1条）包含潜在敏感信息。

研究结论：

• 网络犯罪分子正在利用主流平台，创建和销售专门为网络犯罪量身定制的恶意LLM模型，这些黑暗LLM模型旨在规避为伦理模型建立的保障措施，并作为黑客工具积极推广。
• 网络犯罪分子越来越多地使用AI生成的音频，即“音频深度伪造”，来实施复杂的冒充诈骗。
• 人工智能生成的文本使网络犯罪分子能够克服语言和文化障碍，显著增强了他们执行复杂实时和离线通信攻击的能力。
• 网络犯罪分子已建立了一个繁荣的地下市场，用于交易被盗的AI服务账户，包括ChatGPT、OpenAI API密钥和其他LLM平台。
• 网络犯罪分子越来越多地使用人工智能来创建和优化恶意软件杀伤链步骤，例如勒索软件脚本、钓鱼工具包、信息窃取者开发以及深度伪造生成。
• LLM数据中毒是一种新兴的网络安全威胁，其特点是训练数据集被操纵以嵌入后门或恶意代码。
• 人工智能在网络安全研究人员中的应用，例如增强检测机制和使复杂系统更易于访问，正在以多种方式探索。
• 人工智能在企业AI使用中的风险包括数据丢失、过度代理和阴影人工智能应用。
• 为了确保组织强大的人工智能工具的安全使用，需要适当的治理和安全措施，例如Check Point的GenAI Protect解决方案，它提供可见性、风险评估和实时数据丢失防护。

人工智能的未来走向： 随着人工智能的发展，它是一个持续的调查助手，揭示关键洞察和异常行为，并比以往更快地指导分析师。大型语言模型（LLMs）的进步显著提升了人机智能的交互能力，并提高了生产力。