2024年网络安全趋势报告：十大趋势分析

关于NSFOCUS NSFOCUS, Inc.，网络安全领域的先驱领导者，致力于保护电信、互联网服务提供商、托管提供商和企业免受复杂的网络攻击。 成立于2000年，NSFOCUS在全球范围内运营，拥有超过4000名员工，总部位于中国北京和加州圣克拉拉，并在全球设有超过50个办事处。公司拥有保护全球财富500强公司中超过25%的公司的成功记录，包括五家最大的银行中的四家以及全球前十的电信公司中的六家。 利用技术实力和创新，NSFOCUS提供了一套全面的网络安全解决方案，包括适用于现代安全运营中心（SOC）的智能安全运营平台（ISOP）、体积DDoS防护、持续威胁暴露服务（CTEM）以及Web应用和API保护（WAAP）。所有解决方案和服务都得到了NSFOCUS开发的网络安全大型语言模型（SecLLM）和其他前沿研究成就的增强。 版权所有 除非另有说明，本文中的任何文本描述、文档格式、插图、照片、方法、流程和其他内容均受NSFOCUS版权保护，并受相关财产权和版权法律的保护。未经NSFOCUS书面授权和许可，任何个人或机构不得以任何方式复制或引用本文的任何部分。 新兴的生成式AI攻击将加剧对独特提示内容的关注。多模态攻击方法和模型代理风险成为新兴趋势。同时，AI应用的隐私安全挑战。合规和数据泄露问题具有重大影响。 01 生成式AI将革新安全运营。大型语言模型（LLM）作为“安全助手”，提供分析、推理和报告能力。此外，LLM技术在各种攻击预防场景中得到了广泛应用，包括漏洞挖掘、恶意软件分析、内容检测和自动渗透。 02 风险管理正在演变。它将从广泛的“所有风险”检测转变为针对多样监督方法和日益加剧的攻击强度，进行精确、动态的威胁暴露管理。 03 HRTI、HRTI平台和HRTI应用的需求将迅速增长。 勒索软件仍然是全球组织最有害的网络安全犯罪形式。双重和多次勒索等威胁持续增长，勒索手段变得越来越多样化。 05 网络战争加速了分布式拒绝服务（DDoS）攻击的武器化，并经常作为高级持续性威胁（APT）和勒索软件攻击的前哨。攻击者更倾向于购买专用云服务器，攻击模式开始向基于智能策略的攻击模式发展。 云安全保护正将重点转向云基础设施权限管理（CIEM）和云安全态势管理（CSPM），以身份和管理工作为核心。云原生安全将越来越实用并得到应用，从基础设施安全到云原生API安全及微服务安全。 隐私计算和机密计算由于法律和法规的持续制定和改进，正开辟新的发展道路。在此背景下，互联互通标准化和克服生态隔离是关键焦点。 08 智能互联汽车（ICV）在数据安全、功能安全和预期功能安全性方面面临挑战。为了解决这些问题，建立一个车路云一体化的安全系统是必不可少的，它提供了全面的安全治理能力。 09 随着低空经济的扩展，无人机（UAVs）的广泛应用突显了无人机安全对于进一步发展的重要性。 新兴的生成式AI攻击将加剧对独特提示内容的关注。多模态攻击方法和模型代理风险是新兴趋势。同时，隐私合规和数据泄露为AI应用带来了重大的安全挑战。 生成式人工智能（GAI）的蓬勃发展，尤其是以大型语言模型（LLM）为代表的关键技术突破，推动了新一轮人工智能（AI）产业革命。Gartner 首次将“生成式网络安全AI”纳入《创新触发器》中。安全运营2023年炒作周期人工智能和大型语言模型（LLM）的应用，以ChatGPT为代表，正逐渐渗透到各类组织的核心场景中。然而，当前的LLM仍不够成熟。同时，随着其能力提升和应用拓展，潜在的安全漏洞和潜在危险可能会导致更广泛和更严重的后果。 AI导向的攻击与防御一直是学术界的热点话题。针对LLM的攻击技术也在不断进步和复杂化，如模型逆向工程、数据投毒攻击、模型盗窃等，这些都对LLM的可用性和机密性构成了严重威胁。自从LLM出现以来，它就面临着许多独特的风险，例如提示词注入、角色扮演、逆向诱导等新型攻击技术。目前，面对攻击者不断变化的攻击策略，LLM威胁的检测和防御措施不足。到2023年，经典的DAN（Do Anything Now）攻击已经出现，这种攻击通过精心设计的提示词诱使LLM执行任何动作，包括潜在的有风险行为。此外，还存在一个“奶奶漏洞”，即AI系统通过角色扮演等手段被提示生成意外的响应。这些攻击针对自然语言的特征，被称为“提示攻击”。结合传统攻击技术（如XSS攻击）的提示攻击也普遍存在。 LLM制造商实施的安保措施本身无法充分应对这些攻击。因此，有必要对LLM提示进行风险评估，并据此在用户输入和模型输出端进行防御检测。同时，通过优化和提升服务模型侧的提示内容和文本结构，对逃逸攻击、角色假设和提示泄露等攻击进行防御检测，从而有效提升防御能力。 攻击模型成本。 多模态能力不仅为大型语言模型（LLM）应用带来各种商业机会，还带来了更多样化的攻击形式和安全隐患。当多模态交互形式（如文本、图像、声音和视频）成为服务的正常形式时，攻击负载也具有更多形式和复杂的组合模式，给组织的防御系统带来新的挑战。作为模型获取外部能力的关键技术，尽管为模型提供图数据库操作、文件交互和命令执行等多种能力，但代理机制也可能以多模态形式被攻击者操纵，间接控制模型代理，导致更广泛的攻击。多模态模型的安全性问题比单模态数据训练的模型更复杂，因此多模态内容安全也是一个有价值的研究方向。 当人们使用LLM时，满足隐私合规并避免敏感或隐私数据泄露已成为重大的安全问题。目前，许多国家已经颁布了关于隐私合规的法律和法规。例如，美国的数据利益相关者被要求采取一系列措施来保护用户隐私和敏感信息，包括《格雷姆-里奇-布莱利法案》（GLBA）和《加利福尼亚消费者隐私法》（CCPA）；欧洲联盟的《通用数据保护条例》（GDPR）、《英国数据保护法案》（DPA）等。然而，与此同时，由LLM引起的个人隐私和敏感数据泄露事件也开始发生。例如，三星员工使用ChatGPT泄露了机密数据，在其推出后的20天内就发生了三个记录在案的事件。这促使公司内部开始考虑再次将其禁用。 因此，未来LLM应用将更加关注合规性，内置的隐私保护功能将进一步强化。这些保护措施包括但不限于数据加密、脱敏、权限控制、匿名化和对用户数据的精细访问控制机制。通过提高安全性，AI服务提供商可以获得竞争优势。安全供应商也可以推出相关的安全产品，以满足新兴的AI安全需求，并降低LLM及其数据成为攻击目标的风险。 生成式AI将革新安全运营。大型语言模型（LLM）扮演着“安全伙伴”的角色，提供分析、推理和报告能力。此外，LLM技术在各种攻击预防场景中得到了广泛应用，包括漏洞挖掘、恶意软件分析、内容检测和自动渗透。 在2023年，智能安全运营技术变得极为竞争激烈。微软安全Copilot技术平台的预发布无疑启动了网络安全LLM技术的竞赛。其他制造商如谷歌的Sec-PaLM和SentinelOne的Purple AI亦紧随其后。这为智能安全运营技术提供了一个全新的交互和任务分析范式，并从分析、集成和协作的维度为升级经典网络安全AI技术堆栈提供了巨大机遇。 通过对以微软安全 Copilot 为代表的 LLM 驱动的安全运营技术系统进行全面观察，我们可以看到基于 LLM技术的生成式 AI 在安全运营领域展现出多项显著的技术优势，包括： 1) 安全知识语义增强。随着参数规模的指数级增长，LLM保留了“领域知识+常识”，这极大地缓解了数据模式与安全语义之间的差距，这是困扰网络空间人工智能发展的一个核心问题。这是传统小型模型（如经典机器学习、深度学习、知识图谱以及LLM之外的其他技术）难以解决的问题。 2) 攻防领域分析逻辑得到提升。小型模型技术在统计分析问题上表现良好，其大部分能力在于拟合学习。然而，网络安全领域中任务多样性和环境开放性导致经典的拟合学习能力受限且易衰减。基于大规模参数基础和指令学习的核心框架，大型语言模型（LLM）已经具备了逻辑分析基础，以支持少样本和零样本的学习场景。它可以高效地从海量数据中提取关键信息，形成深入洞察，并快速筛选出对安全操作至关重要的数据。 3) 人类与计算机交互决策的提升。网络对抗的终极主题在于人类。LLM技术大幅提升了语言模型之间的交互水平。安全团队通过基于自然语言的网络安全控制界面进行交互，这极大地降低了成本并提升了用户体验。这对于在安全操作中分析具有复杂目标的数据、工具和文档等场景来说，是一场重大的技术革命。具体来说，LLM可以极大地减少对高级安全分析专家的依赖，并在日常警报分类、攻击追踪和调查、恶意软件分析、报告生成等方面显著提高高级威胁检测的准确性和自动化水平。 当然，大型语言模型（LLM）只是智能安全运营技术系统中核心能力之一。典型的安全分析能力，如统一的去歧义数据图、完整的工具支持系统、专门的“小型模型”库以及支持协作调度的统一执行框架，仍然是发挥LLM安全价值的关键基础。因此，将现有的安全分析能力整合形成智能辅助决策支持的核心能力，将是未来由LLM驱动的“安全伙伴”的典型范式。 网络安全运营能力外，我们还看到其关键安全领域（如漏洞挖掘、恶意软件分析、内容检测以及自动化渗透攻击）的重大潜力，同时认识到攻击者利用这些能力所产生之风险。 漏洞发现是网络安全的重要组成部分，传统上依赖于安全研究人员的专业知识和经验。利用生成式人工智能技术来自动化漏洞挖掘可以提高发现软件漏洞的效率。然而，攻击者可以使用这些工具快速识别和利用新的漏洞，给网络安全带来新的挑战。 恶意软件分析通常需要大量人力资源来识别和分析。生成式人工智能使得恶意软件分析自动化，并提高了防御的有效性。然而，恶意攻击者也在使用生成式人工智能来创建新的恶意软件类型，以绕过现有的检测机制，使得其识别和防御变得更加困难。 自动化渗透测试是评估网络安全防御能力的重要工具。人工智能技术可以帮助模拟攻击者行为并在测试中识别漏洞。然而，恶意人工智能工具也可以进行自动化攻击，以更低成本和更高效率地发现和利用系统漏洞，对组织构成更大的威胁。 内容检测是识别和防止恶意内容传播的关键技术。AI技术的进步有助于提高内容检测的准确性和速度。然而，恶意AI工具的能力，如通过深度伪造技术生成逼真的虚假新闻、钓鱼电子邮件和虚假视频，为内容检测系统带来了新的挑战，这些系统需要不断进化以识别和应对复杂的AI生成内容。 总之，面对网络安全领域中生成式AI的双面性，我们不仅应积极主动拥抱其带来的机遇，提升网络安全作业的智能化水平，而且要警惕并积极应对恶意AI工具可能带来的风险和挑战，通过综合策略和措施确保网络空间的安全与稳定。在监管层面，应加强人工智能技术应用的法律监管，以确保其发展与使用不妨碍公共利益。在教育层面，应提高公众对AI技术潜在风险的认识，并鼓励负责任的AI技术应用。尤其是在这个阶段，要大力加强围绕深度伪造威胁的安全意识教育；在技术层面，应研发防御战略和技术，以识别和防御恶意AI工具生成的攻击，增强现有认证机制的抗脆弱性，并为应对深度伪造威胁提供原生安全性。 风险管理正在演变。它将从广泛的“全风险”检测过渡到精确、动态的威胁暴露管理，以应对多样化的监管方法和不断升级的攻击强度。 持续威胁暴露管理（CTEM）预计将成为2024年网络安全行业的热点，主要归因于其对全面安全风险状况的理解和持续评估的能力。 风险管理一直是网络安全领域的主题。每一个新的技术亮点或评估方法都吸引了行业的广泛关注。今天，我们首先从攻击的角度分析漏洞的爆发和利用。 漏洞利用：根据NVD收集的公开漏洞数量，2023年新增了超过30,000个新的漏洞。然而，只有大约500个高风险漏洞被发现已经存在成熟的利用手段。也就是说，只有1.9%的漏洞将直接且迅速地造成巨大风险，而安全管理员将面临追踪、识别和修复超过30,000个漏洞的挑战。 组织能力：随着风险检测能力的提升，许多组织意识到全面资产管理与风险管理的投入产出比并不经济。由于难以跨部门实施，资产和风险管理难以实现预期目标。 攻击格局：随着APT-as-a-s