2024网络安全趋势报告

CONTENTS关于绿盟科技绿盟科技集团股份有限公司（以下简称绿盟科技），成立于2000年4月，总部位于北京。公司于2014年1月29日在深圳证券交易所创业板上市，证券代码：300369。绿盟科技在国内设有50余个分支机构，为政府、金融、运营商、能源、交通、科教文卫等行业用户与各类型企业用户，提供全线网络安全产品、全方位安全解决方案和体系化安全运营服务。公司在美国硅谷、日本东京、英国伦敦、新加坡及巴西圣保罗设立海外子公司和办事处，深入开展全球业务，打造全球网络安全行业的中国品牌。版权声明本文中出现的任何文字叙述、文档格式、插图、照片、方法、过程等内容，除另有特别注明，版权均属绿盟科技所有，受到有关产权及版权法保护。任何个人、机构未经绿盟科技的书面授权许可，不得以任何方式复制或引用本文的任何片断。 CONTENTS01趋势 1：生成式人工智能中的各类新型攻击兴起，围绕其特有的提示词内容的攻防将会不断深入，多模态攻击形式以及模型 AGENT 风险正在成为该领域未来的攻击趋势；隐私合规和数据泄露风险将成为其应用面临的重大安全挑战。 102趋势 2: 生成式人工智能将重塑安全运营技术与流程，大模型可承担“安全副驾”角色，提供分析、推理和报告等运营能力，同时，大模型技术也被广泛用于漏洞挖掘、恶意软件分析、内容检测、自动化渗透等多种攻防场景。 403趋势 3: 监管方式多元化以及攻击烈度持续攀升，风险管理的建设重心将从大而全的风险发现向 CTEM 的威胁与风险相结合的精确、可控、动态风险治理办法转变。 704趋势 4: 在机读 IOC 威胁情报基础上，人读威胁情报及其平台和应用的需求会快速增加。 9 CONTENTS05趋势 5: 勒索软件仍然是对全球各国企业最具危害的网络犯罪形式，双重勒索、多重勒索等威胁持续增长，勒索手段更加多样化。 1206趋势 6: 网络战争加速 DDoS 攻击武器化进程，并经常成为 APT和勒索攻击的前站，攻击者青睐购买专用云服务器，攻击模式开始向智能策略式攻击发展。 1507趋势7: 云安全防护重心转向以身份和管理为核心的CIEM和CSPM；而云原生安全将日益实战化、应用化，从基础设施安全转向云原生 API 安全和微服务安全。 1808趋势 8: 随着法律法规的不断制定和完善，以隐私计算与机密计算为基础的安全协同计算和数据安全流转迎来新的发展机遇，相关的互联互通标准化以及打通生态隔离成为关键。 21 CONTENTS09趋势 9: 智能网联汽车面临信息安全、功能安全、预期功能安全等挑战，有必要构建车路云一体化安全体系建设，加强车联网数据安全保障，建立智能网联汽车多安融合安全态势感知与综合安全治理能力。 2410趋势 10: 低空经济崛起，无人机获得广泛应用，无人机安全防护将成发展关键。 27附录 A 30 序“善弈者谋势”。加强对行业发展趋势的关注和研判，是了解行业动态、明确发展目标的重要途径。对于网络安全行业而言，其意义更加明显：洞察趋势并顺势而为，对于及时感知并防范风险、优化资源和发展策略等，具有十分重要的实践意义。何以观势？如业界所熟知，“合规”和“攻防”是网络安全行业发展的两大基石。“合抱之木，生于毫末；九层之台，起于垒土”，网络安全趋势的发端与形成，从对合规和攻防实践的分析中可以见其端倪。绿盟科技依托扎实的网络安全保障实践，立足重大需求深入理解国家政策导向，立足技术创新密切跟踪攻防异动，立足专业视角全方位多维度分析，总结提出了“2024年网络安全行业十大趋势”。特此凝练成册，以资参考。“察势者明，趋势者智”。诚挚期待本报告能为网络安全行业管理和产业发展略尽绵薄。并期待依托我司技术、产品和服务创新，全力投身打造网络安全新质生产力，为实现国家高质量发展战略目标贡献力量。叶晓虎2024年3月 趋势 1：生成式人工智能中的各类新型攻击兴起，围绕其特有的提示词内容的攻防将会不断深入，多模态攻击形式以及模型 AGENT 风险正在成为该领域未来的攻击趋势；隐私合规和数据泄露风险将成为其应用面临的重大安全挑战。01 22024网络安全趋势报告生成式人工智能（Generative Artificial Intelligence,GAI）技术的蓬勃发展，特别是以大模型为代表的关键技术突破，促进了新一轮人工智能产业革命。2023年Gartner安全运营炒作曲 线（Hype Cycle for Security Operations,2023）首次将生成式网络安全人工智能（Generative Cybersecurity AI）纳入创新启动区。以ChatGPT为代表的人工智能和大模型应用正在逐渐深入到各行各业的关键场景，然而，当前的AI大模型发展得尚不成熟，同时随着其能力的提升和应用的扩展，潜在的安全漏洞和隐患会引发更大范围和更为严重的后果。面向人工智能的攻防始终是学术界的热点，针对AI大模型的攻击技术也在不断提高且变得更加复杂，例如模型逆向工程、数据投毒攻击、模型窃取等，这些都对大模型的可用性和机密性构成了严重威胁。大模型自出现以来就面临着诸多特有的风险，如提示词注入、角色扮演、反向诱导等新攻击手法。当前，针对大模型安全威胁的检测和防御措施在面对攻击者不断变化的攻击手段时显得力不从心，2023年已经涌现出经典的DAN(Do Anything Now)攻击（即通过精心设计的提示词诱导大模型执行任何操作，包括一些潜在的危险行为）、奶奶漏洞（即通过角色扮演等手段诱导AI系统产生意料之外的回复）等针对自然语言特性的各类提示词（Prompt）攻击，以及结合跨站脚本攻击（XSS）等传统攻击技术进行的Prompt攻击，仅靠大模型厂商自建的安全围栏还不足以应对。因此，需要对大模型在Prompt内容安全方面进行风险评估，并据此在用户输入侧、模型输出侧进行防御检测。同时，通过优化增强业务模型侧的Prompt内容以及文本结构，针对逃逸攻击、角色假定、Prompt泄露等攻击手段展开防御检测，从而有效提升针对模型的攻击成本。多模态能力在给大模型业务应用带来各种业务机会的同时，也为其带来了更加多样化的攻击形态以及安全风险。在多模态交互形式（如文本、图像、声音、视频等）成为业务常态形式的情况下，攻击载荷也具备了更多形态以及复杂组合的突破方式，给企业的防御体系带来了新的挑战。作为模型获取外部能力的关键技术，Agent机制在为模型提供图数据库操作、文件交互以及命令执行等各类能力的同时，也可能被攻击者利用多模态的形式来操纵模型行为，间接控制模型Agent，造成更加广泛的攻击危害。相比在单一模态数据上训练的模型，多模态模型的安全性更为复杂，因此多模态内容安全也是相当有价值的研究方向。在用户采用大模型的过程中，满足隐私合规和避免自身敏感或隐私数据泄露成为重大安全挑战。目前，多数国家都颁布了隐私合规的法律法规，例如，要求数据相关方采取一系列措施来保护用户的隐私和敏感信息，其中包括美国的《格雷姆-里奇-比利雷法》（GLBA）和《加州消费者隐私法案》（CCPA）、欧盟的《通用数据保护条例》（GDPR）、英国的《数据保护法案》（DPA）等。然而与此同时，大模型引发的个人隐私和敏感数据的泄露事件初现， 3趋势1如三星被曝芯片机密代码遭ChatGPT泄露，引入不到20天就发生3起事故，内部考虑重新禁用。因此，未来大模型应用将更加注重合规性，同时内置的隐私保护功能也会得到进一步的强化，这些保护措施包括但不限于数据加密、数据脱敏、权限控制、匿名化以及用户数据的精细访问控制机制。我国在2023年8月15日开始施行《生成式人工智能服务管理暂行办法》，旨在规范生成式人工智能服务提供者在处理敏感信息时的行为，保障用户的隐私和个人信息安全，促进生成式人工智能服务的健康发展。因而，AI服务商可通过提升安全性来获得竞争优势，安全厂商也可推出相关安全产品以满足出现的人工智能安全需求，最终减小大模型及其数据成为攻击目标的风险，保障安全大模型系统的稳定性和可靠性。 02趋势 2: 生成式人工智能将重塑安全运营技术与流程，大模型可承担“安全副驾”角色，提供分析、推理和报告等运营能力，同时，大模型技术也被广泛用于漏洞挖掘、恶意软件分析、内容检测、自动化渗透等多种攻防场景。 5趋势22023年安全运营的智能化技术军备已进入白热化，其中Microsoft Security Copilot技术平台的预告发布，无疑拉开了网络空间安全大模型技术竞争的序幕，Google Sec-PaLM、SentinelOne Purple AI等国内外厂商安全大模型紧随而来，给智能安全运营技术提供了全新的交互范式、任务分析范式，并从分析维度、整合维度、协同维度，为经典网络空间人工智能技术栈的升级提供了重大机遇。全面观察以Microsoft Security Copilot为代表的大模型驱动安全运营的技术体系，我们看到基于大模型技术的生成式人工智能在安全运营领域展现出了多项显著的技术优势，包括：1）安全知识语义增强。随着参数规模的指数级提升，大模型储备了领域知识+领域常识，极大缓解了困扰网络空间人工智能发展的一个核心难题――数据模式与安全语义的鸿沟问题。这是传统小模型（LLM之外的经典机器学习、深度学习、知识图谱等技术）所难以解决的。2）攻防领域分析逻辑增强。小模型技术主要擅长统计分析问题，大部分能力在于拟合学习。然而，网络空间安全的任务多元性、环境开放性，导致经典的拟合学习能力受限且极易衰减。基于大规模参数基础及指令学习等核心框架，大模型已具备逻辑分析基础，为少样本、零样本的学习场景提供了支持，能够从海量数据中高效提取关键信息，形成深刻洞察，迅速筛选出对安全运营至关重要的数据。3）人机交互决策增强。网络空间对抗的主体终归在人。大模型技术大幅推动了语言模型的交互水平。安全团队通过基于自然语言的安全指挥平台界面交互，大幅降低成本、提升体验。对于安全运营中面向数据、工具、文档等目标复杂的分析场景来说，这是重大的技术革命。具体来说，大模型能够在日常告警分诊、攻击溯源调查、恶意软件分析、报告生成等多个方面，极大减少对高级安全分析专家的依赖，大幅提升高级威胁发现的精度与自动化水平。当然，大模型只是智能安全运营技术体系中的核心能力之一，典型安全分析能力，如统一消歧的数据图谱、完整完备的工具支撑体系、专用专精的“小模型”库以及支撑协同调度的统一执行框架等，仍然是发挥大模型安全价值的关键基础。因此，结合已有安全分析能力，形成智能辅助决策支撑核心能力，将是未来大模型驱动的“安全副驾”典型范式。在考虑生成式人工智能技术为网络安全运营提供了新的辅助决策支持和分析能力的同时，我们也看到了其在漏洞挖掘、恶意软件分析、内容检测和自动化渗透等关键安全领域的巨大潜能，以及被攻击者所利用产生的风险。 62024网络安全趋势报告漏洞挖掘是网络安全中不可或缺的一环，传统上依赖于安全研究人员的专业知识和经验。然而，生成式人工智能技术被用于自动化漏洞挖掘可以提高发现软件漏洞的效率。但也意味着攻击者可以利用这些工具快速识别并利用新的漏洞，对网络安全构成了新的挑战。恶意软件分析通常需要大量的人力资源来识别、分析。生成式人工智能使得自动化恶意软件分析成为可能，提高了防御效率。然而，恶意攻击者也在用生成式人工智能创建新型恶意软件，以便绕过现有的检测机制，使得恶意软件的识别和防御更加困难。自动化渗透测试是评估网络安全防御能力的重要工具。利用AI进行自动化渗透测试可以模拟攻击者的行为，帮助识别脆弱性。然而，恶意AI工具也能执行自动化攻击，以更低成本、更有效率地发现并利用系统弱点，对企业和组织构成更大威胁。内容检测是识别和阻止恶意内容传播的关键技术。AI技术的进步有助于提高内容检测的准确性和速度。然而，恶意AI工具的能力，比如生成逼真的假新闻或钓鱼邮件，Deepfake可生成虚假视频，对内容检测系统提出了新的挑战，这些系统需要不断进化以识别和对抗由AI生成的复杂内容。综上，面对生成式人工智能在网络安全领域的双面性，我们既要积极拥抱其带来的机遇，提