2024AI 与生成式 AI 对网络安全全的双重事件研究报告预防能力飞 VS.

AI 和 Gen AI 为网络安全带来了什么 目录 网络安全事件不断增加 ：随着网络安全事件数量的增加以及威胁（包括钓鱼攻击、精准钓鱼攻击、勒索软件、深度合成和欺诈方案）日益复杂化，组织必须加强其网络安全防御。我们的研究显示，去年有92%的组织经历了数据泄露，这一数字远高于2021年的51%。这些后果往往非常严重，大约一半的组织在过去三年中报告了超过5000万美元的直接和间接损失。显然，由于人工智能和通用人工智能（Gen AI）的发展，新的网络安全风险正在不断涌现。与此同时，这些技术的应用也为增强组织的网络安全提供了机会。这代表了安全专业人士预测、检测和应对威胁方式的一种根本性转变。 97% 过去一年 ， 许多组织报告了与 Gen AI 相关的安全事件。 执行摘要 深度假信息、恶意软件开发、规避安全控制、利用漏洞、自动化黑客攻击、生成恶意GPT（生成预训练变换器）、通过模拟真实用户行为规避安全控制。 AI 和 Gen AI 可能构成风险的三种方式 ： 2. 网络攻击表面的扩展 ：随着调查中97%的组织在过去一年报告了与生成式AI相关的安全事件，组织必须应对扩大的攻击面。“提示注入”攻击操纵生成式AI模型并损害其模型输出的完整性。 1. 更复杂的攻击和更多的对手 ：威胁行为者以各种方式利用AI，包括通用AI（Gen AI），降低了这些行为者的门槛，使其能够发动更为复杂的攻击。网络罪犯常见的Gen AI 使用方式包括钓鱼攻击和社会工程学。 外部攻击面因各种行业广泛采用AI和通用AI而变得日益复杂和多元。除了组织需要保护的传统攻击表面，如网络、终端点、数据平台和应用程序外，这些技术还带来了新的漏洞，包括对话式AI代理、具有AI集成的应用程序以及多种AI助手、顾问和新型搜索工具。 —必须得到保障，以防止用于个性化使用的敏感数据被篡改，并确保解决方案的可用性和完整性。 此外，当使用生成式AI进行代码生成时，还会带来额外的风险，包括幻觉和引入安全漏洞，这可能导致进一步的安全问题。我们的研究发现，组织意识到了这些威胁，并且大约有60%的组织认为需要因此增加网络安全预算。 执行摘要 此外，这些技术还能显著扩大内部攻击面，因为内部人员可能会误用它们——例如，将机密信息上传到外部工具如ChatGPT。另一个担忧是“影子AI”，即员工在不知情的情况下安装并使用未获批准的应用程序，从而超出IT部门的控制范围。 将 AI 和 Gen AI 集成到网络安全中及其优势 ：在积极的方面，五分之三的组织认为人工智能对于有效的威胁响应至关重要，并且大多数组织依赖人工智能来加强其数据安全、应用安全和云安全。人工智能通过提供实时响应能力来增强威胁检测和报告，显著减少了分析师的工作疲劳，并引导分析师走向最相关的调查路径，从而提高速度和准确性。此外，组织还相信通用人工智能将在长期内强化网络安全。超过一半的组织的领导层认为通用人工智能能够推动其安全策略的发展。 3. 自定义 Gen AI 解决方案的生命周期管理 ：整个Gen AI解决方案的完整生命周期——从企业数据收集和模型定制到开发和维护 • 获取必要的基础设施，包括先进的通信系统、数据管理解决方案和云计算资源。 探索 AI 和 Gen AI 应用案例 安全:人工智能为信息技术（IT）、运营技术（OT）和物联网（IoT）领域的网络安全提供了广泛的应用场景，许多组织已经从中受益。同时，许多组织也在探索生成威胁情报和漏洞评估等生成型人工智能（Gen AI）的安全应用场景。 • 建立一个 robust 的框架、政策和治理机制以确保数据安全与完整性，培养对 AI 模型的信任。重点关注符合组织需求的模型选择和训练。 执行摘要 使用 AI 和 Gen AI 增强网络防御 ：组织必须采用全面的战略来保护其运营。我们建议 ： • 投资于基于AI和通用AI（Gen AI）的解决方案，以与现有安全运营中心（SOC）系统集成，增强其有效性。逐步将AI代理整合到网络安全运营中，以协助分析师有效应对事件并缓解威胁。确保持续监控和更新AI系统以应对不断演变的威胁。 • 制定清晰的战略，将AI和生成式AI（Gen AI）整合到现有安全系统中。评估这些技术投资带来的效率提升和风险降低情况。维持一套包含具体操作指令的应急响应协议，确保能够迅速、有效地采取行动。 • 投资全面的AI网络安全培训，以确保员工了解AI及其生成式AI的能力和限制，从而确保负责任地使用。 • 不断重新评估安全态势，以便及时识别新的风险并部署适应性防御机制。 • 最后，鉴于网络安全攻击的增加，确保业务流程的安全并培养员工的风险意识应被列为首要优先事项。 谁应该阅读这份报告 ， 为什么 ？ Who? Why? 本报告概述了人工智能作为增强网络安全韧性关键方面的现状，通用人工智能（Gen AI）在此过程中既推动了这一进程，也从中受益于保护措施。本报告旨在为汽车、消费品、零售、银行、保险、电信、能源与公用事业、航空航天与国防、高科技、工业设备制造、制药和医疗保健以及公共部门等领域的C级高管和网络安全领导者提供参考。 在本研究中，我们探讨了AI和通用人工智能（Gen AI）在强化网络安全方面的作用。我们希望我们的见解能帮助C级高管和网络安全领导者识别感兴趣的用例，并提供组织可以采取的建议以加强其防御能力。 本报告基于对1,000名行业高管进行全面调查以及与部分高管进行的深入访谈所得出的结论。排除政府部门组织外，所有被调查组织的年收入均超过10亿美元，其中60%的组织年收入超过50亿美元。所有被调查组织要么已经开始使用人工智能进行网络安全防护，要么正在考虑这样做。 有关所调查组织的更多详细信息 ， 请参阅报告末尾的研究方法。 Definitions 出于本研究的目的 ， 我们使用以下定义 ： • 人工智能(AI) ：开发能够执行 traditionally 依赖人类智能完成的任务（如语音识别、决策制定和模式识别）的计算机系统。人工智能（AI）是一个涵盖多种技术的伞形术语，包括机器学习、深度学习和自然语言处理（NLP）。1 他们的历史购买记录，预测股票市场波动，进行一种语言到另一种语言的文本翻译，以及其他更多功能。2 • Generative AI (Gen AI):它是一种人工智能类型，具备学习和重新应用数据的属性和模式以应用于广泛的应用场景，从以不同风格生成文本、图像和视频到生成定制内容。它使机器能够执行此前认为仅属于人类的创造性任务。3 • 机器学习(ML) ：这是人工智能的一个子领域，使用基于数据集训练的算法来创建能够在无需人类干预的情况下预测结果和分类信息的自学习模型。目前它被广泛应用于商业目的，包括根据消费者的历史数据向他们推荐产品等。 网络安全到前面 快速数字化技术的进步带来的一个不受欢迎的副产品是安全事件和泄露的指数级增加，引起了全球组织的重大关注。安全事件被定义为任何可能破坏信息系统的信息暴露、完整性和可用性的事件，可能导致严重的运营和声誉损害。Corence Klop，首席“在 政府法规必须不断发展 ， 以跟上人工智能最近的快速发展。4与此同时 ， 微软支持的研究表明 ， 87% 的英国组织面临着人工智能驱动的网络攻击的风险。5 此外，Gen AI生成高度逼真的合成内容的能力带来了新的风险，如高级网络钓鱼方案、 misinformation 传播活动和深度合成（deepfakes）。Honeywell Connected首席技术官杰森·乌索（Jason Urso）指出。“先前成功攻击关键 “我们遭受的 [数量] 攻击遇到了一倍以上过去的四年 ” 。 荷兰合作银行的信息安全官员说 ：在过去一年中，我们面临了9000万次针对银行的攻击。这一 趋势持续上升，使得像人工智能这样的技术变得至关重要。随着攻击数量的不断增长，我们必须在防御策略上变得更加智能。此外 ， 大众汽车和奥迪首席信息安全官 Julio C. Padilha“我们遭受的 [数量] 攻击南美 ， 评论 ：在过去的四年中遇到了一倍。 ”来自跨国航空航天和国防的网络安全专家“我们目睹了两个国家的崛起公司阐述 ：组织面临的攻击数量和类型。如今，威胁行为者在复杂性、频率和可访问性方面策划攻击变得越来越容易。 企业说 ： 基础设施涉及超出普通黑客能力范围的复杂性。然而，通用 人工智能（Gen AI）使经验较少的恶意行为者能够生成恶意软件并发起复杂的钓鱼攻击，以访问系统并执行自动化渗透测试。6 Julio C. Padilha南美大众和奥迪首席信息安全官 在我们的研究中 ， 我们发现 ： • 平均而言，组织每天面临约30起安全事件。• 在调查的行业中，银行业有61%的组织每天记录了10至50起事件，位居各行业之首。航空航天和国防（60%）、保险（58%）和电信（58%）紧随其后。• 澳大利亚、加拿大、荷兰和美国报告每天发生50至100起事件的组织占比最高，分别为22%、21%、20%和19%。 生成人工智能的出现进一步复杂了这一格局。尽管这些技术具有变革性，但也使系统面临威胁行为者的风险。除了保护之外，人工智能还可以被武器化以自动化并提升网络攻击的复杂性，使其更难被检测和缓解。美国情报官员观察到 大约六分之一的组织每天看到 50 多起事件 资料来源 ： 凯捷研究所 ， AI 和 Gen AI 在网络安全调查中 ， 2024 年 5 月 ， N = 1, 000 个组织。 如图2所示，在过去三年中，经历过一次或多次泄露事件的组织的比例从2021年的51%上升到2023年的92%。组织和机构为应对COVID-19疫情而迅速数字化很可能导致网络攻击显著增加，尤其是在2022年。威胁行为者正在演变，小型且更具灵活性的团体正形成以逃避执法。此外，黑客越来越倾向于利用钓鱼攻击针对如Slack、Microsoft Teams、Microsoft OneDrive和Google Drive等业务协作工具。7更有趣的是，在我们查看了所有三年的数据后，几乎所有的受访组织（99%）在其中至少一年经历了安全漏洞。 公共部门成为网络攻击的目标数量有所增加。新加坡公共部门的数据泄露事件在2023年增加了10%，这很可能归因于数字服务的增多。11数据泄露暴露了加拿大政府雇员的敏感信息。12澳大利亚政府正在调查一起涉及健康组织的大规模勒索软件数据泄露事件，影响到个人及健康信息。13 99% 在一个重大的数据泄露事件中，一家美国电信组织披露，恶意行为者从第三方提供商的云中窃取了超过1亿消费者的通话和短信记录。8同样，在2024年3月初，一家美国银行控股公司的客户收到了有关其数据可能被盗的通知，包括他们的姓名、账户号码和卡号详情。他们被敦促在未来12至24个月内监控其账户以防范欺诈活动。9一家美国零售公司的众包配送服务遭受了网络攻击，恶意行为者在2023年12月初至2024年2月初期间访问了部分司机的敏感数据，包括社会保障号码、驾驶执照号码及其他联系信息。10 接受调查的组织在过去三年中至少有一次违规。 资料来源 ： 凯捷研究所 ， AI 和 Gen AI网络安全调查 ， 2024 年 5 月 ， N = 1000 个组织。 在过去的三年中，一半以上的组织因漏洞导致直接或间接损害（如修复漏洞所需的时间、声誉损害等）超过5000万美元。2023年，另一家汽车制造商的IT安全和数据保护政策遭到破坏，近100吉字节的客户、员工和商业合作伙伴的机密数据泄露。该漏洞可能导致该组织面临高达33亿美元的罚款。14一家美国酒店公司在2019年遭受了数据泄露事件，损失超过1亿美元，并导致超过1.42亿客人的个人信息被暴露。15一起针对跨国公司在2023年的勒索软件攻击导致了数据被盗，扰乱了运营，并使该公司遭受超过2700万美元的损失。16汽车和保险 sector 均有较高比例的组织（分别为 12% 和 10%）遭受超过 1000 万美元的财