网络安全中的 AI

公司如何在 AI 时代应对网络威胁和利用机会 AUTHORS 人工智能正迅速从一套复杂的专家工具转变为一种用户友好的技术，并对网络安全格局产生了重大影响。尽管人工智能增强了威胁检测和响应能力，但它也为网络犯罪分子提供了多种新的攻击手段。此外，当组织内的人工智能系统未得到适当的安全保障时，可能会引入新的漏洞。本文观点探讨了人工智能在网络安全中的双重性质，并帮助企业了解如何防范新兴威胁。 Maximilian Scherr IgorStepanov Daria Bryzhytska Pawel Jablonski Michael Papadopoulos Tom Teixeira 人工智能已经成为现代技术的重要组成部分 AI 正在转变网络安全 想象你是某生产公司的首席运营官，接到采购部门负责人打来的电话，要求你批准一项紧急采购以确保公司业务能够顺利进行。由于你理解其紧迫性并且与对方共事多年，因此没有对请求提出质疑。几天后，你们见面时你询问采购事宜是否一切顺利——但她对此一无所知。这时你突然意识到通话质量不佳，可能是通过第三方即时通讯应用进行的，尽管确实是她的声音和熟悉的讲话模式。你没有看到她的脸，但当时通话中没有任何可疑之处。当然，现在已经为时已晚：交易已经完成，并且不可撤销。这并非虚构的故事——今年早些时候，一家跨国公司的财务人员就遇到了这种情况。 人工智能正处于一个转折点，从需要技能训练的专门机器学习（ML）和其他技术转向基于生成式人工智能（GenAI）的多功能、用户友好的技术。人工智能已经成为了现代技术不可或缺的一部分，网络安全也不例外。事实上，人工智能可以用于防御和进攻性行动：提高组织检测和应对网络威胁的能力，同时也为网络犯罪分子提供了更高级和针对性的攻击工具。将基于人工智能的工具引入企业IT生态系统中，如果没有采用严格的安全措施进行集成，也可能成为新的漏洞来源。这会增加组织的攻击面，使其更容易受到网络威胁的影响（见图1）。 图 1. 基于 AI 的黑客从高度专业化转变机器学习到未来的 AI 技术 图 1. 基于 AI 的黑客从高度专业化的机器学习转向未来的 AI 技术 1.效率。AI技术已经通过自动化和优化使黑客更加高效。最近发布的基于AI的工具使黑客能够快速生成恶意代码，并帮助他们针对特定环境进行定制化的攻击。 黑客正在为 AI 制造武器 当前的人工智能发展赋予了黑客显著的优势，帮助他们发起更多的网络攻击，对全球的个人、企业和政府构成重大威胁。安全专业人士感受到了这一影响：CANCOM报告称，在2023年，综合和验证过的事件激增了257%（见图2）。同一时期内，事件数量增长了82%（其中警报和关键警报分别增长了64%和42%）。这表明，尽管有网络安全防御机制，平均而言，黑客的成功率更高（确认事件的增长速度明显快于底层事件的增长）。此外，根据Deep Instinct的一项调查，在过去一年中，美国75%的安全专业人士观察到攻击数量有所增加，其中85%的专业人士认为这些攻击的增长是由于恶意行为者使用了生成式人工智能（GenAI）。 2.有效性。AI驱动的攻击通过增强的社会工程技巧、AI协调的横向移动以及适应性恶意软件等方式提高了有效性。这些攻击也更为复杂；例如，社会工程攻击更加针对特定目标，并能够实时适应（这使得检测变得更加困难）。 3.转型。人工智能将通过创造全新的能力和适应水平来转变网络攻击。就像生成对抗网络（GAN）恶意软件一样，基于人工智能的恶意软件可以迅速变化以逃避自动化工具的检测。更糟糕的是，它具有较高的自主性和自我发展能力；更为先进的版本可能只需要了解黑客的目标——一旦被送入系统，它就能自行找到实现目标的方法。 Arthur D. Little (ADL) 已识别出一些人工智能（AI）整合中的常见模式，包括它如何改变公司的商业模式（见图3）。在第一波中，AI 通过自动化提高效率。随后，它通过增强技能来提高有效性。最后，AI 成为创造新商业模式的催化剂。在人工智能赋能的安全威胁的发展中，我们同样看到了相同的模式： 图 3. AI 集成模式 目前，人工智能主要被用于黑客在攻击早期阶段提高效率。如图4所示，在行业标准的洛克希德·马丁网络杀伤链中，我们看到基于人工智能的工具正在被用于侦察阶段，并在一定程度上用于武器化阶段。我们预计未来将出现更多样化和更智能的工具；DeepLocker已经推出了可以在投递阶段使用的工具。 “预测 2024 ” 报告预测 ， 2024 年人工智能将显著增强网络钓鱼。 新的、广泛可用的深度假造技术正在涌现，这些技术可以根据少量音频样本生成高度逼真的个人语音复制品，使冒充变得极其便捷。深度假造技术，尤其是语音模拟，可以基于受害者的特征档案创建高度个性化和针对性的攻击，优化时间和频率。人工智能可以从受害者的反馈和回应中适应并学习，并相应地调整其策略。这可以提高网络攻击的成功率和影响，同时减少努力和成本。实际应用已经出现，包括一段伪造的印度国家证券交易所首席执行官的视频，在这段视频中，他似乎提供了财务投资建议。 最常见的AI驱动攻击类型是社交工程，占所有网络攻击的83%。随着AI技术的应用，危险程度有所增加：Darktrace的研究报告显示，从2023年1月到2月，活跃的电子邮件防护客户中“新型社交工程攻击”的数量增加了135%（ChatGPT于2022年11月30日发布）。这一威胁预计还会进一步增加：Google的“云网络安全” 网络犯罪分子可用的工具范围正在扩大 新的 AI 生态系统增加了组织的攻击表面 除了直接AI武器化带来的威胁外，AI在企业IT系统（最终扩展至运营技术）中的深度融合也构成了重大风险。随着公司加速构建AI生态系统，它们无意中为黑客创造了新的机会。 大量AI代码生成工具近期涌现，包括WormGPT、FraudGPT、Wolf-GPT和Predator等。尽管我们尚未完全了解这些工具的有效性和影响力，以及特定工具的发展轨迹（WormGPT在发布两个月后因声称的负面宣传而关闭，许多类似产品也被怀疑是假的），但可供网络犯罪分子使用的工具种类确实正在扩大。“随着AI模型的采用和普及继续增加，我们预计这些趋势将变得更加明显，”2023年一份FBI声明中的一名官员警告道。 Gartner 预测，到 2026 年，超过 80% 的企业将已经使用生成式人工智能（GenAI）的应用程序编程接口（APIs）或模型，并在生产环境中部署了基于 GenAI 的应用程序。这引起了大多数组织的关注，因为这会在其 IT 场景中创造新的安全漏洞。然而，公司可以控制其 AI 集成方法，这意味着采取适当的和前瞻性的安全措施以保护其 IT 环境是在其掌控之中的。 同时，组织机构在招聘和留住网络安全专家方面面临困难。Gartner 预测，到 2025 年，人才短缺或人为错误将导致超过一半的重大网络事件。随着人工智能的实施以及黑客与防御者之间的差距加速扩大，关闭网络安全缺口将变得更加困难。许多公司已经在努力应对这一挑战。由于网络攻击造成的总支出预计会增加（根据 Cybersecurity Ventures 的数据，到 2025 年将达到 10.5 万亿美元，而 2015 年为 3 万亿美元），但根据 IANS 和 Artico 的一项研究，2023 年网络安全预算仅平均增长了 6%，而在 2022 年则增长了 17%。 当前代AI模型的攻击可能导致AI模型被盗、数据操纵或数据污染。供应商的竞相推出产品以及所采用的部署模式（例如，哪些集成被设置）可能会加剧这种环境。重要的是，生态系统中非AI部分（例如，数据库和应用程序）往往可以被访问，从而增加潜在损害。例如，在一个测试环境中，研究人员展示了通过注入提示的方式对AI生态系统中的数据库进行黑客攻击是有效的（AI模型本身并未被破坏）。这表明，AI集成的方法与模型本身的安全性一样重要（参见图5）。 为了确保安全，公司必须根据稳健的架构原则开发AI系统。AI输出应经过验证，其行为应受到控制，对其访问敏感数据的权限也应受到限制。AI创造了新的安全挑战（例如数据泄露），但基本的安全实践仍然至关重要，包括数据保护、系统可见性和软件更新。 针对基于 AI 的黑客的第一道防线是常规的网络安全措施 在与众多企业领导人交谈中，我们发现尽管大多数企业认为其公司遵循了所有网络安全最佳实践，但深入考察其安全团队通常会揭示实际情况并非如此。图6列出了四个基本的安全问题示例。除非您能对每个问题提供详细的答案，否则您应该强烈考虑重新评估您的网络安全策略。有关网络安全策略基石以及全面评估公司表现的第一步的更深入分析，请参阅ADL观点（ADL Viewpoint）。被关注是不够的 ，“它具有一个全面的、经过验证的网络安全测量框架。 一个坚实的网络安全计划比以往任何时候都更加重要，以应对新兴威胁并确保新技术实施的基础。传统网络安全措施是防范基于AI的黑客攻击的第一道防线。防御性AI能力和工具可以帮助对抗黑客不断提升的效率和有效性（以及不可避免的AI集成“转型”浪潮），但最基本的安全卫生措施应优先考虑。只有从坚实的安全基础上，才能成功应对新的安全挑战。 图 6. 你能回答这些基本的网络安全吗提问? 图 6. 你能回答这些基本的网络安全问题吗 ？ CEO们必须确保网络安全在整个公司范围内得到高度重视，从高层执行官到兼职实习生。许多企业领导者错误地认为只有专职专家才能解决网络安全问题，同样的谬见也存在于人工智能领域。事实上，这是一项涉及整个C级管理层和董事会的战略议题。网络安全并不是直接推动业务增长的因素，但根据Sapio Research的调查，19%的企业决策者承认，缺乏网络安全资质影响了他们赢得新业务的能力。高管们必须将网络安全作为战略优先事项，并在其中突出人工智能挑战。令人惊讶的是，在这一话题中，IT领导层对人工智能安全的参与度有限：根据Gartner的调查，尽管93%的受访IT和安全领导者表示他们至少在一定程度上参与了其组织的生成式人工智能（GenAI）安全与风险管理努力，但只有24%的人表示他们承担了这项责任。 开发基于 AI 的防御 基于人工智能的攻击数量和质量的增加要求采用基于人工智能的解决方案。人工智能不能替代人类，但人类也不能替代人工智能。这些解决方案必须包括将基于人工智能的工具安全集成到企业IT环境中的方法。 越来越多的企业和政府视人工智能为重要的网络安全增强手段，并开始采取相应措施。根据Gartner的数据，86%的决策者认为，在网络安全工具中采用人工智能技术可以降低零日攻击的成功率（新型安全事件）。IBM对超过10个国家和地区、员工人数超过1000人的公司的调查发现，IT专业人士认为，在工具集中增加更多的人工智能和自动化技术是提高威胁响应时间的最佳方式。政府也期望从人工智能中获益——美国政府最近宣布了一项挑战赛，设有2000万美元奖金池，参赛者必须使用人工智能进行网络安全竞赛。 员工最终对自己的安全负责，尤其是在社交工程攻击频发的情况下。培训员工保持警惕并了解基本的安全知识是保护公司免受威胁的关键部分。 -欺诈检测。人工智能系统可以检测表明欺诈活动的模式，例如不寻常的交易量或异常的信用卡使用情况，并提醒安全人员。 不同于恶意黑客攻击，当前发布的工具主要集中在侦察/武器化方面，而正在开发的防御工具则更广泛地覆盖了网络安全领域的多个方面，如攻击预防、渗透检测和威胁处理。例如，人工智能工具可以通过识别漏洞、管理访问和检测钓鱼攻击来帮助预防攻击。当发生漏洞时，人工智能可以迅速检测到攻击，自动化响应行动，并简化安全团队的事件处理流程。 -安全事件模拟。AI可以通过模拟攻击和预测潜在漏洞来评估组织的安全状况，从而实现主动的安全增强。ADL已在网络安全评估中成功应用了这一方法，将基于AI的情报收集和武器化（渗透测试）阶段纳入其中。所使用的工具能够精准定位潜在的系统漏洞，所有高置信度/高警告和中置信度/高警