2024网络安全领域可解释人工智能综合调查白皮书

对网络安全领域可解释人工智能的全面调查 由N Eswari Devi女士、N Subramanian博士、N Sarat Chandra Babu博士编制 电子交易与安全学会（SETS） 在印度政府首席科学顾问办公室之下 MGR知识城，CIT校园，特拉马尼，钦奈 – 600 113 1. 引言 人工智能已成为实现全球各行业可持续性目标的关键技术。其应用在日常场景中显而易见，如医疗保健、农业、教育、金融服务、面部识别、欺诈检测、零售购买预测、导航、在线客户支持以及许多其他领域。 由于人工智能的广泛影响，众多国际和国家级别的倡议已被启动，旨在应对其发展和监管。然而，人工智能是一把双刃剑，在网络安全领域既是变革者，也是潜在风险。 人工智能在网络安全中提升了对威胁的识别和响应，无需人工干预。然而，人工智能在各领域关键应用中的广泛应用使得AI模型容易受到攻击。因此，保护AI系统和确保数据安全和用户隐私是至关重要的。 1.1 背景 i Motivaie 认识到人工智能在网络安全中的重要性以及确保人工智能系统的必要性，印度政府首席科学顾问办公室（PSA）通过SETS发布了题为“CybSec4AI”的课题组报告。该报告强调了人工智能和网络安全交叉学科中必要的研发倡议，以及专业技能的培养。目标是实现开发基于人工智能/机器学习（AI/ML）的工具和系统在网络安全方面的自给自足，同时创建安全的人工智能/机器学习系统和解决方案。 该工作组审议了在人工智能和网络安全等跨学科领域启动研发方案的需要，这些方案将导致系统发展、解决方案和产品的产生。同时，还提出了为数据创建、模拟和测试设施所需的研发基础设施。 人力资源需求已确定，以应对该新兴领域中工程师和科学家不断增长的需求，并提出了加速技能建设的方案。 根据麦肯锡全球人工智能（AI）2021调查，由于人工智能对盈利能力和成本节约的日益显著影响，越来越多的组织正在采用人工智能能力[1]。 可解释人工智能（XAI）1帮助人类用户理解、解释和信任由AI模型做出的预测。通过提供AI模型决策的依据，XAI确保决策过程的透明性。这种提高的透明度使用户对结果更加有信心，并促进信任的形成。 理解模型的决定也解决了公平性问题，并在调试模型方面提供帮助。 该研究于2004年开始，重大突破始于2014年左右，当时DARPA宣布了其XAI项目。根据DARPA [3]，XAI的目标是“在保持高水平的学习性能（预测准确性）的同时，生成更多可解释的模型；并使人类用户能够理解、适当信任并有效管理新兴的人工智能伙伴”。 1.2 目的和范围 这是一篇方法论文。专注于在国内外层面进行的“可解释人工智能（XAI）”在网络安全领域的相关研究成果。 1.3 论文结构 该研究方法论文的结构如下：XAI基础部分提供了可解释人工智能的概念、技术和在人工智能模型中可解释性的重要性概述。XAI在网络安全部分探讨了XAI在网络安全任务中的应用和好处。相关研究回顾部分总结了该领域现有的研究，突出与网络安全中的XAI相关的方法和发现，同时纳入了国家与国际的努力。随后，XAI在网络安全中的挑战部分讨论了在网络安全系统中实施XAI的局限性以及潜在的对立威胁。最后，该研究方法论文以关于未来方向的见解作结，提出了XAI在网络安全方面的研究方向和问题。 2. 网络安全中的可解释人工智能（XAI）2.1 人工智能在网络安全中的 作用 人工智能通过提升威胁检测、预防和响应能力，显著增强了网络安全。根据2024年2月发布的NASSCOM报告，印度的人工智能市场正以25-35%的复合年增长率增长，预计到2027年将达到约170亿美元。[4] 人工智能系统通过分析大量数据以识别异常、检测恶意软件和预测潜在的网络安全威胁。它们自动化威胁情报收集和事件响应，使快速有效的应对措施成为可能。人工智能还优化了扫描和修补流程，增强了漏洞管理，并强化了用户行为分析，以检测内部威胁和欺诈。 此外，将人工智能集成到网络安全框架中不仅加强了防御机制，还增强了预见和应对复杂网络攻击的能力，确保了更加坚固和有弹性的数字环境。 SETS | XAI在网络安全领域 2.2 XAI在网络安全中的必要性 可解释人工智能已成为安全领域的关键，因为它增强了透明度、信任和问责制。XAI在网络安全中的关键性之一在于其促进AI系统决策过程的透明度和信任。它帮助网络安全专业人员理解为什么一个AI模型将某个活动标记为恶意或良性。通过使AI系统的运作透明化，XAI允许持续优化和改进。 XAI提供对模型决策过程的洞察，使得能够识别和纠正偏差。这确保了网络安全措施是公平和无偏见的，维护了安全协议的完整性。 统计数据表明，与2021年同期相比，2022年第三季度全球攻击增加了28%[5]。从三个网络安全利益相关者的角度出发，可解释方法的使用包括：1）设计者，2）模型用户，3）对手。他们的工作彻底审视了各种传统和安全特定的解释方法，并探索了有趣的研究方向[6]。 Gautam Srivastava [7] 专注于XAI在特定技术领域的应用，如智能医疗、智能银行、智能农业、智能城市、智能治理、智能交通、工业4.0以及5G及以后的技术。 一项关于XAI在网络安全领域的简短调查列出了几个支持可解释性实施的XAI工具包和库[8,9]。通过对244篇文献的详尽综述，突出了使用深度学习技术（如入侵检测系统、恶意软件检测、钓鱼和垃圾邮件检测、僵尸网络检测、欺诈检测、零日漏洞、数字取证和加密挖矿）在网络安全领域的各种应用。他们的调查还考察了这些方法中可解释性的当前使用情况，确定了有前途的工作和挑战，并提供了未来的研究方向。它强调了需要更多的形式化，强调了人机交互评估的重要性，以及对抗性攻击对XAI的影响[10]。 X_SPAM方法结合了机器学习技术随机森林和深度学习技术LSTM来检测垃圾邮件，利用可解释人工智能技术LIME通过解释分类决策来增强可信度[11]。 关于将XAI应用在网络安全领域划分为三组的研究，例如：针对网络攻击的防御性应用、各行业在网络安全方面的潜力、针对XAI应用的网络安全对抗威胁以及防御方法。他们还强调了在网络安全领域实施XAI面临的挑战，并强调了标准化可解释性评估指标的重要性 [12]。 在聚焦于网络安全中的可解释人工智能（XAI）应用，特别是在公平性、完整性、隐私和健壮性方面时，很明显，现实场景通常是 SETS | XAI在网络安全领域 被忽视。此外，当前用于防御XAI方法的对策是有限的[13]。 XAI在网络安全威胁情报（CTI）中的应用跨越了三个主要主题：钓鱼分析、攻击向量分析和网络安全防御开发[14]。另一项研究[15]讨论了现有方法在安全日志分析等应用中的优势和担忧，并提出了一个设计可解释和隐私保护的系统监控工具的流程。 XAI在网络安全应用中变得越来越重要，因为缺乏可解释性会损害对AI预测的信任。除了可解释性之外，用于网络安全的AI模型还必须保证准确性和性能。 训练数据集在任何机器学习应用中都起着至关重要的作用。可解释AI（XAI）有助于检测高度不平衡的数据集和纠正偏差，从而提高系统的鲁棒性。可解释安全（XSec）[16]的概念解决了XAI系统的安全问题，提供了一个关于如何确保这些系统安全的全面回顾。 侧信道分析（SCA）通过分析物理发射如功耗、电磁泄露或定时信息，从加密设备中提取机密信息。AI算法在增强SCA轮廓方面发挥着重要作用。AI算法用于识别大型数据集中的模式，并用于识别侧信道发射与机密信息之间的微妙相关性[17,18]。 在人工智能辅助的侧信道攻击（SCA）中，特征/兴趣点（PoI）对秘密信息的检索起到了贡献作用。对那些对决策贡献最大的特征/兴趣点（PoI）的可解释性进行了解释[19]。这有助于通过识别潜在的脆弱泄露点和实施适当的对策来验证设计对侧信道攻击的抵抗性。 一种称为真理表深度卷积神经网络（TT-DCNN）的可解释神经网络，其内部结构具有可解释性，被用于执行SCA。通过将神经网络（NN）转换为SAT方程，实现了互操作性，以了解NN模型学到了什么[20]。 掩码和隐藏是用于在实现层面保护秘密信息的对策。但是，AI算法在击败这些对策方面是有效的。在SCA（侧信道攻击）中，ExDL-SCA（基于深度学习的SCA的可解释性）方法被用来理解这些对策对AI辅助SCA的影响[21]。这有助于开发者评估实施对策的安全性。此外，XAI（可解释人工智能）在硬件木马检测[81]中也发挥着重要作用。图1描述了XAI在网络安全各个领域的应用。 3. 相关工作综述3.1 国际努力 2017年，美国国防部高级研究计划局（DARPA）信息创新办公室（I2O）主任约翰·兰斯伯里讨论了“人工智能的三个浪潮”，以消除对这项技术的神秘感。第一波是“手工知识”，涉及将特定领域的知识编码成计算机遵循的规则。第二波是“统计学习”，使用在特定数据上训练的统计模型。第三波是“情境适应”，特点是能够理解和解释其决策背后的推理的系统[22]。 DARPA的XAI项目专注于两大挑战：（1）解决机器学习问题，以对异构、多媒体数据中的感兴趣事件进行分类；（2）开发机器学习方法，为自主系统构建决策政策，以执行各种模拟任务[23]。 2020年，IBM推出了“政策实验室”，这是一个旨在开发AI政策和建议的平台，为政策制定者提供了一个愿景和实用指导，以利用创新的优势，同时确保在快速变化的技术环境中保持信任[24]。 2022年，IBM商业价值研究院发布了一项关于人工智能伦理的实际应用研究。该研究指出，构建可信的人工智能被视为一种战略差异化，并且组织开始实施人工智能伦理机制。研究建议解决如隐私、稳健性、公平性、可解释性、透明度以及其他相关原则，以建立道德人工智能实施的治理方法[25]。 2020年，谷歌发布了一份名为《AI Explainability》的白皮书，这是一份与谷歌云人工智能解释产品相伴的技术参考。该白皮书旨在利用人工智能解释来简化模型开发，并向关键利益相关者解释模型的行为。 “全球人工智能行动计划”项目，作为世界经济论坛“塑造技术治理未来：人工智能与机器学习平台”的一部分，旨在通过加快全球范围内可信、透明和包容性人工智能系统的采用，激发人工智能的变革潜力。 到2026年，Gartner预计组织将通过实施AI的透明度、信任和安全，在采用、业务目标和用户接受度方面实现其AI模型50%的改进[26]。Gartner指出，技术服务提供商越来越在其模型中使用可解释的AI，尤其是在医疗保健和金融服务等安全和监管行业[26,27]。 人工智能的隐私、安全和/或风险管理始于人工智能可解释性，这是必需的基线。 —— Avivah Litan，Gartner副总裁兼杰出分析师 2019年，英国皇家学会发布了《可解释人工智能：基础政策简报》，总结了在实施可解释人工智能系统时，开发者和政策制定者面临的挑战和考虑因素。它强调，人工智能模型的解释取决于其应用，并提供了关于如何在不影响系统性能（包括准确性、可解释性和隐私性）的情况下实施XAI的观点。[28] 在2022年9月，美国国家标准与技术研究院（NIST）发布了一份关于人工智能风险管理框架（AI RMF）的草案，旨在发展和实施可信的人工智能，其中可解释性是识别和管理人工智能系统风险的综合方法中需要考虑的特性之一[29]。 2022年5月，IBM通过“IBM全球AI采纳指数2022”[30]提供了关于全球整体AI采纳情况的见解，包括阻碍AI发挥其潜力的障碍和挑战，以及AI最有可能繁荣的应用场景、行业和国家。 图2中的统计数据显示，大多数组织尚未采取必要步骤以实现可信的人工智能。具体来说，61%接受调查的组织尚未作出显著的努力。 SETS | XAI在网络安全领域 努力解释基于AI的决策。安全专业人士是组织中第四大AI用户群体，占比26%。此外，29%的组织使用AI进行安全和威胁检测。 此外，8