AI智能总结
采用人工智能(AI)技术的进步和潜在用例既带来了新的机遇,也带来了新的网络安全风险。虽然现代人工智能系统主要是软件,但它们引入了与传统软件不同的安全挑战和风险。人工智能系统的安全性与其运行和操作的基础IT基础设施的安全性密切相关。 美国国家标准与技术研究院提供了一系列关于设计和实施安全、可信赖人工智能的指南,包括人工智能风险管理框架 (RMF),管理高级人工智能的滥用风险指南(草稿),以及人工智能攻击的分类和缓解措施.在此期间收到的反馈 网络安全与人工智能简介工作坊2025年4月以及与人工智能和网络安全利益相关者的持续互动表明,各方强烈要求NIST提供更多以实施为重点的指导方针,这些指导方针应基于现有的资源和框架,以提高人工智能系统的网络安全。 为了补充正在进行的创建工作的努力人工智能安全框架配置文件1并支持采用人工智能风险管理框架(AI RMF),美国国家标准与技术研究院(NIST)提议开发一系列Securing AI Systems Control Overlays (COSAIS)使用美国国家标准与技术研究院特别出版物(sp)800-53控制. 为什么使用 SP 800-53 安全控制措施和叠加层? 控件2需要对人工智能系统和组件进行风险管理的要求,将与任何类型软件所需的要求相似。许多组织已经熟悉 [SP 800-53] 控制措施,并建立了机构流程来规划评估其实施情况。这些控制措施既提供了满足独特需求的灵活性,又提供了一种特定程度,允许一致的技术实施。 控制覆盖层使组织和利益相关社群能够针对特定技术、系统、任务空间和运行环境定制控制项(或控制基线)。控制项可从 [SP 800-53] 控制目录中进行选择,可进行修改以应对独特风险或应用场景,并可进行补充以提供针对实施者的应用特定指导。分配和选择操作的参数值也可以设置。 使用 sp 800-53 控制措施为识别网络安全结果提供了共同的技术基础,而开发叠加层可以实现在人工智能系统中对最关键的控 制措施进行定制和优先考虑。 用于保障人工智能系统的控制叠加层将是一系列以实施为重点的指南,涵盖不同类型的人工智能系统、特定的组件(例如,训练和测试数据、模型权重、配置设置)以及不同的用例。这些叠加层将专注于保护每个用例的信息机密性、完整性和可用性。4 除了 sp 800-53 控制措施外,nist 还有三项基础的人工智能和网络安全出版物: •SP 800-218A生成式人工智能和双用途基础模型的软件开发实践:一个SSDF社区概况,作为识别特定信息资产和安全实践,并将其转化为人工智能开发人员控制措施的起点。NIST 可信和负责任的AI(AI)100-2e2025对抗机器学习:攻击和缓解方法的分类和术语, 提供了一套人工智能用例、攻击和缓解措施。• 起草NIST AI 800-1,管理双用途基础模型的滥用风险提供组织和特定模型相关的实践,以管理 AI 系统被犯罪利用的风险。 如图1所示,用于保障人工智能系统的控制措施将利用AI 100-2e2025、草案AI 800-1、SP 800-218A和SP 800-53。AI 100-2e2025中的攻击和缓解措施将指导针对为使用人工智能的组织设计的四种用例选择和定制SP 800-53控制措施。SP 800-218A和草案AI 800-1将指导针对为人工智能开发者设计的用例选择和定制SP 800-53控制措施。 用于安全控制叠加的 AI 应用案例建议 预期输出是一个组织可单独使用或组合使用的覆盖层库,用于更好地管理人工智能使用和开发中的网络安全风险。这些覆盖层将设计为结合组织的网络安全风险管理计划和现有控制措施,解决不同类型人工智能使用所面临的特定风险。这些覆盖层不会是一个保障企业的完整控制措施集合,并将假定某些控制措施已到位(例如,全组织的政策、程序以及数据集和服务、账户管理、身份识别和认证、配置管理、事件响应的访问控制实施)。 NIST 为使用人工智能的开发者和组织提出了一个初步的五个用例集合。每个用例代表一个常见的基本场景类别,并针对特定的网络安全风险。每个用例将根据需要解决模型、模型工件、部署基础设施内相关信息资产的保护,以及输出安全的问题。 NIST叠加层保护人工智能Slack频道 安全控制叠加层对于人工智能系统项目将利用一个新启动的 NIST 用于保障人工智能叠加层 Slack 渠道 (#nist-overlays-securing-ai),这是一个网络安全和人工智能社区讨论这些叠加层发展的中心。 加入NIST人工智能叠加频道要获取更新,请与NIST首席研究员和其他小组成员参与促进性讨论,分享想法,提供实时反馈,并为叠加开发做出贡献。所有感兴趣方都欢迎。 下一步与 NIST 合作 nist希望您对提议的高级用例和潜在的未来工作进行反馈。具体而言,nist寻求对以下方面的反馈: - 用例如何捕捉用户社区中具有代表性的AI应用类型,有哪些潜在差距领域需要解决? - 架构和示例用例在多大程度上反映了现实世界的应用模式,可能在哪些地方存在差距或问题? - NIST应该如何优先考虑用例的叠加开发? - 是否有额外的领域或用例需要考虑用于未来的工作? 关于上述问题的反馈以及对概念性文件的意见应发送至overlays-securing- ai@list.nist.gov,也可以在Slack频道中分享。了解更多关于AI项目的控制覆盖层、Slack空间以及如何参与的信息。https://csrc.nist.gov/preview/projects/cosais.