AI组织责任：核心安全责任

信息技术 2024-12-10 CSA GCR 「若久」

本报告由云安全联盟（CSA）发布，重点关注企业在开发和部署人工智能（AI）和机器学习（ML）系统时在信息和网络安全方面的核心责任。报告分为三个主要部分：数据安全与隐私、模型安全、以及漏洞管理。

核心观点：确保用于训练、测试和部署AI模型的数据的真实性、准确性和可靠性，同时保护个人数据隐私。
关键措施：
- 数据真实性和许可管理：验证数据未被篡改，确保数据来源的合法性，并遵守GDPR等法规关于数据使用同意的规定。
- 匿名化和假名化：通过匿名化或假名化技术保护个人数据隐私，降低重新识别风险。
- 数据最小化：只使用实现特定目的所需的必要数据，减少隐私风险并提高模型效率。
- 数据访问控制：限制对数据的访问，确保只有授权人员才能访问、修改或使用数据。
- 安全存储和传输：对静态和传输中的数据进行加密，防止未经授权的访问和泄露。
评估标准：定期测量经过真实性审核的数据百分比，监控数据许可和GDPR合规情况，评估数据访问控制的有效性，确保数据加密符合标准。

核心观点：保护AI模型及其相关数据免受各种安全威胁和漏洞。
关键措施：
- 模型访问控制：实施身份验证和授权框架、速率限制和模型生命周期管理中的访问控制，确保只有授权人员和系统才能访问模型。
- 安全的模型运行环境：利用基于硬件的安全功能（如TEE、HSM）、网络安全控制（如防火墙、IDPS）、操作系统级加固和安全配置、K8s与容器安全、以及云环境安全措施，构建安全的模型运行环境。
- 漏洞和补丁管理：建立AI/ML资产清单，进行持续漏洞扫描，基于风险进行优先级排序，跟踪修复进度，处理异常情况，并建立报告指标。
- MLOps流水线安全：进行源代码漏洞扫描，测试模型对攻击的鲁棒性，验证每个阶段的流水线完整性，并监控自动化脚本。
- AI模型治理：进行模型风险评估，建立业务审批程序，监控模型性能，并制定新模型验证流程。
- 安全模型部署：实施部署授权程序，采用灰度发布和蓝绿部署策略，建立回滚功能，并安全地退役过时模型。
评估标准：评估模型访问控制、漏洞管理、MLOps流水线安全、AI模型治理和安全模型部署的有效性，并根据可量化的指标进行评估。

核心观点：建立有效的漏洞管理流程，主动识别和解决AI/ML系统中的漏洞。
关键措施：
- AI/ML资产清单：系统地记录和更新AI/ML环境中的所有资产。
- 持续漏洞扫描：对所有AI/ML资产进行持续的检查，以识别安全漏洞。
- 基于风险的优先级排序：根据漏洞对AI/ML资产的潜在影响和被利用的可能性，对其进行评估和排序。
- 修复跟踪：对流程的持续监控和管理，以解决并修复已识别的漏洞。
- 异常处理：有效管理与既定安全协议和程序发生偏差或异常的情况。
- 报告指标：建立报告指标，用于评估和量化AI漏洞管理工作有效性的具体衡量标准和关键绩效指标（KPI）。
评估标准：评估AI/ML资产清单、持续漏洞扫描、基于风险的优先级排序、修复跟踪、异常处理和报告指标的有效性，并根据可量化的指标进行评估。