人工智能应用安全指引总则（征求意见稿v1.0-202601）
本文档为全国网络安全标准化技术委员会（网安标委）发布的《网络安全标准实践指南》系列文件之一，旨在指导各行业领域开展人工智能应用的安全风险防范与管理，提升人工智能应用安全水平。
范围与目的
- 规定了人工智能应用安全总则，包括基本原则及各阶段通用安全指引。
- 适用于各行业领域组织开展人工智能应用的安全风险防范与管理。
- 可为监管部门和第三方测试评估机构提供参考。
基本原则
- 造福人类，促进发展：明确人工智能应用的社会价值，避免盲目应用。
- 识别风险，分级保护：面向全过程进行安全风险识别，进行分级保护。
- 提高能力，覆盖全程：提高人工智能安全能力成熟度，提升整体安全水平。
- 加强测评，客观验证：加强安全测评，验证安全状态及防护措施有效性。
- 面向变化，动态调整：建立动态调整机制，更新安全防护措施。
- 以人为本，可管可控：确保人工智能最终控制权归属于人类。
人工智能应用通用安全指引
前期规划阶段
- 分析人工智能应用对伦理安全、经济效益和社会环境的影响。
- 开展安全风险识别与分类，确定安全分级。
- 评估相关方人工智能安全能力成熟度，提升至符合应用分级要求。
- 制定安全措施、监测预警及应急响应方案。
- 规划一键接管、版本回退、紧急关停等安全措施。
- 明确安全第一责任人，建立安全责任机制。
设计开发阶段
- 提升人工智能技术可解释性、公平性、鲁棒性等内生安全能力设计。
- 遵循开源协议规范，进行安全审计，关注开源框架安全。
- 提高训练数据来源的安全水平。
- 规范训练数据标注流程，提升标注准确性和可靠性。
- 建备数据安全管理机制，清洗过滤数据，防止数据投毒。
- 使用安全透明的训练推理计算框架，提升训练环境安全性。
验证确认阶段
- 根据确定的可靠性、公平性等指标开展验证确认。
- 采用人工验证、自动化评估验证、交叉验证等方式开展安全测试。
- 测试生成内容的合规性、准确性，以及物理装置的安全性等。
- 测试结果未达标时，进行模型调优或重新设计开发。
部署阶段
- 采用安全防护技术手段，防范输出内容超出业务范围。
- 对软硬件设备等进行安全检测，建立漏洞追溯机制。
- 根据部署环境采取针对性安全保护措施，如数据加密、计算隔离等。
- 基于可控、持续等方面考虑进行算力配置及资源选择。
运行和监控阶段
- 对用户输入信息进行安全检测，确保生成内容合格。
- 在具备舆论传播属性的服务场景设置监看人员，确保内容安全。
- 做好生成合成内容标识工作。
- 持续监测输入内容，防范恶意输入攻击。
- 制定应急预案，具备紧急关停或切换备用产品或服务能力。
- 针对重大人身安全事故建立无条件救济保障措施。
- 制定信息内容交互行为规范等，防范虚假有害信息风险。
持续验证评估阶段
退役下线阶段
- 进行安全评估，形成安全退役下线工作方案。
- 保障产品或服务安全平稳停止，完成迁移工作。
- 安全处置人工智能算法、模型等相关数据，确保无法恢复或加载。
其他相关安全要求
- 系统安全：按照等级保护要求开展系统安全建设及测评工作。
- 个人信息安全：按照个人信息保护要求取得用户同意、开展个人信息安全影响评估等。
- 数据安全：按照数据安全保护要求开展数据分类分级、数据安全风险评估等。
- 密码应用安全：按照密码应用要求开展密码应用设计、密码应用测评等。
- 关键信息基础设施安全：按照关键基础设施要求开展关基安全风险评估等。
