人工智能 安全治理 系统风险管理能力要求（报批稿）

YD/T XXXX-xXXX 人工智能安全治理系统风险管理能力要求 Artificial Intelligence-Safety and governanceCapability requirements for systemrisk management (报批稿） 中华人民共和国工业和信息化部发布 目次 前言....II1范围.2规范性引用文件...3术语和定义...4人工智能系统风险管理能力体系要求，..25组织建设能力.5.1组织管理。..35.2支撑保障....3.3沟通协调....46流程管理能力..6.1风险识别...2风险评估.6.3风险应对...6.4风险动态跟踪与持续改进7风险防护能力..7.1可靠性要求...87.2可控性要求..87.3安全性要求....87.4公平性要求...97.5透明性要求...97.6可解释性要求.....97.7隐私保护性要求.7.8可问责性要求..9附录A（资料性）风险识别清单附录B（资料性）风险发生可能性判定方法附录C（资料性）风险评估报告附录 D (资料性)风险应对报告.17参考文献....19 YD/TXXXX-XXXX 前言 本文件按照GB/T1.1一2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由中国通信标准化协会提出并归口。 本文件起草单位：中国信息通信研究院、中国移动通信集团有限公司、上海商汤智能科技有限公司、中国人民公安大学、北京前瞻人工智能安全与治理研究院、科大讯飞股份有限公司、北京百度网讯科技有限公司、北京三快在线科技有限公司、北京火山引擎科技有限公司、北京快手科技有限公司、煤炭科学研究总院有限公司、北京低碳清洁能源研究院、国网北京市电力公司、华为技术有限公司、蚂蚁科技集团股份有限公司、阿里云计算有限公司、浪潮通用软件有限公司、浙江大华技术股份有限公司、上海诺基亚贝尔股份有限公司、马上消费金融股份有限公司 本文件主要起草人：呼娜英、魏凯、石霖、毕马宁、杨凡、郭苏敏、徐鹏、曹汐、吴庚、苏宇、曾毅、乔玉平、杨彤晖、赵震、马艳军、包沉浮、徐艺激、朱玲凤、郭建领、杨天驰、落红卫、蔡云飞、邵帅、骆意、程健、郝佳恺、李宇婷、柳嘉琪、林冠辰、杭月兰、彭骏涛、鲁恩萌、孙凯蒂、石文堃、杨培培、程前、刘榕、路宽、孔维生、顾方方、谢金凤 人工智能安全治理！系统风险管理能力要求 1范围 本文件规范了人工智能系统的组织建设能力、流程管理能力以及风险防护能力的具体要求。本文件适用于研发与应用人工智能系统的相关主体开展风险管理的指导工作。 2规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。.cn GB/T23694-2024风险管理术语 GB/T41867-2022信息技术人工智能‧术语 术语和定义3 下列术语及定义适用于本文件： 3. 1 人工智能 artificial intelligence人工智能系统的机制和应用的研究与开发。[来源：GB/T41867-2022，3.1.2].m 3. 2 为实现特定的人类定义的目标，用于生成内容、预测、建议或决策的工程系统。 [来源：IS0/IEC22989:2022，3.1.3] 3. 3 风险 risk 不确定性对目标的影响。注1：影响是对预期的偏离。它可以是积极的，也可以是消极的，或者两者兼而有之，可以处理、创造或导致机会和威胁。注2：目标可以有不同的方面和类别，可以应用于不同的层次。注3：风险通常用风险源、潜在事件、潜在事件的后果及其影响因素来表示。 [来源：GB/T 23694-2024，2.1] YD/T XXXX-XXXX 3. 4 风险管理 risk management 在风险方面指导和控制组织的协调活动。 [来源：GB/T23694-2024，3.1] 3. 5 隐患 hazard 经风险评估判定为组织不可接受的风险，通常表现为以不可忽略的显著概率发生且可以预防的潜在事件。 注：组织对风险评估后进一步收敛和限定其不可接受的风险，从而能够为其主动应对风险提供明确的、可执行的依据。 人工智能系统风险管理能力体系要求 人工智能系统风险管理能力体系如图1所示，由组织建设能力、流程管理能力、风险防护能力三部分构成。人工智能系统风险管理能力框架结构应符合下列要求： a）组织建设能力要求：组织应针对人工智能系统构建组织建设能力，包括组织管理、支撑保障和沟通协调机制，确保人工智能系统具备风险管理的制度化基础，以实现对人工智能系统实施稳定的风险治理能力； b）流程管理能力要求：组织应针对人工智能系统具备流程管理管控能力，针对人工智能系统可能产生的风险，具备风险识别、风险评估风险应对以及风险动态监测和持续改进的能力，能够对风险以及隐惠防控并确保及时发现和响应风险。 c）风险防护能力：人工智能系统应具备风险防护能力，根据目标方针或已识别到的风险，能够相应地从可靠性、可控性、安全性、公平性、透明性、可解释性、隐私保护性、可问责性等方面具备控制风险的能力。 YD/T XXXX-XXXX 5组织建设能力 5.1组织管理 5.1.1目标方针 人工智能系统的研发、应用相关主体应制定人工智能风险管理相关的目标方针。目标方针应明确组织关于人工智能系统风险管理的总体方向、基本原则与长期目标，覆盖人工智能系统全生命周期。目标方针应经组织批准和实施。 目标方针宜符合下列要求： 符合所在市场环境的法律法规和监管要求；与组织发展战略和总体目标保持一致；明确人工智能风险管理的适用范围、流程和方法；根据组织业务环境、技术创新、外部监管要求进行动态调整。目标方针应以书面形式发布，向全体相关人员传达。 5.1.2治理架构 人工智能系统的研发、应用相关主体应设置人工智能风险管理相关的治理架构。治理架构应明确组织结构、职责分工和跨部门协作机制，确保风险管理责任落实到位。 治理架构宜符合下列要求： 领导层负责人工智能风险管理的总体决策与监督； 管理层相关部门负责组织日常风险管理活动，审定风险识别清单、风险评估报告、风险应对报告，批准重大隐患处理措施； 执行层部门提供技术支撑，具体实施风险识别、进行风险评估、执行风险应对，形成相应报告上报。 治理架构宜根据组织规模调整，如大型企业可设立首席人工智能安全官或专门人工智能安全治理部门，中小企业可由信息安全或网络安全部门兼任。 治理架构应以组织图或文档形式记录，并定期审查以确保有效性。 5.1.3制度文件 人工智能系统的研发、应用相关主体应制定人工智能风险管理制度文件。制度文件应规范人工智能风险管理的基本流程、工作机制和监督要求。 制度文件宜符合下列要求： 明确人工智能风险管理体系相关制度； -明确程序启动要求，如每年至少一次全面审查，或在研发或应用发生重大变更时执行。 -明确人工智能风险应急与处置机制。 制度文件应以文档形式记录，并与支撑保障机制整合（见5.2.3）。 5.2支撑保障 5.2.1能力建设 人工智能系统的研发、应用相关主体应通过培训、技能评估和持续学习机制，提升组织成员在风险识别、评估、应对方面的能力。 能力建设宜符合下列要求： YD/T XXXX-XXXX 制定针对性培训计划，覆盖管理人员和技术人员：定期开展员工能力评估：开展与风险管理相关的技术工具使用培训；更新培训内容以应对人工智能技术演变。能力建设宜形成培训记录，并纳入整体风险管理评估。 5.2.2资源配置 人工智能系统的研发、应用相关主体应分配必要的人力、物力和技术资源，确保有效支撑人工智能风险管理流程。资源配置宜符合下列要求： 根据组织规模和人工智能系统复杂度评估资源需求； 明确人工智能风险管理专用资源的分配； -建立资源配置审核机制，确保资源投入与风险控制、组织机遇相适应。 资源配置应以预算或计划形式文档化，并定期进行优化。 5.2.3文档记录 人工智能系统的研发、应用相关主体应建立风险管理文档记录，确保可追溯性和透明度。文档记录宜满足以下要求： 人工智能风险管理目标方针、治理架构和制度文件； 人工智能系统基础信息、人工智能系统的预期目的及限制； 人工智能系统训练数据说明文档、算法模型机制、日常应用与服务记录、故障记录、上下游依赖关系及风险管理计划等。 文档记录宜采用标准化格式、数字化管理、设定合理保留期限，并定期审查以确保完整性。 5.3沟通协调 5.3.1跨部门沟通 人工智能系统的研发、应用相关主体应建立人工智能系统风险管理的内部协作机制，确保信息共享和协调一致。跨部门沟通宜符合下列要求： -定期召开风险管理协调会议；明确信息共享渠道与权限；采用数字化协作工具；覆盖治理架构中的所有层级（见5.1.2）。沟通结果应形成会议记录，并纳入文档记录（见5.2.3）。 5.3.2外部沟通 人工智能系统的研发、应用相关主体应建立与利益相关方的协作机制，确保人工智能系统风险信息的及时交换。 外部沟通宜符合下列要求： 识别关键利益相关方，包括监管机构、供应商、合作伙伴、用户群体； 明确外部沟通程序和渠道； 建立重大风险事件通报机制，并留存反馈记录。 外部沟通机制应根据反馈结果进行调整，并以文档记录（见图5.2.3）。 6流程管理能力 YD/T XXXX-XXXX 6.1风险识别 6.1.1环境确认 人工智能系统的研发、应用相关执行部门应开展内外部环境确认：a）内部环境包括组织资源、业务流程、技术栈和数据资产等；b）外部环境包括法律法规、标准规范、市场动态、社会伦理与舆情等。环境确认宜与动态风险管理程序周期保持一致，并在发生重大变化时立即更新。 6.1.2风险核查 人工智能系统的研发、应用相关执行部门应开展风险核查。风险核查应基于环境确认结果，识别常规风险源与新增风险源，形成风险识别清单。YO 风险核查应符合下列要求： a）根据环境确认结果，对照典型风险类别，核查人工智能系统存在的常规风险源； c）输出风险识别清单，包括风险来源、发现时间和初步影响（见附录A）。 风险识别清单应在5个工作日内向管理部门报告，并作为风险评估的输入文件。0 6.2风险评估 6.2.1风险分析 6.2.1.1通用要求 人工智能系统的研发、应用相关执行部门应对已识别风险开展风险分析。风险分析应结合人工智能系统特性，可采用定性、半定量或定量方法进行分析，宜采用“风险-隐患”两级分析机制，分析过程应符合本文件规定的分级标准与判定规则。两级分析机制包括： a）风险分析应基于人工智能系统全生命周期特性，通过分析影响程度判定风险等级； b）隐患分析应以风险等级为基础，结合分析风险发生可能性，判定隐患等级。 6.2.1.2风险分级 人工智能系统的研发、应用相关执行部门应对已识别风险开展风险分析，并对风险进行“严重、高、中、低”四级分级。风险分级方法如下： a）应考虑影响类别和影响程度，综合判定风险等级；b）分析影响对象，应考虑人工智能系统的风险是否会对个人、组织、社会以及国家造成影响；c）分析影响程度，应考虑人工智能系统的风险对于个人、组织、社会以及国家造成的损害高低。风险分级判定规则可参考表1：td.m YD/T XXXX-XXXX 6.2.1.3隐患分级 隐患分级应在风险分级结果基础上，分析风险发生的可能性，判定隐患等级。 对于风险发生的可能性，应依据外部对于该风险事件发生频率统计、本组织内对于该风险事件发生频率统计，并依据现有风险防护措施有效性共同判定发生的可能性。必要时，可聘请外部专家判断风险发生的可能性。风险发生可能性判定方法可参考附录B。 隐患分级判定规则可参考表2；对于不满足“重大隐患