Al系统的网络安全治理实践

防护视角下保护AI系统的网络安全实践 2024年9月 01目的 本文旨在分享应对AI系统（AISYSTEM[1]）潜在网络安全风险的策略，并为AI全生命周期的各个阶段提供了缓解安全风险的工程实践思考。 02范围 随着AI技术的应用场景不断推广和深化，AI系统的网络安全风险在持续变化，其网络安全防护策略也需要不断地推陈出新。本文描述了当前华为公司应对AI系统网络安全（Cyber Security of AISystem）新风险的工程实践，并为华为公司客户和利益相关方提供参考。本文不包括AI的功能安全（AI Safety）问题，如公平性、透明度、包容性等，也不包括AI技术在网络攻击中的滥用问题。 本文描述AI系统的网络安全工程实践，是从设计、开发、部署、运行等全生命周期的视角，保护AI系统的数据、模型、应用及算力底座等关键要素，目标是使得AI系统符合设计意图地可靠运行，有效应对人为操纵的威胁。 03人工智能各界关注与风险 人工智能（ArtificialIntelligence，缩写为AI[2]），亦称机器智能，指由人制造出来的机器所表现出来的智能。 人工智能自从1956年达特茅斯会议上提出概念，发展到现在近70年，经历了多次繁荣和低谷，直到上世纪九十年代后期开始，随着计算机成本的降低、以及互联网带来的数据规模的膨胀，开始进入了一个较为稳定的发展期。随着GPU等芯片带来了算力提升和深度学习的应用，人工智能在各方面都取得了突破，进入了一个全新的发展时期。2020年以后，在深度学习基础上发展起来的大模型成为人工智能最主要的研究范式，几乎在人工智能的各个领域上都表现出巨大的进步，尤其是生成式人工智能的成功，使得人工智能的应用领域大大扩展，通用人工智能（Artificial GeneralIntelligence, AGI）也不再遥不可及。 从发展过程可以看出，算法、算力、数据是驱动人工智能发展的三个最主要的驱动力。而随着人工智能能力越来越强，甚至达到接近人类智能的水平，AI系统在网络安全方面带来的问题也越来越多，引发了人们对AI系统网络安全的广泛关注和思考。 而现阶段要确保AI系统的网络安全面临着巨大的挑战，若不引起足够重视，人工智能未来可能带来更多网络安全风险。华为公司呼吁多利益方共同参与并全面加强对AI系统的评估和监管，共同应对这些挑战，才能最终实现人工智能的长期可持续健康发展。 3.1 世界各国人工智能安全法律立法情况 整体而言，人工智能技术储备、商业生态、文化与法律传统、所处的治理阶段等要素，都不同程度影响一国或地区的人工智能安全治理实践，因此，不同国家和地区的人工智能法律法规的制定和执行呈现一定的差异性。 3.1.1 欧盟 欧盟人工智能治理以“卓越和信任”为主线，既推出产业发展政策，又同步推进伦理和监管规则，保障安全和基本权利[1]。2021年4月，欧盟委员会提出《人工智能法》草案[2]。经过多次谈判与修订，《人工智能法》于2024年7月12日刊登于欧盟公报，于2024年8月1日生效并将分阶段适用[3]。 《人工智能法》对人工智能统一定义、全域适用、构建体系化的处罚机制，为全面性、系统性的监管治理提供法律依据。就风险分级而言，欧盟《人工智能法》将人工智能系统基于风险分为不同级别，每级风险都由一套预定义的监管工具来管理。就分类治理而言，欧盟针对类 GPT大模型引入通用目的人工智能专门条款，并延续了风险分级管理思路，将通用人工智能模型进一步区分为是否存在系统性风险两类，并施以不同的合规义务。 3.1.2 美国 美国联邦层面尚未出台系统性的人工智能安全法。2023年10月，白宫发布《关于安全、稳定和可信的人工智能行政令》[4]构筑美国人工智能安全监管的蓝图。强调“管理联邦政府自身使用人工智能的风险，并提高其监管、治理和支持负责任使用人工智能造福美国人的内在能力”。出于国家安全考量，行政令首次提出有硬性监管效力的大模型政府报告要求，要求“存在重大安全风险的强大双重用途基础模型开发者”，向政府报告并分享安全信息、测试信息等。美国多个州，包括科罗拉多、佛罗里达、印第安纳、加州等也开始关注人工智能相关的立法，特别关注高风险人工智能系统开发者的义务等。此外，美国将人工智能技术视作国际战略竞争的关键科技因素，并将人工智能相关技术列入《关键和新兴技术清单》[5]，明确相关人工智能技术属于对美国国家安全产生重要影响的关键和新兴技术。 3.1.3 中国 2017年国务院《新一代人工智能发展规划》[1]奠定中国人工智能法治发展的总基调，提出“在大力发展人工智能的同时，必须高度重视可能带来的安全风险挑战，加强前瞻预防与约束引导，最大限度降低风险，确保人工智能安全、可靠、可控发展”。规划在人工智能治理方面提出战略目标：一是到2025年，初步建立人工智能法律法规、伦理规范和政策体系，形成人工智能安全评估和管控能力；二是到2030年，建成更加完善的人工智能法律法规、伦理规范和政策体系。 目前，中国《网络安全法》、《数据安全法》、《个人信息保护法》等在涉及人工智能相关场景时可延伸适用。在规章层面，国家网信办联合有关部门，先后针对算法推荐服务、深度合成、生成式人工智能服务等不同应用领域进行针对性立法，保障人工智能健康发展、规范应用。 3.2 人工智能安全相关标准与认证 围绕AI治理，世界各国政府及产业界积极协作，发布OECD《AI原则》、欧盟《可信人工智能伦理指南》、联合国教科文组织《人工智能伦理问题建议书》、中国《全球人工智能治理倡议》、《人工智能全球治理上海宣言》等国际共识。2023年11月，中、美、德、法、英、日、欧盟等29个国家和地区在英国共同签署《布莱奇利宣言》，特别强调AI治理国际合作的重要性。AI网络安全（Security）治理与管理、风险管理、数据保护等内容作为上述国际共识的重点内容，也是相关国际标准化工作的重点。 3.2.1 国际标准：ISO/IEC AI安全相关标准 2017年，ISO/IEC JTC1以原有WG9大数据工作组为基础，成立SC42子委会，专门负责AI相关标准化工作，SC42发布、在研的AI安全相关标准主要包括： 1. ISO/IEC42001:2023 Information technology Artificial intelligence Managementsystem，该标准已发布，可用于AI管理体系认证。 2. ISO/IEC 23894:2023 Information technology Artificial intelligence Guidance on riskmanagement，该标准已发布，配套42001使用。 3. ISO/IEC DIS 42005 Information technology — Artificial intelligence — AI systemimpact assessment，该标准在研，配套42001使用。 特别指出，ISO/IEC42001:2023以规范性附录的形式，系统定义了九大领域共38条控制措施及指南，相关设计主要借鉴了ISO/IEC 27002:2022。 AI安全相关的ISO JTC1 SC 42及SC27国际标准，作为最大化的国际共识，在支撑国际贸易便利化方面起到不可替代的作用，被欧盟、中国及其他国家广泛参考使用。系统使用ISO/IEC42001、23894、42005、27002等标准有助于持续改进AI系统安全，也有利于与客户及其他相关方进行沟通与信任建设。 3.2.2 欧盟标准：欧盟CEN/CLC JTC21 AI安全相关协调标准 欧洲标准化组织CEN/CLC成立JTC21专门负责AI标准建设，该技术委员会主要通过引入ISO标准或独立开发的方式，系统性开展欧洲AI安全、可信标准建设。由JTC21发布、在研的AI安全相关标准主要包括： 1. EN ISO/IEC 23894:2024 Information technology - Artificial intelligence - Guidanceon risk management，该标准已发布，等同转化采用ISO标准。 2. prEN ISO/IEC 42001 Information technology - Artificial intelligence - Managementsystem，该标准在研，等同转化采用ISO标准。 3. prCEN/CLC/TR AI Risks - Check List for AI Risks Management，该标准在研，欧盟标准化机构参考ISO/IEC 23894以自研方式设计。 3.2.3 美国标准： NIST AI安全相关标准 为更好支持美国AI产业发展及国际化、支撑美国EO14110号人工智能总统行政令落地，NISTITL实验室将AI作为重点研究方向，围绕可信任AI技术基础研究、AI标准化、AI技术应用创新等目标设定若干具体工作任务。 NIST已正式发布的部分AI安全、风险管理相关标准主要包括： 1. AI 100-1 Artificial Intelligence Risk Management Framework。 2. AI 100-2 Adversarial Machine Learning A Taxonomy and Terminology of AdversarialMachine Learning。 3. SP 800-218A Secure Software Development Practices for Generative AI andDual-Use Foundation Models。 美国NIST牵头开发的标准与实践，具备技术实用性，有助于开展AI安全管理及推动安全工程建设。 3.2.4 中国标准：TC 260 AI安全相关标准 中国高度重视人工智能产业发展，标准成为产业政策落地的重要抓手。全国网络安全标准化技术委员会（TC 260）发布了《人工智能安全标准化白皮书（2023版）》，该白皮书由中国电子技术标准化研究院等20家单位共同编写，提出了一系列人工智能安全标准化工作的建议，包括持续完善人工智能安全标准体系、开展基础共性安全标准研究、出台产业发展急需的安全标准等，以推动人工智能安全领域的健康发展。 全国网络安全标准化技术委员会截止2024年9月正在制定中的标准包括： 1. 网络安全技术——生成式人工智能预训练和优化训练数据安全规范。 2. 网络安全技术——生成式人工智能服务安全基本要求。 3. 信息安全技术——互联网信息服务深度合成安全规范。 4. 网络安全技术——生成式人工智能人工标注安全规范。 有效支撑了《生成式人工智能服务管理暂行办法》、《互联网信息服务算法推荐管理规定》和《互联网信息服务深度合成管理规定》的落地实施，这些标准的实施将持续引领和促进行业的健康和有序发展。 3.3 人工智能面临的安全风险 随着人工智能技术日益广泛地应用于社会生产与人类生活，人工智能带来的新型风险日益受到研究与关注。 3.3.1 数据安全风险 数据投毒 数据投毒是指恶意行为者在模型训练阶段集中注入恶意或经过精心设计的数据样本，使模型在训练后产生特定的错误行为或后门，导致模型在正常输入下表现正常，但在遇到特定触发条件时产生预期之外的行为。 数据投毒产生的原因是海量和多源的数据增加了数据审核的难度，而模型的黑箱特性进一步加大了检测投毒的复杂性。同时，恶意行为者的利益驱动和部分开发者对数据安全意识的不足，也为此类威胁提供了可乘之机。数据投毒对模型构成了严重的安全风险，例如在医疗诊断、金融交易和自动驾驶等应用中，可能导致严重的安全事故或经济损失。此外，一旦发现模型被投毒，可能需要耗费大量资源重新收集数据和训练模型，影响模型提供方的开发效率和信任度。 数据泄露 数据泄露是模型相关的敏感信息被未授权访问