AI智能总结
——生成式人工智能服务安全应急响应指南 (V1.0-202509) 全国网络安全标准化技术委员会秘书处 2025年9月 本文档可从以下网址获得:www.tc260.org.cn/ 前言 《网络安全标准实践指南》(以下简称《实践指南》)是全国网络安全标准化技术委员会(以下简称“网安标委”)秘书处组织制定和发布的标准相关技术文件,旨在围绕网络安全法律法规政策、标准、网络安全热点和事件等主题,宣传网络安全相关标准及知识,提供标准化实践指引。 本文件起草单位:国家计算机网络应急技术处理协调中心、中国电子技术标准化研究院、新华融合媒体科技发展(北京)有限公司、清华大学、中国科学院计算技术研究所、中国科学技术大学、北京市公安局人工智能安全研究中心、公安部第三研究所、中国科学院信息工程研究所、浙江工业大学、北京师范大学、哈尔滨工业大学(威海)、阿里云计算有限公司、蚂蚁科技集团股份有限公司、科大讯飞股份有限公司、华为云计算技术有限公司、奇安信科技集团股份有限公司、北京天融信网络安全技术有限公司、中国移动通信集团有限公司、中国联合通信有限公司、国家计算机网络应急技术处理协调中心安徽分中心 本文件起草人:赵芸伟、罗毅、孙锦平、闵京华、张鸿、王鲁华、郭鸿飞、王建民、山世光、俞能海、许敏强、李凤华、陈悦、张妍婷、蔡津津、宣琦、张兆心、张洪忠、彭骏涛、白晓媛、辛铮、孙勇、冯运波、王俊、王寒生、 丁治国、王龑、邱勤、高枫、韩晗、蒋天翔 声明 本《实践指南》版权属于网安标委秘书处,未经秘书处书面授权,不得以任何方式抄袭、翻译《实践指南》的任何部分。凡转载或引用本《实践指南》的观点、数据,请注明“来源:全国网络安全标准化技术委员会秘书处”。 摘要 为贯彻落实《生成式人工智能服务管理暂行办法》要求,指导生成式人工智能服务提供者等有关单位做好安全应急响应工作,本文件围绕生成式人工智能服务安全事件给出了安全事件的分类和分级方法并给出了生成式人工智能服务安全事件应急响应过程,包括应急准备、监测预警、应急处置、总结改进阶段的管理措施和技术方法,可用于指导生成式人工智能服务提供者及相关部门提高安全应急响应能力。 目录 1.范围...................................................................................................................................12.规范性引用文件...............................................................................................................13.术语和定义、缩略语.......................................................................................................13.1术语和定义................................................................................................................13.2缩略语........................................................................................................................34.生成式人工智能服务安全事件分类...............................................................................34.1分类方法...............................................................................................................34.2常见生成式人工智能服务安全事件..................................................................35.生成式人工智能服务安全事件分级...............................................................................76.生成式人工智能服务安全应急响应过程.....................................................................126.1应急准备.............................................................................................................126.2监测预警.............................................................................................................146.3应急处置.............................................................................................................176.4总结改进.............................................................................................................20附录A(资料性)生成式人工智能服务安全应急响应典型案例..................................22 1.范围 本文件描述了生成式人工智能服务安全事件的分类、分级方法和生成式人工智能服务安全应急响应过程的管理措施和技术方法。 本文件适用于生成式人工智能服务提供者以及相关部门开展安全应急响应活动。 2.规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。 GB/T20985.1-2017信息技术安全技术信息安全事件管理第1部分:事件管理原理 GB/T20986-2023网络安全事件分类分级指南 GB/T28827.3-2012信息技术服务运行维护第3部分:应急响应规范 GB/T45654-2025生成式人工智能服务安全基本要求 3.术语和定义、缩略语 3.1术语和定义 下列术语和定义适用于本实践指南。 3.1.1 生成式人工智能服务generative artificial intelligenceservice 利用生成式人工智能技术向中华人民共和国境内公众提供生成文本、图片、音频、视频等内容的服务。 3.1.2 生 成 式 人 工 智 能 服 务 提 供 者generativeartificialintelligenceserviceprovider 以交互界面、可编程接口等形式提供生成式人工智能服务的组织或个人。 3.1.3 生 成 式 人 工 智 能 服 务 安 全 事 件generative artificialintelligenceservicesecurityincident 由于人为原因、恶意攻击、模型的内在漏洞或缺陷等因素引起的,对生成式人工智能服务业务应用及其数据造成损害,对国家、社会、经济造成负面影响的事件。 3.1.4 违法不良信息illegalandunhealthyinformation 《网络信息内容生态治理规定》中指出的11类违法信息以及9类不良信息的统称。 注:本文件关注的违法不良信息主要是指GB/T 45654-2025附录A中A.1-A.4中29种安全风险的信息。 3.2缩略语 下列缩略语适用于本实践指南。 应用程序编程接口分布式拒绝服务攻击事件响应小组跨站脚本攻击 APIApplicationProgrammingInterfaceDDoSDistributedDenialofServiceIRTIncidentResponseTeamXSSCross-SiteScripting 4.生成式人工智能服务安全事件分类 4.1分类方法 综合考虑生成式人工智能服务安全事件的起因、威胁、攻击方式、损害后果等因素,对生成式人工智能服务安全事件应按照GB/T20986-20235.1分类方法进行分类,分为信息内容安全事件、数据安全事件、网络攻击事件等事件类型。 4.2常见生成式人工智能服务安全事件 按照GB/T20986-20235.1分类方法,结合生成式人工智能服务特点,本文件列出以下常见生成式人工智能服务安全事件。 4.2.1信息内容安全事件 信息内容安全事件指生成式人工智能服务生成的信息内容危害国家安全、社会稳定、公共安全和利益的安全事件。按照GB/T45654-2025附录A中A.1-A.4中29种安全风险的信息作为进一步分 类方法参考。常见的生成式人工智能服务信息内容安全事件包括: a)违法信息生成事件 生成式人工智能服务生成违反国家法律法规的内容,可能涉及颠覆国家政权、煽动分裂国家、泄露国家机密、暴力恐怖主义、淫秽色情、引导违法犯罪行为(例如生成信息内容涉及网络攻击、黑客技术传播或数据窃取等犯罪技术或方法、生成信息内容涉及违法交易、走私、诈骗等犯罪行为引导)等违法信息。 b)虚假有害信息生成事件 生成式人工智能服务生成事实错误且对经济秩序和社会秩序等造成危害的信息。。例如虚假新闻信息(生成虚构或误导性新闻,可能引发社会恐慌),虚假财经信息(生成虚假市场信息或经济数据,扰乱金融市场,可能导致股市波动、价格操纵、投资欺诈等不良后果),虚假医疗健康信息(生成关于疾病治疗、药物功效的虚假信息,误导公众健康选择,造成公共卫生隐患)等。 c)煽动教唆信息生成事件 生成式人工智能服务生成煽动或教唆他人从事有害行为的信息,危害社会秩序与人身财产安全。例如煽动教唆自残或自杀(生成涉及教唆他人自残或自杀的信息,对个人产生严重的心理和身体伤害),煽动教唆实施盗窃、抢劫(生成具体的作案方法或策略信息,对社会秩序与人身财产安全造成危害),鼓动暴力、破坏公共设施(生成煽动群体性冲突或指导破坏公共基础设施的具体手段的信息,对社会秩 序和公共利益造成危害)等。 d)权益侵害信息生成事件 生成式人工智能服务生成的信息内容侵害了社会组织或公民的合法权益。例如生成信息内容中涉及隐私侵犯(生成未经授权披露个人或组织的敏感信息)、知识产权侵犯(生成内容涉及侵犯专利、商标等受版权保护的知识产权)、名誉损害、商业秘密泄露等。 e)歧视性信息生成事件 生成式人工智能服务生成的信息内容涉及民族歧视、信仰歧视、地域歧视、性别歧视、职业歧视等。 4.2.2数据安全事件 数据安全事件指通过技术或其他手段对生成式人工智能服务数据实施篡改、假冒、泄露、窃取等导致业务损失或造成社会危害的安全事件。常见的生成式人工智能服务数据安全事件包括: a)数据泄露事件 无意或恶意通过技术手段导致数据泄露,包括生成式人工智能服务使用的训练数据、模型参数和用户个人信息等。例如未经授权访问并下载了生成式人工智能服务的训练数据集,导致敏感个人信息泄露。 b)数据篡改事件 未经授权修改数据,影响生成式人工智能服务的训练和推理等。例如篡改生成式人工智能训练数据集、篡改生成式人工智