网络安全技术 生成式人工智能服务安全基本要求

GB/T45654—2025 网络安全技术生成式人工智能服务安全基本要求 Cybersecuritytechnology—Basicsecurityrequirementsforgenerativeartificialintelligenceservice 国 家 市 场 监 督 管 理 总 局国 家 标 准 化 管 理 委 员 会发布 目次 前言Ⅲ…………………………………………………………………………………………………………引言Ⅳ…………………………………………………………………………………………………………1范围1………………………………………………………………………………………………………2规范性引用文件1…………………………………………………………………………………………3术语和定义1………………………………………………………………………………………………4训练数据安全要求2………………………………………………………………………………………5模型安全要求4……………………………………………………………………………………………6安全措施要求5……………………………………………………………………………………………附录A(资料性)训练数据及生成内容的主要安全风险7………………………………………………附录B(资料性)安全评估参考方法9……………………………………………………………………参考文献22…………………………………………………………………………………………………… 前言 本文件按照GB/T1.1—2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由全国网络安全标准化技术委员会(SAC/TC260)提出并归口。 本文件起草单位:中国电子技术标准化研究院、国家计算机网络应急技术处理协调中心、浙江大学、北京中关村实验室、上海人工智能创新中心、复旦大学、北京百度网讯科技有限公司、阿里云计算有限公司、北京快手科技有限公司、华为云计算技术有限公司、北京航空航天大 学、联 想(北 京)有 限 公 司、蚂 蚁科技集团股份有限公司、科大讯飞股份有限公司、北京大学、中国网络安 全 审 查 认 证 和 市 场 监 管 大 数 据中心、北京深度求索人工智能基础技术研究有限公司、北京奇虎科技有 限 公 司、中 国 科 学 院 自 动 化 研 究所、河南科技大学、中国政法大学、上 海 交 通 大 学、清 华 大 学、中 国 科 学 院 软 件 研 究 所、OPPO广 东 移 动通信有限公司、中国移动通信集团有限公司、深信服科技股份有限公司、北 京 面 壁 智 能 科 技 有 限 责 任 公司、北京瑞莱智慧科技有限公司、国家工业信息安全发展研究中心、公 安 部 第 三 研 究 所、国 家 信 息 中 心、上海燧原科技股份有限公司、深圳陆兮科技有限公司、杭州网易智企科技有 限 公 司、贝 壳 找 房(北 京)科技有限公司、北京天融信网络安全技术有限公司、北京零一万物科技有限公司、上海稀宇科技有限公司、广州市动悦信息技术有限公司、天翼安全科技有限公司。 本文件主要 起 草 人:姚 相 振、郝 春 亮、张 妍 婷、张 震、任 奎、刘 勇、杨 珉、秦 湛、胡 影、夏 文 辉、陈 钟、王迎春、贺敏、张凌寒、许晓 耕、刘 建 伟、落 红 卫、王 凤 娇、徐 恪、陈 洋、张 向 征、包 沉 浮、谢 安 明、彭 骏 涛、谷晨、郑子木、吴少卿、王姣、王秉政、郭建领、孟令宇、徐甲、杨子祺、王庆龙、邱锡鹏、黄晴、石琳、张宗洋、边松、张志勇、张 谧、洪 赓、潘 旭 东、胡 永 启、林 冠 辰、刘 俊 华、乔 玉 平、梅 敬 青、贾 开、赵 静、张 严、权 高 原、谭知行、杨光、姚 龙、李 琦、王 晖、朱 贵 波、周 芃、安 勍、沈 俊 成、赵 睿 斌、刘 栋、马 梦 娜、王 俊、张 立 尧、贾雨萌、王海棠、彭韬、李根、邱勤、江为强、徐阳、游建舟、周呈辉、刘楠、丁治国、王荣仕、李大海、朱晓芳、王雨晨、薛智慧、肖博峰、危嘉祺。 引言 当前,生成式人工智能技术不断发展,相关服务已广泛应用,为社会生产生活等各方面提供便利,但也带来大量网络安全新风险、新挑战,亟需标准规范设立安全基线。 本文件重点面向具有舆论属性或者社会动员能力的生成式人工智能服务,支撑备案管理、检测评估等方面工作开展。重点关注数据标注安全时,本文件可与GB/T45674《网络安全技术生成式人工智能数据标注安全规 范》结 合 使 用;重 点 关 注 预 训 练 和 优 化 训 练 数 据 安 全 时,本 文 件 可 与GB/T45652《网络安全技术生成式人工智能预训练和优化训练数据安全规范》结合使用。 网络安全技术生成式人工智能服务安全基本要求 1范围 本文件规定了生成式人工智能服务在训练数据安全、模型安全、安全措施等方面的要求。 本文件适用于服务提供者开展生成式人工智能服务相关活动,也 为 相 关 主 管 部 门 以 及 第 三 方 评 估机构提供参考。 注:训练数据及生成内容涉及的主要安全风险见附录A,生成式人工智能服务安全评估参考方法见附录B。 2规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必 不 可 少 的 条 款。其 中,注 日 期 的 引 用 文件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包 括 所 有 的 修 改 单)适 用 于本文件。 GB/T25069信息安全技术术语 3术语和定义 GB/T25069界定的以及下列术语和定义适用于本文件。 3.1生成式人工智能服务generativeartificialintelligenceservice利用生成式人工智能技术向公众提供生成文本、图片、音频、视频等内容的服务。 3.2服务提供者serviceprovider以交互界面、可编程接口等形式提供生成式人工智能服务的组织或个人。 3.3分类模型classificationmodel对给定输入数据,输出其所属的一个或多个类别的机器学习模型。[来源:GB/T41867—2022,3.2.6] 3.4训练数据trainingdata所有直接作为模型训练输入的数据。注:包括预训练数据和优化训练数据。 3.5 生成式人工智能数据标注generativeartificialintelligencedataannotation 通过人工操作或使用自动化技术机制,基于对提示信息的响 应 信 息 内 容,将 特 定 信 息 如 标 签、类 别或属性添加到文本、图片、音频、视频或者其他数据样本的过程。 注:以下简称“数据标注”。 GB/T45654—2025 3.6功能性数据标注functionaldataannotation用于训练生成式人工智能模型具备完成特定任务能力的数据标注。 3.7安全性数据标注securitydataannotation用于训练生成式人工智能模型提升输出响应信息安全性的数据标注。 4训练数据安全要求 4.1数据来源安全 4.1.1数据来源选择 对服务提供者的要求如下。 a)面向拟采集的数据来源进行采集前,应对该数据来源进行随机抽样安全评估,经评估数据内容中含违法不良信息情况超过5%的,不应对该数据来源进行采集。b)数据采集后,应对每个来源的已采集数据进行随机抽样安全核验,经核验数据内容中含违法不良信息情况超过5%的,不应将该来源数据用作训练数据。注1:本文件关注的违法不良信息主要是指包含附录A中A.1~A.4中29种安全风险的信息。注2:数据来源是指一个域名、一个数据提供方,或一个开源训练数据集等。注3:抽样安全评估、抽样安全核验方式包括人工抽检、关键词抽检、分类模型抽检等。 4.1.2不同来源训练数据搭配 对服务提供者的要求如下。 a)应提高训练数据来源的多样性,对每一种语言的训练数据,如中文、英文等,以及每一种类型的训练数据,如文本、图片、音频、视频等,均应有多个训练数据来源。b)如需使用境外来源训练数据,应合理搭配境内外来源训练数据。 4.1.3训练数据来源管理及追溯 对服务提供者的要求如下。 a)使用开源训练数据时,应遵循该数据来源的开源许可协议或取得相关授权文件。注1:对于汇聚了网络地址、数据链接等能够指向或生成其 他 数 据 的 情 况,如 需 使 用 这 些 被 指 向 或 生 成 的 内 容 作 为训练数据,将其视同于自采训练数据。b)使用自采训练数据时,应具有采集记录,不应采集他人已明确不可采集的数据。注2:自采训练数据包括自行生产的数据以及自行从互联网采集的数据。注3:明确不可采集的数据,例如已通过爬虫协议(robots协议)或其他限制采集的技术手段明确 表 明 不 可 采 集 的 网页数据,或个人已拒绝授权采集的个人信息等。c)使用商业训练数据时:———应有具备法律效力的交易合同、合作协议等;———交易方或合作方不能提供数据来源、质量、安 全 等 方 面 的 承 诺 以 及 相 关 证 明 材 料 时,不 应使用该训练数据;———应对交易方或合作方所提供的训练数据、承诺以及相关证明材料进行审核。d)将使用者输入信息用作训练数据时,应具有使用者授权记录。 4.2数据内容管理 4.2.1训练数据内容过滤 对于每一种类型的训练数据,如文本、图片、音频、视频等,应在将数据用于训练前,对全部训练数据进行过滤,过滤方法包括但不限于关键词、分类模型、人工抽检等,去除数据中的违法不良信息。 4.2.2知识产权保护 对服务提供者的要求如下。 a)应具备训练数据知识产权管理策略和规则,并明确负责人。b)涉及知识产权的,不应侵害他人依法享有的知识产权。c)应建立针对知识产权问题的投诉举报渠道,并及时 根 据 国 家 政 策 以 及 第 三 方 投 诉 情 况 更 新 知识产权相关策略。d)应在用户服务协议中,向使用者告知使用生成内容的知识产权相关风险,并与使用者约定相关责任与义务。 4.2.3个人信息保护 对服务提供者的要求如下。 a)在使用包含个人信息的训练数据前,应取得对应个人同意或者符合法律、行政法规规定的其他情形。b)在使用包含敏感个人信息的训练数据前,应取得对应个人单独同意或者符合法律、行政法规规定的其他情形。 4.3数据标注安全 4.3.1标注人员管理 对服务提供者的要求如下。 a)应组织对标注人员的安全培训,培训内容应包 括 相 关 法 律 法 规、标 注 任 务 规 则、标 注 平 台 或 工具使用方法、标注内容质量核验方法、标注内容安全性核验方法、标注数据安全管理要求等。b)应对标注人员进行考核,给予合格者标注上岗资格,并有定期重新培训考核以及必要时暂停或取消标注上岗资格的机制,考核内容应包括相 关 法 律 法 规 知 识、标 注 规 则 理 解 能 力、标 注 平 台或工具使用能力、安全风险判定能力、数据安全管理能力等。c)应将标注人员职能至少划分为标注执行、标注 审 核 等;在 同 一 项 标 注 任 务 中,标 注 执 行 人 员 和标注审核人员不应由同一人员承担。 4.3.2标注规则 对服务提供者的要求如下。 a)标注规则应至少包括标注目标、数据格式、标注方法、质量指标等内容。b)应对功能性数据标注以及安全性数据标注分别制 定 标 注 规 则,标 注 规 则 应 至 少 覆 盖 标 注 执 行以及标注审核等环节。c)功能性标注规则应指导标注人员按照特定领 域 特 点 生 产 具 备 真 实 性、准 确 性、客 观 性、多 样 性的标注数据。d)安全性标注规则应指导标注人员围绕训练数据以 及 生 成 内 容 的 主 要 安 全 风 险 进 行 标 注,宜 覆盖附录A中全部31种安全风险。 GB/T45654—2025 4.3.3标注内容准确性 对服务提供者的要求如下。 a)