网络安全技术 生成式人工智能服务安全基本要求（2024）

GB/TXXXXX—XXXX 网络安全技术生成式人工智能服务安全基本要求 Cybersecuritytechnology-Basicsecurityrequirementsforgenerativeartificialintelligenceservice （征求意见稿） 目次 前言.................................................................................III1范围.................................................................................12规范性引用文件.......................................................................13术语和定义...........................................................................14概述.................................................................................15训练数据安全要求.....................................................................15.1数据来源安全.....................................................................25.2数据内容安全.....................................................................25.3数据标注安全.....................................................................36模型安全要求.........................................................................37安全措施要求.........................................................................4附录A（资料性）训练数据及生成内容的主要安全风险........................................6附录B（资料性）安全评估参考要点........................................................8参考文献..............................................................................10 前言 本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。 本文件由全国网络安全标准化技术委员会（SAC/TC260）提出并归口。本文件起草单位：本文件主要起草人： 网络安全技术生成式人工智能服务安全基本要求 1范围 本文件规定了生成式人工智能服务在安全方面的基本要求，包括训练数据安全、模型安全、安全措施等，并给出了安全评估参考要点。 本文件适用于服务提供者开展安全评估，也可为相关主管部门提供参考。 2规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB/T25069—2022信息安全技术术语 3术语和定义 GB/T25069—2022界定的以及下列术语和定义适用于本文件。 3.1生成式人工智能服务generativeartificial intelligenceservice利用生成式人工智能技术向公众提供生成文本、图片、音频、视频等内容的服务。 服务提供者serviceprovider 以交互界面、可编程接口等形式提供生成式人工智能服务的组织或个人。 3.3 训练数据trainingdata 所有直接作为模型训练输入的数据，包括预训练数据和优化训练数据。 4概述 本文件旨在帮助服务提供者明确生成式人工智能服务网络安全基线、提高服务安全水平，针对当前生成式人工智能服务面临的网络安全、数据安全、个人信息保护等关键问题，提出覆盖服务全生命周期的安全要求,防范化解服务过程中的应用场景安全风险、软硬件环境安全风险、生成内容安全风险以及权益保障安全风险等。 针对生成式人工智能服务上线前的模型研发过程，本文件重点关注训练数据来源安全、训练数据内容安全、数据标注安全，以及模型安全。针对面向公众开放后的服务提供过程，本文件重点关注在提供服务过程中应采取的安全措施。 5.1数据来源安全 对服务提供者的要求如下。 a）采集来源管理： 1）面向特定数据来源进行采集前，应对该来源数据进行安全评估，数据内容中含违法不良信息超过5%的，不应采集该来源数据；2）面向特定数据来源进行采集后，应对所采集的该来源数据进行核验，含违法不良信息情况超过5%的，不应使用该来源数据进行训练。注：本文件关注的违法不良信息主要是指包含附录A.1到A.4中29种安全风险的信息。 b）不同来源训练数据搭配： 1）应提高训练数据来源的多样性，对每一种语言的训练数据，如中文、英文等，以及每一种类型的训练数据，如文本、图片、音频、视频等，均应有多个训练数据来源；2）如需使用境外来源训练数据，应与境内来源训练数据进行合理搭配。 c）训练数据来源可追溯： 1）使用开源训练数据时，应具有该数据来源的开源许可协议或相关授权文件；注1：对于汇聚了网络地址、数据链接等能够指向或生成其他数据的情况，如果需要使用这些被指向或生成的内容作为训练数据，应将其视同于自采训练数据。2）使用自采训练数据时，应具有采集记录，不应采集他人已明确不可采集的数据；注2：自采训练数据包括自行生产的数据以及从互联网采集的数据。注3：明确不可采集的数据，例如已通过robots协议或其他限制采集的技术手段明确表明不可采集的网页数据，或个人已拒绝授权采集的个人信息等。 3）使用商业训练数据时： ——应有具备法律效力的交易合同、合作协议等；——交易方或合作方不能提供数据来源、质量、安全等方面的承诺以及相关证明材料时，不应使用该训练数据；——应对交易方或合作方所提供训练数据、承诺、材料进行审核。 4）将使用者输入信息当作训练数据时，应具有使用者授权记录。 5.2数据内容安全 对服务提供者的要求如下。 a）训练数据内容过滤：对于每一种类型的训练数据，如文本、图片、音频、视频等，应在将数据用于训练前，对全部训练数据进行过滤，过滤方法包括但不限于关键词、分类模型、人工抽检等，去除数据中的违法不良信息。 b）知识产权： 1）应有训练数据知识产权管理策略，并明确负责人；2）数据用于训练前，应对数据中的主要知识产权侵权风险进行识别，发现存在知识产权侵权等问题的，服务提供者不应使用相关数据进行训练；注：训练数据中包含文学、艺术、科学作品的，需要重点识别训练数据以及生成内容中著作权侵权问题。3）应建立针对知识产权问题的投诉举报渠道；4）应在用户服务协议中，向使用者告知使用生成内容的知识产权相关风险，并与使用者约定相关责任与义务；5）应及时根据国家政策以及第三方投诉情况更新知识产权相关策略；6）宜具备以下知识产权措施：——公开训练数据中涉及知识产权部分的摘要信息； ——在投诉举报渠道中支持第三方就训练数据使用情况以及相关知识产权情况进行查询。 c）个人信息方面： 1）在使用包含个人信息的训练数据前，应取得对应个人同意或者符合法律、行政法规规定的其他情形；2）在使用包含敏感个人信息的训练数据前，应取得对应个人单独同意或者符合法律、行政法规规定的其他情形。 5.3数据标注安全 对服务提供者的要求如下。 a）标注人员方面： 1）应自行组织对于标注人员的安全培训，培训内容应包括标注任务规则、标注工具使用方法、标注内容质量核验方法、标注数据安全管理要求等；2）应自行对标注人员进行考核，给予合格者标注上岗资格，并有定期重新培训考核以及必要时暂停或取消标注上岗资格的机制，考核内容应包括标注规则理解能力、标注工具使用能力、安全风险判定能力、数据安全管理能力等；3）应将标注人员职能至少划分为数据标注、数据审核等；在同一标注任务下，同一标注人员不应承担多项职能；4）应为标注人员执行每项标注任务预留充足、合理的标注时间。 b）标注规则方面： 1）标注规则应至少包括标注目标、数据格式、标注方法、质量指标等内容；2）应对功能性标注以及安全性标注分别制定标注规则，标注规则应至少覆盖数据标注以及数据审核等环节；3）功能性标注规则应能指导标注人员按照特定领域特点生产具备真实性、准确性、客观性、多样性的标注数据；4）安全性标注规则应能指导标注人员围绕训练数据及生成内容的主要安全风险进行标注，对本文件附录A中全部31种安全风险均应有对应的标注规则。 c）标注内容准确性方面： 1）对功能性标注，应对每一批标注数据进行人工抽检，发现内容不准确的，应重新标注；发现内容中包含违法不良信息的，该批次标注数据应作废；2）对安全性标注，每一条标注数据至少经由一名审核人员审核通过。 d）宜对安全性标注数据进行隔离存储。 6模型安全要求 对服务提供者的要求如下。 a）模型训练方面： 1）在训练过程中，应将生成内容安全性作为评价生成结果优劣的主要考虑指标之一；注：模型生成内容是指模型直接输出的、未经其他处理的原生内容。2）应定期对所使用的开发框架、代码等进行安全审计，关注开源框架安全及漏洞相关问题，识别和修复安全漏洞。 b）模型输出方面： 1）生成内容准确性方面，应采取技术措施提高生成内容响应使用者输入意图的能力，提高生成内容中数据及表述与科学常识及主流认知的符合程度，减少其中的错误内容； 2）生成内容可靠性方面，应采取技术措施提高生成内容格式框架的合理性以及有效内容的含量，提高生成内容对使用者的帮助作用；3）问题拒答方面，对明显偏激以及明显诱导生成违法不良信息的问题，应拒绝回答；对其他问题，应均能正常回答；4）图片、视频等生成内容标识方面，应满足国家相关规定以及标准文件要求。 c）模型监测方面： 1）应对模型输入内容持续监测，防范恶意输入攻击，例如注入攻击、后门攻击、数据窃取、对抗攻击等；2）应建立常态化监测测评手段以及模型应急管理措施，对监测测评发现的提供服务过程中的安全问题，及时处置并通过针对性的指令微调、强化学习等方式优化模型。 d）模型更新、升级方面： 1）应制定在模型更新、升级时的安全管理策略；2）应形成管理机制，在模型重要更新、升级后，再次自行组织安全评估。 e）软硬件环境方面： 1）模型训练、推理所采用的计算系统方面：——应评估系统所采用芯片、软件、工具、算力等方面的供应链安全，侧重评估供应持续性、稳定性等方面；——所采用芯片宜支持基于硬件的安全启动、可信启动流程及安全性验证。 2）应将模型训练环境与推理环境隔离，避免数据泄露、不当访问等安全事件，隔离方式包括物理隔离与逻辑隔离。 7安全措施要求 对服务提供者的要求如下。 a）服务适用人群、场合、用途方面： 1）应充分论证在服务范围内各领域应用生成式人工智能的必要性、适用性以及安全性；2）服务用于关键信息基础设施，以及如自动控制、医疗信息服务、心理咨询、金融信息服务等重要场合的，应具备与风险程度以及场景相适应的安全保护措施；3）服务适用未成年人的：——应允许监护人设定未成年人防沉迷措施；——不应向未成年人提供与