安全GPT大模型对关键基础设施运营商的影响及应

及应对策略探讨 汇报人：蔡逆水中国电信研究院安全技术研究所技术总监 一.安 全G P T助 力 电 信运 营 商 云 网 安 全 的 原 理 二.电 信 运 营 商 建 设 安全G P T的 必 要 性 三.电 信 运 营 商 安 全G P T大 模 型 建 设 的 核 心能 力 要 求 和 主 要 策 略 安 全G P T助 力 电 信 运 营商 云 网 安 全 的 原 理 1 .各 类G P T技 术 发 展 迅 猛2 . G P T对 安 全 影 响 深 刻 1 .各 类G P T技 术 发 展 迅 猛 ChatGPT是OpenAI于2022年11月推出的一款聊天机器人，它是基于GPT-3.5模型的变体，可以在对话中根据上下文形成类似人类的文本响应。与其他使用预定义的响应或规则生成文本的聊天机器人不同，ChatGPT拥有更强的语言处理能力和生成能力，会根据接收到的输入生成更自然、更多样化的响应。 ChatGPT的发布让通用性大模型应用达到新的高潮。它可以完成聊天、撰写邮件、文案、代码等任务，应用于自然语言处理、写作辅助、智能对话、语言学习、创意产业、编程辅助等多个领域。 （1） 资 料 查 询 好 帮 手 ， 随 身 百 科 全 书 （2） 编 程 设 计 辅 助 高 效 率 Algorithm 1: core algorithm of compliancematrix generation based on AI structuredinterpretation Algorithm2: DBSCAN density-basedclustering algorithm Algorithm 3: Random Forest In this implementation, we used theRandomForestClassifierclass from the scikit learnlibrary. Firstly, we loaded the iris dataset and divided itinto training and testing sets. Then, we set theparameters of the random forest algorithm, such as thenumber of decision trees n_ Estimators, maximumdepth of decision tree max_ Depth and Seed Randomof Random Number Generators_ state。Then, weimplemented a method called random_ Forest receivestraining data, number of decision trees, maximumdepth and seed of random number generator as input,and returns a trained random forest model. Next, weuse the training set to train the model and use the testset to predict the classification results. Finally, wecalculate and print out the accuracy of the prediction. This implementation uses the DBSCAN algorithm fromthe scikit learn library. Firstly, we created a datasetcontaining n objects. Then we set the parameters of theDBSCAN algorithm, such as the neighborhood radiusparameter eps and the neighborhood density thresholdmin_ samples。Next, we implemented a function calleddbscan, which takes the dataset, neighborhood radiusparameters, and neighborhood density threshold asinputs and returns a density based clustering set. Finally,we print out the clustering results. In this implementation, we use a class calledPrivacyPolicyRuleto represent each rule. Wehave created a category library and a structuredformat library, and processed the input privacypolicy text. Next, we cycle through each rule,determine its category, select the correspondingstructured format, and add the rule to the rulelibrary. Finally, we print out the rule library. （3）与通用GPT融合后，提升数据集质量和检测精度 （4）GPT对国家关键基础设施运营商的影响 电信运营商，作为国家关键基础设施运营商，遭遇的安全攻击也是最严重，承载了更多做好安全防护的社会责任和要求 一方面，GPT应用于安全攻击带来了新的安全威胁，如对于深度伪造的舆情安全威胁。 另一方面，GPT应用于安全防御展示了GPT可以极大提高安全运营的效率，增强企业的安全能力。 （5） 安 全G P T应 用 产 品 CONTENTS在安全领域，GPT也已经有了较为成熟的应用产品。 国际，2023年3月28日，微软第一个发布了名为Security Copilot的新产品，该产品是基于GPT-4和自家训练的安全模型而开发的，旨在为安全人员提供快速、有效的网络安全事件信息收集、潜在威胁挖掘和常见漏洞查找工具。 国内，2023年5月18日，安全厂商深信服发布了国内首个企业级安全GPT云端大模型技术应用深信服安全GPT（Security GPT），通过学习海量网络安全垂直领域专业知识和威胁情报，大幅提升安全检测效果，增强安全运营效率和交互体验。在现场，深信服工作人员演示了安全GPT技术应用在XDR平台上的效果，包括高级威胁检测、安全监测调查、热门漏洞排查等。 2 . G P T对 安 全 影 响 深 刻 （1）G P T助 力 安 全 GPT技术在网络安全方面具有双重影响。 一方面，利用GPT技术，攻击者能够提升针对性的网络攻击能力： 生成恶意软件：GPT有二进制逆向能力和代码生成能力，攻击者可以利用ChatGPT编写恶意软件说明和指令，从而逃避防病毒软件的检测。 撞库攻击： 垃圾邮件和虚假信息：创建虚假账户：生成恶意自动消息： 另一方面，在对抗网络攻击中，合理使用ChatGPT可大幅减少安全运营工作量，作为辅助工具实现以下防御机制： 代码混淆解析代码分析与审计对抗训练输入清洗自动化运营 （2）G P T内 生 安 全 CONTENTSGPT内生安全围绕着模型安全展开，自身模型安全问题主要包括针对机密性的攻击、针对完整性的攻击和针对可用性的攻击。 1.针对机密性的攻击模型，针对机密性的攻击可以分为训练数据窃取攻击和模型窃取攻击。其中，训练数据窃取攻击可以分为数据窃取攻击、特征推理攻击和成员推理攻击。 数据窃取攻击：在训练阶段，可能会选到由攻击者设计的恶意模型，将训练数据编码到模型参数中，攻击者通过解码参数窃取用户的隐私。在推理阶段，通过原始模型的模型接口进行查询，得到相应的预测结果，利用查询输入和预测结果训练得到一个与原始模型近似的替代模型，基于替代模型逆向恢复原始模型的训练数据。 模型窃取攻击： 特征推理攻击： 成员推理攻击： CONTENTS2．针对完整性的攻击模型，常见的针对大模型系统完整性的攻击包括投毒攻击和对抗攻击。投毒攻击：攻击者通过将精心制作的样本插入训练集中来操纵训练数据分布，以达到改变模型行为和降低模型性能的目的。 对抗攻击：通过向正常样本中添加精心设计的、人类无法感知的噪声来构造对抗样本，从而达到不干扰人类认知而促使机器学习模型对精心构造的对抗样本进行错误判断的目的。 3．针对可用性的攻击模型，通常发生在系统的推理或运行阶段。由于在推理阶段，系统可能会接收并处理大量的异常输入甚至恶意输入，因此模型的可用性可以成为攻击者的攻击目标，以迫使系统无法提供正常的服务。 （3）G P T衍 生 安 全 CONTENTS1.社会工程问题，数据安全角度来看，攻击者可以利用从社交媒体或其他来源收集的大量文本数据来训练模型，生成极具说服力的网络钓鱼电子邮件或消息，诱骗受害者泄露敏感信息。 2.用户的隐私泄漏问题，ChatGPT的正常使用需要收集用户账户信息、对话相关的所有内容、以及交互中网页内的各种隐私信息，这些信息在被共享给供应商、服务提供商以及附属公司的过程中，有可能被攻击者截获，导致模型相关的隐私数据泄露，进而泄露用户隐私数据。 3.深度伪造的舆情安全问题，GPT类技术一旦被滥用，可能制造出较传统更以假乱真的文字，图片、声音、音视频等数据类型被深度伪造与合成，导致真实信息被严重歪曲，网络谣言四处传播，安全以及网络公共安全秩序造成极大的冲击。 4.ChatGPT带来的数据跨境安全风险问题 一.安 全G P T助 力 电 信运 营 商 云 网 安 全 的 原 理 二.电 信 运 营 商 建 设 安全G P T的 必 要 性 三.电 信 运 营 商 安 全G P T大 模 型 建 设 的 核 心能 力 要 求 和 主 要 策 略 电 信 运 营 商 建 设 安 全G P T的 必 要 性 1 .建 设 安 全G P T有 利 于 快 速 提 升 安全 能 力2 .电 信 运 营 商 建 设 安 全G P T大 模 型的 优 势 1 .建 设 安 全G P T有 利 于 快 速 提 升 安 全 能 力 CONTENTS（1）提升态势感知能力 威胁情报收集和分析：ChatGPT可以通过分析恶意软件、黑客活动、网络攻击等数据源，生成关于威胁情报的报告，帮助网络安全专家了解当前的威胁和趋势。 安全漏洞挖掘和修复：ChatGPT可以通过对已知的安全漏洞、代码缺陷和配置错误等进行分析和学习，帮助识别和修复类似的问题，提高系统的安全性。 自然语言处理安全：ChatGPT可以用于自然语言处理安全，例如识别和防止恶意语言、欺诈和网络钓鱼等攻击，保护用户的隐私和安全。 网络流量分析和安全监测：ChatGPT可以对网络流量进行分析和学习，识别异常流量和攻击，帮助网络安全人员及时发现和应对安全威胁。 CONTENTS（2）安全运营机器人 智能安全辅助决策：ChatGPT可以通过学习历史安全事件和安全策略，帮助网络安全团队进行智能决策，提高安全响应的速度和效率。 2 .电 信 运 营 商 建 设 安 全G P T大 模 型 的 优 势 CONTENTS在建设安全GPT方面，电信运营商拥有一体化的云网融合技术与综合智能的信息服务能力，在产业数字化演进方面具备丰富的安全技术手段与安全能力。 首先，知识优势。现有的态势感知系统拥有漏洞库、威胁情报库、安全风险判断规则库、AI智能安