C h a t G P T及其安全影响云安全联盟大中华区数据安全工作组组长王安宇 白皮书发布白皮书下载链接：https://c-csa.cn/research/results-detail/i-1877/生成式人工智能的兴起有可能成为企业的主要游戏规则改变者。这项技术允许通过从现有数据中学习来创造原创内容，有能力彻底改变行业，并改变公司的运营方式。通过实现许多以前由人类完成的任务的自动化，生成性人工智能有可能提高效率和生产力，降低成本，并开辟新的增长机会。因此，能够有效利用该技术的企业可能会获得显著的竞争优势。——ChatGPTChatGPT及其代表的生成式人工智能技术，越来越易用、好用，如何更会用，如何避免误用，对抗滥用，是整个行业共同的话题。 目录➢ChatGPT等大语言模型的演进➢大语言模型用于网络攻击➢大语言模型用于网络防御➢大语言模型的安全展望 AI: 2025年改变世界的10大关键技术（麦肯锡）移动互联网渗透率进一步提升到2025年之前，移动互联网将服务于额外43亿用户（原文）人工智能得到广泛应用（智能客服等）人工智能在生产、生活中的广泛应用，将极大提升效率。所有IT服务和网站都可能迁移到云随着公有云安全性改善，更多组织选择。物联网：500到1000亿设备（2025）组织和个人将面对复杂的物联网安全问题。生物识别：2025年之前消除密码对人脸、语音、虹膜、签名的进一步研究. 区块链：商业颠覆性技术在智能合约、商业交易中的更广泛应用1.2.3.4.5.6.其余包括：虚拟/增强现实（第3）、先进机器人（第6）、3D打印（第8）、基因技术（第9）。不确定性的技术包括：量子计算。 AI已经无处不在 AI的沿革生成式AIGPT-4、Davinci、Curie...... 深度学习作为交叉领域，发展迅速监督学习supervised无监督学习unsupervised强化学习reinforcement深度学习deep机器学习Machine1.监督学习：一般分为训练和预测。例如：电子邮件是否是垃圾邮件的训练和判断。预测不准确可能会被修正。分类算法：欺诈检测、诊断。回归算法：预测、优化、洞察。2.无监督学习：没有已知的结果。通过借鉴数据中存在的结构来开发一个聚类或降维的模型。聚类：推荐、用户画像。降维：大数据分析、结构展示3.强化学习：受到行为主义心理学的启发，关注应该如何在环境中采取行动，以便使某种累积奖励的概念最大化。场景：游戏AI、知识获取、机器人导航。4.半监督学习：输入同时包含标签数据和无标签数据。输出时预测器或者分类器。 ChatGPT: 生成式AI的典型应用案例Generative AIGANTransformer based modelGPT based modelChatGPT Transformer——LLM的基础模型1.2017年，Google在一篇论文中描述了转换器模型（Transformer）。2.2021年，斯坦福大学的研究人员将Transformer描述为AI的基础模型（Foundation models）3.模式识别领域，转换器逐渐替代CNN/RNN模型（70%的AI论文）。Transformer的应用场景深度学习的一个分支 Transformer——LLM的基础模型Paper “Attention Is All You Need” (Google)：我们提出了一个新的简单的网络结构--Transformer，它只基于注意力机制，完全不需要递归和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上更胜一筹，同时也更容易并行化，需要的训练时间也大大减少。 Transformer——LLM的基础模型 LLM的广泛应用场景电子商务智能客服互联网搜索智能问答科学研究DNA排列分析软件开发代码生成产品营销智能分析客户反馈金融顾问分析财务和历史数据移动支付分析欺诈数据法律咨询法律法规和案例解读 目录➢ChatGPT等大语言模型的演进➢大语言模型用于网络攻击➢大语言模型用于网络防御➢大语言模型的安全展望 AI与网络安全的关系 AI用于攻击SANS Cyber Kill Chain Model： AI用于攻击枚举目标对象侦查立足点援助网络钓鱼多态代码nmap社工 AI与网络安全AI用于攻击攻击AI窃取AIAI被攻击 LLM的内在风险（斯坦福）AI公平性滥用经济环境法律道德 LLM的6维度风险LLM偏见与公平误用与滥用对抗攻击隐私泄露可持续结果的误导 LLM的内在风险：公平性 AI的偏见 LLM的内在风险：滥用 LLM的内在风险：滥用案例生成恶意代码定制钓鱼邮件输入企业机密数据 攻击AI的方式提取攻击（Extraction）闪避攻击（Evasion）投毒攻击（Poisoning）偷数据骗模型改数据 LLM攻防对抗——提取攻击Google, Stanford, UC Berkeley等联合发表的论文“Extracting Training Data from Large Language Models”指出：通过选择和批量处理Prompt，可以在用于训练的数据集中定位包含个人信息的样例（姓名、电话号码）。 LLM攻防对抗——闪避攻击对ChatGPT类的服务，绕过（闪避）的机制更加简单。例如，Do Anything Now；让AI扮演某个角色；甚至更换prompt（提问）的方式。【防御】1.提升安全意识2.确保有效的安全措施3.改进AI系统 LLM攻防对抗——投毒攻击对ChatGPT类的服务，已经“涌现”多种投毒攻击方案。例如，封装ChatGPT服务以窃取输入输出；替换ChatGPT的下载链接或者仿冒官网。【防御】1.仅使用官方服务（合法合规前提）2.确保有效的连接安全3.身份认证 LLM的内在风险：环境影响总价值= 社会效益+ 环境效益–能源成本–社会成本（碳排放）–二次影响 LLM的内在风险：法律风险模型训练模型预测输出保护“未经授权”访问服务器为刑事犯罪【影响】通过网络信息爬虫获得训练数据集的合法性。CFAA训练集中的数据可能受版权法甚至知识产权法保护【影响】训练数据集的合法性。版权法GDPR、CCPA、伊利诺伊生物识别法【影响】隐私数据主体的权利行使（删除权等）。隐私法预测的结果用于决策（自动驾驶、医疗诊断），模型可能承担责任。【影响】模型预测的法律侵权风险。侵权责任医药场景的使用，需要监管批准【影响】LLM的标准化部署及安全性。特定领域法律输出的结果（如合成语音）是否有版权、是否需要披露【影响】输出结果的广泛采用。输出的版权 目录➢ChatGPT等大语言模型的演进➢大语言模型用于网络攻击➢大语言模型用于网络防御➢大语言模型的安全展望 LLM用于防御：Google Sec-PaLM“以自然语言对话方式搜索、分析和调查安全数据，缩短事件响应时间......”——Google LLM用于防御：四种武器【检测器】恶意软件/垃圾短信的检测【百科书】可视化和说明安全知识【自动化】收集威胁情报【助手】有助于安全分析 LLM用于防御：AI文本检测器 LLM用于防御：代码漏洞检测器 LLM用于防御：信息查询的百科书 LLM用于防御：回答常见信息安全问题的百科书 LLM用于防御：威胁情报的自动化与集成 LLM用于防御：简单重复操作的助手 目录➢ChatGPT等大语言模型的演进➢大语言模型用于网络攻击➢大语言模型用于网络防御➢大语言模型的安全展望 数据安全的基本模型CIA三角DIKM模型智慧(M)知识(K)信息(I)数据(D)AI目标关联决策 负责任的AI AI的5种威胁来源威胁来源组织内部恶意非恶意安全研究者黑客学术/专业兴趣爱好竞争对手网络犯罪有组织犯罪、个人犯罪...... AI的6类数据资产全景视角数据：•数据集：已标注数据集、公开数据集•训练数据、原始数据、测试数据模型：•算法：训练算法、预测算法、预处理算法•模型：模型参数、模型调优、训练参数环境依赖：•云、主机、库、存储•计算平台、框架•通信算法与协议案例：ChatGPT 3月20日安全漏洞导致部分用户信息泄露，来自redis-py开源软件。 AI的8种威胁模型全景视角威胁：1.恶意活动/滥用：针对ICT系统、基础设施和网络的恶意行为，目的是窃取、改变或破坏指定目标。2.窃听/拦截/劫持：旨在未经同意监听、干扰或夺取第三方通信控制权的行为。3.物理攻击：破坏、暴露、改变、禁用、窃取或未经授权访问物理资产，如基础设施、硬件或互连的行动。4.无意损害：造成财产或人员的破坏、伤害或损伤、导致故障或降低效率的无意行为。5.故障或失灵：资产(硬件或软件)部分或全部功能不足。6.停止服务：服务的意外中断或质量下降到要求的水平以下。7.灾难：突发的事故或自然灾难8.法律：第三方基于合同的或其他方式的法律诉讼。 AI系统的威胁建模方法论（类似STRIDE）•确定目标系统•确定系统的安全属性1目标定义•系统、关键部件和交互•外部依赖2 系统架构梳理•关键资产识别（安全、隐私）3 资产识别•确定威胁来源•确定对资产的影响4 威胁识别•系统/资产的脆弱性•基于已知的攻击模式5 脆弱性识别 AI系统的6维度安全目标，以CIA为基础AI安全鲁棒性可信性透明度可解释性可问责性数据保护不同维度的影响：1.完整性-> 真实性：数据或者结果可能被篡改。2.完整性-> 不可抵赖性：操作者可以否认操作。3.完整性-> 可问责性：行为来源不可确定。4.可用性和完整性-> 鲁棒性：通过对可用性的攻击，破坏鲁棒性。5.机密性、可用性和完整性-> 可信性：数据被篡改导致结果不可信。6.机密性、可用性和完整性-> 透明度：AI的行为原因难以披露。7.机密性、可用性和完整性-> 可解释性：AI的行为归因困难，难以推理。8.机密性、可用性和完整性-> 数据保护/隐私：不同数据集的机密性导致推理。 可信AI的内涵可信AI鲁棒的AI合规的AI道德的AI•合规的AI：符合所有适用的法律和法规的要求。•道德的AI：符合道德原则和价值观。•鲁棒的AI：具备技术和业务的鲁棒性 谢谢！微信：csagcr 官网：www.c-csa.cn邮箱：info@c-csa.cn