大模型安全：风险治理与未来防护之道

专家系统1968知识表征1974XCON 1980支持向量1995语义网络线路图1998AlexNet 2012ResNet 2015联邦学习2016Transformer 2017NLP神经网络2013算力瓶颈1990计算机视觉1976深度学习2006条件随机场2001图神经网络2005BP算法1986“大模型”时代感知机1957AlphaGo战胜李世石2016AI超越图灵测试的人工智能标准，使机器开始像“人”一样与用户交流。以大模型生成技术为核心的人工智能正在成为下一轮经济增长的关键动力，也为解决产业痛点带来了全新的思路。AI技术带来新的生产驱动力，企业数字化进入“大模型时代”深蓝击败卡斯帕罗1995达特茅斯会议1956 大模型企业应用十大常见安全风险样本投毒（数据污染）恶意利用（Prompt注入攻击）代码辅助工具数据泄露（第三方代码辅助工具）第三方代码依赖风险（开源模型/库污染）自动化Agent权限滥用0102030405 0607080910 训练数据隐私泄露模型推理劫持（对抗样本攻击）AI伦理与偏见放大开源模型滥用（深度伪造与辅助犯罪） 人工智能与大模型的风险组成结构大模型安全端到端过程的风险分析 •敏感信息泄露风险：越狱攻击输出受控内容；•应用开发安全风险：编码规范、风险开源组件；•应用服务风险：api攻击，web服务攻击、ddos攻击；•业务安全风险：批量注册、恶意引导、内容爬取；大模型应用的安全风险结构大模型应用安全•开发框架风险：框架漏洞(包含组件漏洞)；•开放数据集及训练工具风险；•污染的开放数据集风险；大模型运行环境安全•数据泄露的风险(私有数据集、模型文件、个人隐私)；•供应链安全风险：木马后门、组件漏洞；•越狱风险；•prompt指令数据泄漏；大模型本体内生安全•基础设施自身的安全性：操作漏洞风险、计算资源漏洞风险权限设置不当风险；•基础设施的运维安全性：误操作、违规操作；大模型基础设施安全训练推理部署 大模型风险评估与控制 大模型安全治理框架安全治理：腾讯大模型安全治理框架部署环境安全训练过程安全安全基准安全运营安全管控计算环境安全访问与身份安全网络安全模型训练模型推理及部署模型应用模型安全大模型安全标准Red teaming大模型安全治理框架满足监管要求，提供安全、可控、可靠的服务 业务阶段模型训练安全风险安全防护训练数据泄露训练代码泄露安全隔离专区敏感数据防外传/防删除主机安全防护核心技术基础服务组件/AI组件风险后门植入风险账号盗用风险未授权访问风险数据库访问控制基础设施安全风险大模型安全防护整体架构围绕大模型的生命周期，根据不同阶段的风险制定对应安全防护措施和策略重点5：智能体与MCP身份和特权防护 模型架构泄露模型参数泄露推理部署数据独立隔离存储主机操作审计&监控代码安全扫描内外部安全众测密码学技术机器学习图计算分析腾讯大模型安全防护方案模型输入安全安全合规风险提示注入风险数据投毒风险内部横向移动风险漏洞入侵风险钓鱼攻击风险弱密码风险数据加密防篡改Prompt安全检测重点4：数据安全全流程安全治理 边界与API安全：腾讯LLM-WAF大模型智能安全防护网关企业用户平台用户提问内容模型返回内容APPWeb小程序请求风险消耗拦截不当内容提示词攻击正常返回LLM-WAF大模型安全防护平台大模型业务安全防护大模型生成内容安全过滤注入攻击BOT攻击API越权算力消耗内容安全提示词攻击数据泄露WAF +大模型安全引擎多模型接入安全策略内容策略自定义敏感库数据分级分类引擎：身份证、手机号、社保卡、护照号、银行卡等混元内容安全大模型：社会、政治、色情、违法、其他不当内容LLM-WAF为专为大语言模型设计的智能安全防护网关，提供多模型、多场景、高并发环境下的全链路防护能力支持实时检测并拦截针对大模型的算力滥用、提示词攻击及数据泄露风险，助力企业构建可信、稳定、可持续的大模型服务生态。 请求风险不当内容数据泄露提示词泄露正常返回大模型服务源站Deepseek混元大模型Qwen2.5阶跃星辰 腾讯AI-SPM，大模型攻击面和漏洞管理系统，保护大模型基础设施运行环境，及时发现和处置安全风险内部实践孵化：云安全中心AI-SPM主要功能风险态势感知：腾讯AI-SPM，大模型安全态势感知系统组件识别（50+）•网络指纹测绘•主机层指纹匹配资产测绘资产关联•资产的暴露状态与路径•资产的全量风险主机安全•大模型组件的漏洞检测（200+）•组件的配置风险检测大模型风险检测网络扫描•POC形式的精准检测（20+）•基于版本的漏洞识别（200+）•针对大模型组件漏洞的攻击行为（6类漏洞）大模型网络攻击示警 数据采集大模型应用生产数据存储数据处理数据筛选数据转换数据标注数据清洗模型开发模型评估模型精调参数调整存储层数据工程师算法工程师数据溯源KMSTSM特权与数据访问数据库安全审计数据库防火墙数据访问开发测试库静态脱敏数据库安全审计同步仿真数据数据访问传输分布式训练开发测试参数调试数据导出模型训练模型评估数据访问mySQLTDSQLCOSVDB…………开发工程师算法工程师开发工程师动态脱敏静态脱敏数据加密敏感数据分类分级风险评估与监测数据防泄漏数据安全审计分类分级风险评估风险监测运营管理静态脱敏动态脱敏数据溯源数据防泄漏机密计算平台数据溯源数据防泄漏动态/静态脱敏数据加密敏感数据分类分级风险评估与监测数据防泄漏数据安全审计数据安全：大模型的全生命周期数据安全与隐私保护 接口输入、内容预处理、模型识别、策略辅助、平台调度分析、人工标注运营共6个维度为大模型的训练和推理提供有效支撑模型训练阶段模型优化阶段内容安全：天御内容风控平台，大模型的内容安全实践 内容生成阶段 攻防对抗与情报：大模型安全Red Team对抗实践以腾讯的安全专家能力为基础，深度了解大模型的原理和机制，建立针对大模型的安全测试方法，主动发现大模型及生态存在的（漏洞）风险，为混元的全生命周期保障护航LLM渗透测试侧重于测试和保护大型语言模型(LLM)和自然语言处理(NLP)系统。目标系统LLM系统中的漏洞和攻击向量是这些系统中使用的技术所独有的。示例包括提示注入、模型提取。漏洞和攻击向量LLM渗透测试需要专门的技术和工具。示例包括OpenAt-tack和TensorFlow Pr-ivacy。测试技术和工具为了有效地进行LLM渗透测试，需要对NLP、语言模型有深入的了解。技能和知识 大模型安全Red Team：大模型安全性测试基准基础设施安全研究大数据平台数据标注平台在线编码机器学习平台模型评测平台算力平台通用漏洞评测远程命令代码执行XSS漏洞SSRF漏洞敏感API信息泄漏对话篡改漏洞沙箱/容器逃逸红蓝对抗演习安全有效性验证数据安全攻击防御应急响应腾讯AI安全团队蓝军实战攻防AI安全研究腾讯AI RedTeam建设，聚焦实战攻防与AI安全研究以腾讯的安全专家能力为基础，深度了解大模型的原理和机制，建立针对大模型的安全测试方法，主动发现大模型及生态存在的（漏洞）风险，为混元的全生命周期保障护航 提示注入对抗后缀指令劫持字符Fuzz对抗样本Prompt安全沙箱容器开源组件框架越权漏洞拒绝服务漏洞风险收敛外网资产内网资产 感谢聆听