AI Infra安全体系构建与边界思考

张华 AI技术变革带来新的新生隐患 人工智能与大模型的风险组成结构 大模型的安全风险结构:模型本体+运行环境+应用场景 •敏感信息泄露风险：越狱攻击输出受控内容； •应用开发安全风险：编码规范、风险开源组件；•应用服务风险：api攻击，web服务攻击、ddos攻击；•业务安全风险：批量注册、恶意引导、内容爬取；大模型运行环境安全 •开发框架风险：框架漏洞(包含组件漏洞)；•开放数据集及训练工具风险； •污染的开放数据集风险；大模型本体安全 •prompt指令数据泄漏；•基础设施自身的安全性：操作漏洞风险、计算资源漏基础设施层安全 •基础设施的运维安全性：误操作、违规操作； 随着2026年⾦融⾏业全⾯迈⼊⼤模型应⽤阶段,传统的IT基础设施正在向AI Infra演进,⾯对急剧扩⼤的攻击⾯，⾦融机构亟需从战略⾼度重构安全体系。 训练数据投毒、隐私数据泄露及⾮授权访问模型安全⻛险 制定企业级AI使⽤规范，明确数据分类分级标准，从顶层设计规避合规与伦理⻛险，确保大模型应⽤可控。 >50%提⽰词注⼊与越狱攻击 恶意提⽰词注⼊、越狱攻击及模型输出幻觉基础设施⻛险 在模型输⼊输出端建⽴双向过滤机制，实时拦截恶意提⽰词注⼊，并对敏感输出进⾏脱敏与阻断。 供应链⻛险 内部员⼯违规操作违规向公共大模型上传企业敏感数据 合规与伦理⻛险违反数据出境规定及⽣成式AI监管合规要求 微隔离，遵循最⼩权限原则，防⽌横向移动攻击。 基于MECE原则（相互独立，完全穷尽），⼤模型及AI应⽤的⻛险构成 模型输出包含训练集中的敏感数据 ⿊盒决策⽆法满⾜⾦融监管 微⼩扰动导致模型产⽣严重 引⼊包含后⻔的第三⽅组件库 算⼒资源被⾮法占⽤或横向Api接口鉴权 跨境数据违规传输 数据污染 提⽰词注⼊ 调⽤海外大模型api导致敏感 恶意篡改训练数据导致模型逻辑偏差 违规上传 容器逃逸 预训练模型⻛险 传⾄公有云大模型 害内容 模型幻觉⽣成看似合理但完全虚假的内容 AIAgent大面积应用引入的安全风险 AIAgent（OpenClaw）爆发式演进 “a dangerous preview of agentic AI, demonstratinghigh utility but exposingenterprises to ‘insecure bydefault’ risks like plaintextcredential storage.” Local-First自托管、多渠道交互、强执行能力的Al Agent引擎 社区热度： GithubStar270K+ OpenClaw展现了极高的实用 认不安全"风险，包括明文凭证存储与失控执行。 AIAgent大面积应用引入的安全风险 云端OpenClaw的整体架构及安全风险 AIInfra安全体系的构建 AI安全体系构建：技术层 “安全左移”，在AI开发初期嵌入隐私与合规设计（Privacy by Design）。例如，通过研发专门的AI安全模型，可以有效检测和防御对抗样本攻击，保护系统的安全性。 统一管理模型训练与部署风险，制定AI攻防演练标准，模拟红蓝对抗场景。例如，AI安全运营团队可以通过定期进行攻防演练，发现和修复系统中的安全漏洞，提高系统的安全性。 （Privacy by Design），从源头上保障AI系统的安全性。例如，在AI模型的开发过程中，可以采用隐私保护技术，如差分隐私和同 态加密，确保数据的隐私和安全。 AI安全体系构建：治理层 统一管理模型训练与部署风险，制定AI攻防演练标准，模拟红蓝对抗场景。例如，AI安全运营团队可以通过定期进行攻防演练，发现和修复系统中的安全漏洞，提高系统的安全性。 对抗场景，通过实战演练提高防御方的应对能力。例如，通过模拟红蓝对抗场景，防御方可以更好地了解攻击者的 攻击特征库，及时发现和应对新的攻击手段。例如，通过共享威胁情报，各企业可以及时了解最新的攻击手段 和趋势，提前做好防范措施。 攻击手段和策略，从而制定更有效的防御措施。 AI安全体系构建：合规层 征库，及时发现和应对新的攻击手段。例如，通过共享威胁情报，各企业可以及时了解最新的攻击手段和趋势，提前做好防范措施。 成式人工智能服务管理暂行办法》，欧盟《人工智能法案》），建立适当的AI风险控制框架和审计标准。例如，企业需要遵守相关法规和标准，建立健全的AI风险控制框架和审计标准，确 定期进行风险评估和审计，确保AI系统的安全性。例如，企业可以通过定期的风险评估和审计，发现和修复系统中的安全漏洞， 提高系统的安全性。 保AI系统的合法合规运行。 AI安全体系构建：伦理层 源模型生成深度伪造内容），倡导“负责任AI”开发准则，平衡创新与安全。例如，通过限制AI技术的恶意应用，可以防止其被用于生成虚假内容或 模型行为，确保其符合伦理道德准例如，AI伦理审查委员会可以通过定期评估模型的行为，发现和纠正 创新与安全，确保AI技术的健康发例如，开发者在开发AI模型时，需要遵循“负责任AI”开发准则，确则。 模型中的伦理问题，确保其符合伦理道德准则。 保模型的公平性、透明性和安全性。 实施犯罪行为。 AIInfra安全体系的应用实践 大模型风险评估 模型应用：危害用户网络安全、企业资源损失。 围绕大模型的生命周期，根据不同阶段的风险制定对应安全防护措施 RCE：应对AI时代的新型风险 风险2：滥用AI执行操作 风险1：滥用AI读取内容 场景表现：读取账户密码、短信验证码、敏感聊天记录、定位日程等 风险特征 风险特征场景表现：自动执行转账支付、自动删除重要数据、下载恶意应用等 ➢无关联的局部访问量激增➢重复且高频的API访问➢调用不常被调用的内部API➢访问冗余页面/API/扩展参数等检测手段 获取超出正常操作所需的系统权限使用Hook或注入方式攻击快速执行操作，操作时间异常重复且高频的模拟操作，INJECT_EVENTS等检测手段能力模块 识别高危机型、是否安装高危应用检测出申请和使用非必要权限的应用，例如摄 ➢AI系统级手机助手 检测设备系统多开、注入、HOOK等高危风险 RCE策略引擎 ➢AI辅助模拟点击 大模型运行环境保障 LLM-WAF为专为大语言模型设计的智能安全防护网关，提供多模型、多场景、高并发环境下的全链路防护能力支持实时检测并拦截针对大模型的算力滥用、提示词攻击及数据泄露风险，助力企业构建可信、稳定、可持续的大模型服务生态。 AIAgent安全防护 构建宿主层、Runtime层及网络层的纵深防御体系 提示词注入攻击检测/ Web攻击检测OpenClaw提示词内容合规检测与拦截网络层流量审计和溯源Agent权限管理 tools Call检测和高危操作防护破坏性文件拦截 Skills⻛险扫描OpenClaw运行管控和隔离主机行为层会话审计和⾏为审计密钥沙盒 PC端OpenClaw整体安全防护体系 恶意样本伪装Skill：海量攻击者 传统通道外泄：AI-Agent可能会 全流程监控：Agent在终端运行 禁止安装：禁止员工安装各类AI- 调用各类常规软件软件（网盘/云笔记等）产品数据外泄行为，需要及时发现并封堵外泄行为AI通道外泄：AI-Agent自身也存在 外 泄 场 景，如 元 宝/豆 包将恶意样本伪装成正常Skill，诱导用户安装，需要及时发现安装行为并阻断攻击入侵路径沙箱内运行：部分行业客户想在隔离环境安全使用Agent，但又 过程中，需要全流程行为监控，以防出现高危操作行为（如删除文件）可信应用访问：企业内部部分敏感应用允许真实用户访问，但不允许AI-Agent进行访问，需要针对应用做动态访问控制检测苦于没有合适的云环境，希望终端上有沙箱环境可使用 Agen进 行 办 公（Cursor/Tare等），避免出现数据外泄风险禁止访问对应网站：禁止员工访 工私自下载安装风险 /Cursor/OpenClaw等，需 要 及时封堵这类新型通道 确保仅合规且安全的Agent进入环境。 合规检测软件管控 实时监控与动态隔离，阻断高风险行为。 进程监控网络管控Skill检测 资产台账 谢谢观看THANKS