AI安全威胁风险矩阵与AI+安全技术应用实践

AI安全专家 nEINEI 研报总结

一、专家背景

• nEINEI，曾就职于Intel Security/McAfee Labs，长期从事安全研究，包括AI安全、高级威胁对抗、漏洞利用技术等。
• 感兴趣领域：大模型应用安全、AI代码保护、高级漏洞利用、APT威胁分析以及Bootkit/Rootkit检测技术等。
• 专注于AI+安全技术应用落地实践，包括AI框架/组件安全、AI赋能安全等领域。

二、AI安全问题

• 模型后门攻击：通过精心构造的输入数据中的触发器，导致模型输出行为具有可控的结果。
• 逻辑控制-另类模型后门攻击：利用模型后门，通过条件控制，构造KROP语义片段，编码隐藏的信息，触发关键节点。
• 返回导向编程(ROP)：利用程序中已有的代码片段（gadget）绕过安全防护机制，实现任意代码执行。
• 隐写术-模型可以当作代码来用：将恶意软件嵌入神经元，通过模型参数信息组合为新的shellcode，运行时解密，暗中执行。
• 数据攻击-bitflip让模型混乱：通过位翻转篡改模型参数，导致模型输出结果被控制。

三、安全建议

• 条件控制：计算图的拓扑结构，检查可疑的条件分支；计算图生成加密哈希值；运行时异常检查。
• KROP：分析用户输入的潜在意图，追踪对话历史中的关键词关联性，严格限制输出权限，禁止直接执行高危指令。
• 编码隐藏信息：对部署运行的代码进行分析与运行时监控。
• 触发网络关键神经元：对抗训练/正则化/合理量化减少权重干扰影响，隔离敏感权重存储区域，限制非授权访问，对存储的权重进行加密，仅在推理时解密。