LLM自动化渗透测试实证研究总结
背景与意义
当前LLM自动化渗透测试（AutoPT）领域存在系统性架构分析缺失、缺乏统一基准下的实证比较、研究集中于深度强化学习而非LLM范式、以及仅停留在宏观层面分析等问题。本研究首次对基于LLM的AutoPT进行系统化知识梳理，采用统一基准对13个开源框架和2个基线框架进行实证评估，并提出超过10个关键实证发现。
系统性梳理
Overall Comparison: Single-agent vs. Multi-agent
在13个框架中，3个单智能体设计位列前六，表现与更复杂的多智能体设计持平甚至超越：
- 单智能体优势：标准ReAct闭环（决策-执行-反馈链路极短）、零通信开销，适配CTF强耦合/快试错场景
- 多智能体劣势：角色边界模糊导致组件闲置、建议冲突与重复、通信损耗（摘要交互易致信息丢失）
Key Findings
架构复杂性是一把双刃剑，经过精细的简洁设计在效能上往往优于复杂编排
Fail Analysis: Common Reason
基于660份执行日志人工审查发现：
- 记忆设计形同虚设：67%的框架KB带来性能下滑
- 检索失配导致攻击假设偏移：Cruiser +15, LuaN1ao +7, CyberStrike +6
- 过度约束抑制骨干模型：Tinyctfer 68 < baseline-cc 69
- 多智能体角色边界失效：CHYing Docker闲置，sub-agent死循环重发任务
External Knowledge Analysis
传统RAG范式大概率失效，但高质量、强适配的领域RAG将是AutoPT必由之路：
- RAG工具触发率低，检索内容与目标环境不匹配会导致智能体采用错误的攻击假设
- 错误先验知识会误导智能体偏离实际漏洞面
- 例外情况：针对特定已知CVE的高质量PoC脚本可提供稳定正向作用
Foundation Model Analysis
通用Benchmark领先≠AutoPT场景最优：
- Gmini-Pro-3.1：输出发散，简单难度更轻松，复杂难度更困难
- Claude-Opus-4.6：综合实力强悍，Token消耗较低但价格昂贵
- 框架设计必须与模型特性深度适配
Tool Use Analysis
工具调用规模与框架表现无单调关系：
- 框架偏好固定结构，难度上升时扩大规模而非调整策略
- 原子工具为共性底层支撑
- 工具匮乏时框架退化为依赖原子工具手动编排，难以复现领域工具的专业执行能力
- 执行层常见问题：交互式提示引发的流程阻塞、工具输出膨胀导致的上下文溢、无约束执行带来的安全风险
Challenges-Specific Analysis
- Chained Vulnerability Exploitation：无框架能稳定拿Flag，70%日志未能进行多漏洞利用，显式记忆结构能有效提升多漏洞利用表现
- Known CVE Exploitation：16.7%日志未能关联相关CVE，56.7%未能构造有效payload，唯一稳定夺旗框架依赖指定CVE对应PoC
总结与展望
总结
F9CVE漏洞利用需要动态维护的、高质量且针对性强的知识库。记忆管理、规划与反思、工具调用与技能、外部知识库集成、框架安全管控、模型与框架协同、自动化日志审计是未来研究方向。
展望
- 记忆管理与架构：建立合理的关键信息显式存取机制，辅以边界清晰的多智能体职责划分
- 规划与反思：采用树/图状路径规划避免“兔子洞”陷阱，依托高质量记忆获取完整反馈信号
- 工具调用与技能：领域专用工具+“Skill”机制明确调用条件，摒弃工具盲目堆砌，提升框架对复杂输出的健壮性
- 外部知识库集成：探索面向渗透测试的专用检索范式
- 框架安全管控：基于沙箱隔离等机制的安全管控理应成为框架底层基础配置
- 模型与框架协同：不同基础大模型存在显著任务规划与工具偏好差异，框架设计必须与模型行为特征协同一致
- 自动化日志审计：研发面向AutoPT的高效自动化审计方法
