基于 RAG 提升大模型安全运营效率实践

总结

如何监控所有的 whoami ?

研报探讨了如何监控所有执行 whoami 命令的行为，并分析了不同方法在安全日志分析中的适用性。

RAG 为什么适合分析安全日志 ?

大脑分析安全日志的机制

人类大脑通过感知输入、特征编码、记忆检索、推理决策和记忆巩固等步骤分析安全日志。

方案对比

• 方案一：黑白名单
  • 优点：简单直接。
  • 缺点：无法应对新增业务、新域名和多种攻击方式，且处理上千万日志时效率低下。
• 方案二：机器学习
  • 优点：能处理一定程度的上下文信息。
  • 缺点：相同词在不同上下文中意义不同，不同场景不通用，训练成本高，需定期重新训练，面对未出现过的样本表现差。

RAG 的优势

RAG（检索增强生成）通过存储检索知识、向量化检索结果、问题向量化生成回答，结合数据预处理、向量数据库、LLM、用户嵌入模型和知识文本，实现了更理想的特征编码、记忆检索/记忆巩固和推理决策，更适合分析安全日志。

理想的特征编码-文本嵌入模型

理想的文本嵌入模型应能准确捕捉上下文信息，例如：

• "北京的天气怎么样" 和 "北京的气候是xxx" 能被正确识别为相似问题。

大模型为什么不能取代我？

• 任务越多，幻觉越严重。
• 语料不足时表现差。
• 某些任务中表现不佳。
• 信息不足时无法给出准确结果。

提升大模型准确性的三个原则

1. 少做事：减少不必要的任务。
2. 扬长处：利用大模型的优势。
3. 给信息：提供丰富的上下文信息。

取代了但没有完全取代

大模型可以部分取代人工，但需要结合工作流提升准确性，包括告警日志、LLM判定场景、域名IP识别、自有资产库、威胁情报库、下载场景提示词、执行提权反弹 shell 等信息丰富化步骤。

理想的架构

• 告警日志。
• 文本嵌入模型。
• 知识库。
• 人工/LLM执行预案。
• 向量化检索。
• 相似已知类型标记。
• 设置预案未知类型。

演讲人：QDSD