包沉浮：百度基于大模型安全运营的质效提升实践
演讲人：包沉浮 目 录 01背景和挑战 02系统设计与实践 03 01背景和挑战 大模型时代的网络安全 大模型加速社会数字化、智能化转型的同时，也带来更严峻的网络安全挑战 大模型技术可被用于网络攻击 大模型的规模引发新的安全风险 •大模型生成恶意代码和自动化攻击•利用生成内容进行社会工程攻击•绕过传统安全防护和检测机制 •算力、数据、算法的规模持续爆发•系统复杂度和场景应用的丰富度持续增长•引入新风险类型的同时，传统安全风险倍增 大模型为网络安全行业带来机遇 大模型在安全运营场景的潜在应用 安全运营：通过技术、流程和人员协同工作，持续监控、检测、预防和响应各种网络安全威胁的过程，确保组织的系统、数据和网络的安全 告警研判-百度安全运营核心环节 100,000+ 1,000+ 20+ 每天新增告警 告警来源大类 告警规则 仅Splunk规则800+Yara规则、自定义脚本等多种规则类型 OA:EDR、邮件、AV、AD、NTA等等IDC:HIDS、RASP、蜜罐等等 无效告警多 真实攻击很可能淹没于其中 需安全专家手动研判分析 多级纵深威胁感知及防御对抗 生产网（IDC）主机60w+、容器数量1000w+ 办公网（OA）设备数量10w+ 告警研判质效难以保障 探索引入大模型技术，提升告警研判质量与效率，完善和优化研判流程 02系统设计与实践 安全运营场景大模型应用的挑战 端到端大模型研判方案面临的问题 错判漏判混杂 部分告警类型适应性差 针对不同风险的告警，具有特殊性或复杂性，统一的处理流程无法覆盖所有告警，部分告警类型适应性比较差，易发生误报和漏报 大模型决策无法百分之百准确，告警漏判错判并存，为防止遗漏，告警通常需要人工参与确认，AI结论发挥作用不大 研判过程不可控 缺乏决策透明度 大模型依赖数据决策，考虑到训练数据的偏差性，研判环境的动态性，大模型研判思路通常与实际研判过程差异较大，大模型实际研判思考过程不可控，导致研判结果不受信任 大模型决策缺乏透明度，解释有限，表达方式随机性强，研判依据不够明确，阅读耗时，影响大模型研判结果的直接采纳 综合分析能力不足 研判能力评估困难 大模型无法全面覆盖所有安全威胁的分析能力，可能忽略告警数据细节，缺乏额外的分析视角和数据来源，整体研判的准确性和全面性受影响 告警黑样本需长期收集，对于新发风险类型，真实环境黑样本数量稀少，占比低，多样性不足，研判能力上线前缺乏有力的离线评估结论 02系统设计与实践 大模型告警研判方案 百度安全大模型研判方案 告警分类及能力建设优先级分析 通用告警研判能力，对部分告警类型适应性差，易发生误报和漏报问题。因此，基于观测到的告警数据，按告警对应的规则分类，统计不同类型的告警表现，采用抓大放小的原则，确定告警研判能力构建优先级，逐一建设覆盖不同类型的告警研判能力。 动静结合的AI研判流程规划 直接采用大模型研判，研判思路与实际运营研判过程差异较大，导致AI研判结果不具有说服力。基于专家经验和告警数据具体情况，控制大模型研判思考过程，完成不同告警的研判流程规划。 AI研判流程规划-具体案例 plan钓鱼邮件研判流程，属于研判流程不固定的告警类型。通过离线能力建设，建设钓鱼类研判流程；获取具体告警数据后，在要点发现环节完成流程补充，形成具体研判流程，开展研判。 研判工具建设 在研判能力构造过程中，通过沟通专家经验，人工发现工具需求；或者利用大模型的AI研判要点发现能力，允许大模型创造工具需求。针对工具需求，选择基于AI的语义理解能力，结合信息获取类工具，实现AI工具建设，或者接入常规工具能力，完成研判工具集建设。 环境知识构建 研判要点分析环节，除了对工具的使用外，还需要获取知识，尤其是环境知识，进行研判需要信息的补充。为此构建底层资产图谱，从机器，进程，文件，人员，场景等方向刻画研判环境。 面向无风险遗漏的AI综合研判能力 选择以精确判白、无风险遗漏为目标的重风险召回AI研判，确保对有风险的告警100%召回，运营人员可以信任AI研判的无风险结论，仅对AI报风险的告警进一步研判，提升研判效率。 可解释性输出模板设计 大模型决策缺乏透明度，表达方式随机性强，研判依据不够明确，影响大模型研判结果的直接采纳。设计可解释性强的输出模版。 基于AI的多样性攻击数据合成 日常告警数据中，高风险告警数量比例极低，收集到的高风险告警多样性不足，因此，告警研判能力上线前，通常缺乏大量数据支撑的评估结论，是当前告警研判能力建设的难题之一。利用大模型合成多样性攻击数据，实现研判能力充分评估。 百度安全大模型研判效果 03未来展望 大模型原生的安全运营中心 由自动化向智能体化 自动化 智能体化 智能化 大模型原生的安全运营中心 安全运营中心设计从以人为中心、AI（大模型）为辅助的理念，转向以大模型为中心，人为辅助的理念 THANKS 大模型正在重新定义软件Large Language Model Is RedefiningThe Software
