绿盟科技SecXOps安全智能分析技术白皮书

智能基座，开启安全分析新时代SecXOps安全智能分析技术白皮书2023 CONTENTSSecXOps安全智能分析技术白皮书2关于绿盟科技绿盟科技集团股份有限公司（以下简称绿盟科技），成立于2000年4月，总部位于北京。公司于2014年1月29日在深圳证券交易所创业板上市，证券代码：300369。绿盟科技在国内设有50余个分支机构，为政府、金融、运营商、能源、交通、科教文卫等行业用户与各类型企业用户，提供全线网络安全产品、全方位安全解决方案和体系化安全运营服务。公司在美国硅谷、日本东京、英国伦敦、新加坡及巴西圣保罗设立海外子公司和办事处，深入开展全球业务，打造全球网络安全行业的中国品牌。版权声明为避免合作伙伴及客户数据泄露,所有数据在进行分析前都已经 过匿名化处理,不会在中间环节出现泄露,任何与客户有关的具体信息，均不会出现在本报告中。 CONTENTS执行摘要0011ﾠ安全分析的发展背景和趋势0032ﾠ安全智能分析的挑战0062.1 数据治理 0072.2 模型开发 0082.3 模型交付 0092.4 模型运营 0102.5 AI 工程化 0103ﾠSecXOps 技术体系0123.1 概念内涵 0133.2 技术优势 0133.3 核心能力 0144ﾠSecXOps 关键技术0184.1 安全数据资产统一管理 0194.2 安全分析模型自动化调优 0264.3 安全分析模型核心服务部署 0334.4 安全分析工作流定制 0384.5 安全分析开发环境一键部署 0414.6 模型资源动态调度管理 047 5ﾠSecXOps 典型应用场景0515.1 加密流量检测的数据闭环 0525.2 Web 安全分析模型的持续优化 0565.3 工控协议识别算法自动化调参 0605.4 Webshell 安全检测的增量开发 0665.5 安全告警日志的工作流服务 0686ﾠSecXOps 技术发展趋势0727ﾠ总结075参考文献 077 001执行摘要执行摘要随着网络空间的攻击面的延伸和拓展，网络空间攻防双方信息不对称的现象愈发明显。伴随着攻防对抗态势的升级，自动化技术、智能化技术与安全分析技术融合的安全智能分析技术已成为网络安全技术发展的必然趋势之一。SecXOps即XOps for Security，以XOps与安全场景的融合为基础，由安全数据资产高质可信、安全模型全生命周期管理、安全模型高精度定制、安全模型自动化运营、AI工程化持续保障五大核心技术能力组成，在保证安全性的同时，减少技术和流程的重复，实现网络安全分析自动化、智能化进阶，是未来应对网络空间高级、持续、复杂威胁与风险不可或缺的关键技术之一。绿盟科技推出SecXOps安全智能分析技术白皮书《智能基座，开启安全分析新时代》，旨在对SecXOps概念内涵、技术优势、核心能力、关键技术和应用实践进行全面地总结与介绍，期望为读者带来全新的技术思考，助力网络安全智能分析实现自动化、智能化进阶。本技术白皮书的主要观点如下：智能分析是网络安全分析的必然趋势：随着网络空间攻防对抗态势不断升级演化，数字化时代的特征倒逼网络安全分析突破依赖安全专家的传统“人工”阶段，安全智能分析已成为网络安全风险治理与防控的必备条件之一。网络安全实战场景是安全分析应用的“试金石”：安全分析模型从实验室研究走进网络安全实战化的场景，走进常态化的日常安全监测中，面临着诸多挑战，只有以实战检测的方式来验证安全分析模型的价值，才能有效地促进安全分析能力的提升。 SecXOps安全智能分析技术白皮书002SecXOps成为提升安全分析自动化和智能化水平的关键：SecXOps将XOps实践应用到网络安全分析中，以支撑安全数据治理，安全模型训练、管理和监控，为网络安全的数据分析人员、ML工程团队、应用开发团队以及安全运营团队的协作搭建安全、兼容和经济高效的平台，从而实现基于AI安全模型的持续交付，完成网络安全分析技术与大数据和人工智能技术的深度协同融合，全面提升安全分析的自动化和智能化水平。促进SecXOps生态建设，共同推动网络安全分析智能化：SecXOps技术的研究和攻防场景应用实践仍然具备较大的上升空间，在理论方法、标准制定和模型运营等方面需要进一步的研究与探索，需要技术生态的构建，营造网络安全分析智能化大时代技术氛围。 01安全分析的发展背景和趋势 SecXOps安全智能分析技术白皮书004近年来，互联网、大数据和人工智能等技术都得到了飞速的发展，网络攻击的方法也越来越复杂，过去广泛、漫无目的的攻击威胁，在数年内迅速地转化为有目标、有组织、长期潜伏的多阶段组合式高级可持续威胁（Advanced Persistent Threat，APT）攻击。APT攻击有着复杂度高、对抗性强、特征隐蔽等特点，通常由有国家背景的相关攻击组织发起，实施窃取国家机密、重要企业的有价值商业信息、破坏网络基础设施等活动，具有强烈的政治和经济目的，严重影响网络空间稳定运行，造成国民经济损失，威胁国家安全。随着APT攻击等高隐蔽未知威胁的出现和演进，传统安全分析技术难以满足APT攻击检测的要求，亟需融合多手段的检测技术来应对种类日益多样化的安全威胁攻击。在安全威胁具有更强的杀伤力与隐蔽性的形势下，结合大数据和人工智能技术的安全智能分析成为新一代安全能力的关键，是网络空间安全的重要发展方向之一。基础级领先级卓越级基于专家经验与知识构建的知识库和预置的自动化匹配机制、流程，实现典型安全分析。基于机器学习和深度学习等技术，针对不同数据构建安全模型，从大规模数据中完成识别、检测和分类等任务。借助大数据和人工智能技术完成分析能力自适应的调整，智能地洞悉信息与网络安全的态势。图 1 网络安全分析发展阶段由于APT攻击等网络威胁利用大数据分析、自动化工具等先进技术来提升恶意攻击的效率和隐蔽性，倒逼网络安全分析突破依赖安全专家的传统“人工”阶段，进入安全智能分析阶段。安全智能分析运用人工智能技术从安全大数据中进行威胁检测分析，直接或间接地提高安全分析效率，在实际攻防实战中充当智能化助手的角色，帮安全分析员更加快速地定位威胁攻击，提升安全分析的自动化、智能化水平。回顾网络安全分析发展历程，可以将安全分析技术发展大致划分为三个阶段，包括基础级、领先级、卓越级，如图1所示，以下分别进行简要介绍。决策智能 005安全分析的发展背景和趋势近年来，互联网、大数据和人工智能等技术都得到了飞速的发展，网络攻击的方法也越来越复杂，过去广泛、漫无目的的攻击威胁，在数年内迅速地转化为有目标、有组织、长期潜伏的多阶段组合式高级可持续威胁（Advanced Persistent Threat，APT）攻击。APT攻击有着复杂度高、对抗性强、特征隐蔽等特点，通常由有国家背景的相关攻击组织发起，实施窃取国家机密、重要企业的有价值商业信息、破坏网络基础设施等活动，具有强烈的政治和经济目的，严重影响网络空间稳定运行，造成国民经济损失，威胁国家安全。随着APT攻击等高隐蔽未知威胁的出现和演进，传统安全分析技术难以满足APT攻击检测的要求，亟需融合多手段的检测技术来应对种类日益多样化的安全威胁攻击。在安全威胁具有更强的杀伤力与隐蔽性的形势下，结合大数据和人工智能技术的安全智能分析成为新一代安全能力的关键，是网络空间安全的重要发展方向之一。基础级领先级卓越级基于专家经验与知识构建的知识库和预置的自动化匹配机制、流程，实现典型安全分析。基于机器学习和深度学习等技术，针对不同数据构建安全模型，从大规模数据中完成识别、检测和分类等任务。借助大数据和人工智能技术完成分析能力自适应的调整，智能地洞悉信息与网络安全的态势。图 1 网络安全分析发展阶段由于APT攻击等网络威胁利用大数据分析、自动化工具等先进技术来提升恶意攻击的效率和隐蔽性，倒逼网络安全分析突破依赖安全专家的传统“人工”阶段，进入安全智能分析阶段。安全智能分析运用人工智能技术从安全大数据中进行威胁检测分析，直接或间接地提高安全分析效率，在实际攻防实战中充当智能化助手的角色，帮安全分析员更加快速地定位威胁攻击，提升安全分析的自动化、智能化水平。回顾网络安全分析发展历程，可以将安全分析技术发展大致划分为三个阶段，包括基础级、领先级、卓越级，如图1所示，以下分别进行简要介绍。决策智能●●基础级基础级的安全分析技术基于专家经验与知识构建的知识库和预置的自动化匹配机制与流程，实现典型安全分析，利用安全专家的知识和解决问题的方法来分析安全数据。该阶段面向不同的应用场景，需要专家编写指定的检测规则，以列表结构、树结构、图结构简单组织的规则逻辑结构，分析场景下的攻击行为。然而，随着攻防技术的快速迭代和升级，攻防场景与流程的细化，此类分析方法逻辑的完备性在大数据场景下迎来关键挑战，针对攻击的误报率、漏报率和整体准确性性能衰减很快，难以有效自适应演化，过度依赖专家资源，可维护性低，能够支撑分析的场景愈发受限。●●领先级领先级的安全分析技术面向不同的网络安全数据，包括安全环境数据（资产、资产脆弱性、文件信息、用户信息），行为数据（网络侧检测告警、终端侧检测告警、文件分析日志、应用日志、蜜罐日志、沙箱日志），情报数据（各类外部威胁情报）以及安全知识数据（ATT&CK）等，基于机器学习和深度学习等技术，针对不同数据构建安全模型，从大规模数据中完成识别、检测和分类等任务。虽然在诸多网络安全分析的场景下基于机器学习和深度学习等安全模型取得了重要的突破，但是随着数据的变动，传统的构建安全模型分析的方法无法有效地完成模型运营，导致在面对APT等高级复杂攻击技战术分析时，安全模型分析的结果仍需要深度的专家参与的研判与关联分析来判定安全分析的业务价值，限制了安全分析自动化、智能化水平的提升。●●卓越级卓越级安全分析借助大数据和人工智能技术完成分析能力自适应的调整，能够更加智能地洞悉信息与网络安全的态势，更加主动、弹性地去分析新型复杂的威胁和未知多变的风险。自适应安全分析采用安全分析工程化的最佳实践提升安全分析的自动化和智能化水平，在确保可靠性、可用性和可重复性的前提下，减少技术和流程的重复，实现安全分析能力的持续交付，发挥安全分析技术在安全领域的巨大潜在价值，推进网络安全智能不断走向成熟，是分析网络空间高级、持续、复杂威胁与风险不可或缺的技术基础。 02安全智能 分析的挑战 007安全智能分析的挑战随着各个国家的重视和布局，大数据技术和人工智能技术发展迅速，相关自动化与智能化的识别和处理能力、数据分析能力逐渐与网络安全技术进行了深度协同，对网络安全的技术、方法、应用产生了重要影响，促进了网络安全技术的变革性的进步[1]。可以预见的是安全数据采集和安全智能数据分析技术的成熟将会大幅提升网络安全威胁检测、网络安全风险评估等关键安全防御环节的效率，大幅减少对网络安全专家的依赖，有效地降低企业、组织乃至国家级关键信息基础设施、数据资产的整体安全风险[2]。因此，安全智能分析能力的提升已经成为安全能力落地、发挥网络安全防御有效性和对抗APT等高级威胁最直接、最关键的环节之一。面对日趋白热化、持续化的网络攻防对抗环境，安全智能分析也在多个方面面临着诸多挑战。2.1 数据治理企业数字化转型浪潮的来临，多源异构数据的爆发式增长，使数据治理得到了企业的普遍关注和重视。大规模数据蕴藏的巨大潜在价值吸引着攻击者对集中存储的数据进行窃取、对海量数据的管理是企业亟待解决的一项艰巨任务。数据治理旨在解决数据在生产、管理和使用中面临的各种问题。从数据源汇入开始，在数据清洗、数据存储、数据分析、数据服务等数据生命周期涉及的所有环节中，数据治理对企业内部的数据集进行规范和定义，并结合企业自身数据现状，为各个环节提供持续的治理服务[3]。随着企业数字化程度的提升，数据治理的需求和复杂度也会增加。由于安全领域自身的特点，数据治理面临着以下挑战：●●数据采集：网络安全领域数据壁垒问题严重，安全数据作为敏感数据，往往分布在各个数据持有者手中，数据采集缺乏可访问性和采集渠道，导致采集的安全数据集不完整、