腾讯（黄羽）：基于安全湖的PB级安全数据智能分析方案

【能源×安全】 基于安全湖的PB级安全数据智能分析方案 1.安全分析问题与挑战2.腾讯安全湖解决方案3.腾讯安全湖产品亮点4.腾讯安全湖案例分享 目录 01 安全分析问题与挑战 安全数据分析存在的问题 安全数据，因其海量的数据规模、快速的数据流转、复杂多样的数据类型导致“安全数据价值难以发挥” PB级安全数据智能分析的挑战 挑战3：长周期数据分析慢且难，回答不了是否已经被攻击，被攻击范围和影响面问题 挑战1：海量安全数据规模，种类多难管理，使用效率低 安全数据分析解决方案建设目标：实现PB级安全数据智能分析 安全数据分析需要：“高性能数据平台”+“一体化智能分析引擎” ➢安全数据规模：弹性扩容，近乎无限的存储量➢数据使用成本：成本降低，尽量减少成本损耗➢数据分析效率：效率提升，极致提升查询效率➢一体化智能化：架构领先，安全数据智能分析 解决数据存储和使用成本问题，提高数据查询速度具备180天以上对原始数据的事件调查和威胁狩猎实现海量安全数据实时分析 腾讯安全湖解决方案 腾讯安全湖解决方案：业内领先的海量安全数据实时分析平台 腾讯安全湖产品：是一款云原生、低成本、高性能、全栈国产化的安全大数据分析平台，为所有泛安全数据提供一体化的数据接入、解析、存储、智能分析、检索、报表和可视化等服务。 腾讯安全湖产品特点：具备完整的安全数据分析和应用扩展能力 云原生一体化安全数据分析平台 内置核心APP、具备“插件化”应用开发能力 提供API/SDK构建完整的安全数据应用生态体系 网络安全防御进入深水区，安全运营管理亟需从被动防御转化为主动防御思维，利用技术手段从海量安全数据中挖掘价值 适用场景/解决问题一：全流量数据存储与深度分析回溯 😠同行公司出事了，我们是不是下一个？ NDR网络威胁检测提供源数据 隔壁某电力公司，最近被黑客入侵了，影响很不好。调查说黑客潜伏了快半年才动手。 ✓基于全流量的威胁情报&APT检测✓情报回溯，排查是否有历史失陷✓漏洞回溯，排查是否有历史入侵✓威胁狩猎(APT、最新漏洞攻击），主动发现✓仪表板可视化分析（如安全态势分析、弱密码分析及整改情况、流量态势、源IP和目的IP画像等）✓可支持180天以上的全流量分析、调查取证、回溯和可视化 我们公司安全情况怎么样？有没有被入侵过？有没有潜在风险？影响到哪些业务？有没有在解决？ 😫效率慢，无法长周期存储数据，难以回答关键问题 领导，我们回去调查下，下周回复您。需要花点时间跑数据和排查。 😄实时回溯全流量长周期数据，快速解答安全态势问题 领导，针对最新攻击，我们一直在实时监控过去半年的数据情况，重点业务甚至回溯一年数据 从数据图表来看，我们过去半年没发现这类攻击，但发现多起尝试攻击行为，说明黑客一直在尝试突破a、b部门。另外x部门经上次弱密码整改后，对比半年前少了90%的弱密码问题，我们在持续推进 适用场景/解决问题一：全流量数据存储与深度分析回溯 集成NDR网络流量数据，扩展流量检测能力并支持长周期回溯流量数据 适用场景/解决问题二：APT攻击识别与威胁回溯 😠监管部门要求排查企业有没有潜伏APT（“APT扫雷”） ✓APT/高级威胁狩猎：基于威胁情报IOC、ATT&CKTTP✓HW&攻防对抗场景：HW前潜伏的威胁✓高级威胁场景：潜伏的、未被发现的威胁 我们之前应合规存的数据还在吧，先查查有没有被APT攻击，影响面多大。提前应对监管 😫效率慢，无法长周期存储数据，难以回答关键问题 领导，我们回去调查下，下周回复您。需要花点时间跑数据和排查。 😄实时APT威胁狩猎和情报回溯，快速解答APT扫雷问题 领导，针对最新威胁情报和APT攻击特征，我们一直在实时监控过去半年的数据情况，重点业务甚至回溯一年数据 从数据图表来看，我们过去半年没发现APT，但发现多起尝试攻击行为，说明黑客一直在尝试突破a、b部门。 适用场景/解决问题二：APT攻击识别与威胁回溯 针对热点APT组织进行攻击回溯并持续跟踪，使用威胁情报进行扫雷 适用场景/解决问题三：0day漏洞及时响应与风险排查 😠最近业内爆发新漏洞，担心自己中招 最近某某漏洞新爆发，国内国外好多公司系统瘫痪了。我们现在什么情况，有没有这个0day的入侵迹象，接下来怎么应对？今天给我答复 😫效率慢，无法长周期存储数据，难以回答关键问题 领导，我们回去调查下，今天可能无法完整回复您。需要花点时间跑数据和排查。 😄实时0day漏洞风险排查，快速解答应急问题 领导，针对最新的0day漏洞，我们刚回扫了过去半年的数据情况，重点业务甚至回溯一年数据。从数据图表来看，我们过去半 年没发现此漏洞攻击迹象，但发现多起尝试攻击行为，说明黑客一直在尝试突破a、b部门。 适用场景/解决问题三：0day漏洞及时响应与风险排查 通过0day漏洞回溯，发现历史数据中的攻击行为信息主动识别攻击痕迹，通过使用系统内置或自定义创建的狩猎规则，快速寻找可疑的异常或正在进行的攻击痕迹，进行 ⚫0Day(最新漏洞）攻击的防御具有滞后性（数天/周），滞后期间存在巨大的安全风险。 ⚫漏洞信息发布数天/周后，对应的防御规则才会更新到现有产品/方案中。 ✓持续狩猎，基于数据和征兆进行安全分析，事前主动防御 适用场景/解决问题四：对现有SOC架构做升级优化 以某实际项目为例，客户200TB数据使用安全湖仅需3台硬件，使用开源软件需近20台硬件，硬件开销降低至15%。 极致的数据压缩比大幅降低存储成本海量日志存储不是负担 高效的检索效率大幅提升数据使用体验毫秒级查询关键日志 适用场景/解决问题五：对标Splunk，快速构建数据库审计等安全场景 聚焦于高性能数据底座基础上安全场景应用 ➢安全态势可视化：API安全/DNS安全/数据审计/AD域/NDR/IOA ➢安全检测：预置腾讯情报检测规则，支持开源情报、第三方商业情报；自定义规则，如SQL注入、代码注入、命令执行、XSS、CSRF、webshell等 “安全湖”VS“Splunk”安全场景APP ➢威胁狩猎：基于ATTCK狩猎模版，主动发现高级威胁 ➢情报回溯：海量安全日志和情报匹配碰撞，补足其他安全产品检测能力 ➢事件溯源：支持180天以上攻击事件取证和溯源，如流量payload、主机行为等 适用场景/解决问题六：PB级数据存储与高效分析 传统安全厂商的数据底座由多种开源组件拼装， ➢多种接入方式+内置标准数据格式 性能弱，扩展性弱，维护成本高。随着数据从TB 支持syslog、kafka、TCP/UDP等多种接入方式，内置多种标准的数据格式，支持用户自定义解析策略，多次解析策略，帮助用户快速完成数据初始化工作。 级走向PB级时代，老平台越用越慢，逐渐不可用 ➢高性能存储、查询、分析能力： ➢数据不全：各设备数据格式多，接入繁琐，设备厂商协调困难➢不成体系：缺少统一的数据格式➢性能差：写入性能差、存储开销大、查询速度慢、运维成本高➢查询慢：规则建模、事件调查的每次查询需要几十分钟以上➢使用难度大：数据分析语言复杂且学习成本高，配置、测试和维护检测规则难度较大且效率低下➢成本高：安全日志数据量大，存储时间久，系统成本过高 列存储，“无索引”架避免索引开销，支持存算分离。通过自研原子能力实现处理、查询、存储、分析一体化。支持SQL/SPL语法，快速迁移原有规则和调查任务。 使用腾讯安全湖 轻松应对 ➢安全场景： 内置多种安全场景、检测规则/模型、威胁情报IOC、漏洞情报等，即开即用，秒级查询，快速上手PB级海量数据回溯及威胁狩猎等主动防御手段 ➢开放“插件化”APP： 提供多样的可灵活自定义场景APP，插件化可插拔，根据业务场景扩展，生成定制的数据分析视图和任务。 腾讯安全湖产品亮点 简单易用的规则编写和可视化BI：实现Splunk“国产化替换” ✓兼容Splunk的规则语法，可对Splunk的规则和dashboard进行替换 零基础使用：所见即所得，完全兼容标准SQL语法 简单易用的规则编写和可视化BI：实现Splunk“国产化替换” 海量安全数据存储与分析：对ES组件“降本增效” ✓通过极致的数据压缩比，在同等数据规模下硬件成本仅为ES的1/10 无索引 ⚫避免索引带来的成本开销⚫ES索引大小是原始数据2～5倍⚫日志平台的摘要大小是压缩后数据的1/10 列式存储 ⚫极致的压缩率：10～20压缩比⚫列中重复数据越多，压缩率越高⚫不同数据类型采用不同压缩算法，进一步提升压缩性能 支持对象存储COS ⚫支持容灾备份+冷数据存储COS⚫成本对比SSD硬盘存储再降88% 腾讯安全湖案例分享 项目概述：XX大型企业-海量数据实时分析与回溯 背景概述 XX大型企业原始日志放在Hadoop上，数据规模大概几个PB；每日新增的安全日志存在ES上，平均每天10TB~30TB。由于数据量较大，受性能制约，很多威胁狩猎语句无法正常运行，且无法对历史数据进行情报回扫，发挥不了历史数据价值。基于威胁狩猎和情报回扫的场景，在安全大数据分析方向待提升的内容： •每日产生大量安全原始数据，且数据规模不断增长，占用较多存储资源，亟需降低数据存储成本•提升安全数据检索和分析效率，实现对海量安全数据的实时分析，以满足灵活的狩猎和分析规则建立•深度挖掘历史安全数据价值，可基于最新的安全检测规则和威胁情报，对6个月以上历史数据回扫•Splunk平台替换，降本增效 XX大型企业：安全湖效果测试情况总结 XX大型企业：威胁情报回扫价值呈现 ✓提取原始数据，将最新威胁情报进行历史数据回溯，发现命中威胁情报的风险问题 项目概述：XX关基单位-Splunk国产化替换 背景概述 XX关机单位，IT运维和安全管理团队使用Splunk进行告警分析和可视化dashboard呈现，按照监管单位国产化信创考核内容，需要满足要求： •安全分析软件符合全栈国产化信创要求，需要Splunk替换软件支持国产化芯片、操作系统； •需要将Splunk上已开发的检测规则、检索语句和报表、图表进行还原，并满足后续IT运维和安全管理团队对日志分析的需要； ⚫测试产品及硬件规格 ⚫项目时间 部署时间：1周 运营时间：1个月 XX关基单位：平滑迁移Splunk规则和dashboard价值呈现 兼容SplunkSPL语句，符合客户后续自定义开发需要，实现Splunk国产化替换 腾讯安全湖产品优势总结 提供一站式泛安全数据采集、治理、存储、应用，构建丰富的安全场景 场景化应用 •解决长周期安全数据回溯、情报回扫、威胁狩猎等多种痛点场景•内置腾讯安全场景APP•可自定义APP 多样化安全数据治理功能 •提供ETL，SQL/SPL语法检索分析•丰富可视化BI工具•提供告警规则引擎，调查引擎等 高性能数据底座 •全栈国产化，自主可控•PB级海量数据处理能力•云原生，存算分离，高性能，秒级检索，压缩比>10 腾讯安全湖，PB级安全数据智能分析 THANK YOU 黄羽欢迎联系