核心观点与关键数据
流数据过载问题
当前面临流数据过载挑战,需将高容量数据转化为高价值数据。关键在于通过流式传输和图数据表示技术,实现事件的有效组装和意义提取。
事件流处理技术
采用事件流处理技术,具备以下特点:
- 无需时间窗、处理无序数据、并行异步、支持背压流处理。
- 通过图数据表示分析分类数据、链接异构数据、查询历史及未来数据,并解决欺骗与异常检测问题。
ThatDot Quine解决方案
ThatDot推出Quine开源工具,通过模式学习图AI技术实现:
- 无需培训或数据标签,直接分析分类数据(如名称、IP、电子邮件等)。
- 减少错误警报,解释异常元素原因,提供上下文和行为指纹。
- 支持高吞吐量处理,查询响应低于5微秒,支持超大规模数据(百万级节点)。
技术优势
- 实时性:数据流实时处理,结果即时输出。
- 扩展性:背压流处理,高效低资源占用,支持水平扩展至数千节点。
- 易部署:渐进式部署,与Kafka、Kinesis等工具集成,支持云或本地部署。
应用案例
以VAST内部威胁检测为例,通过车门徽章接近数据与网络日志合并,实现实时行为记录分析,有效识别APT攻击模式。
研究结论
ThatDot Quine通过图AI技术,在极低成本资源下实现高速流数据处理的规模突破,为威胁检测等领域提供高效解决方案。