字节跳动旗下产品多,用户量大,产生海量数据,面临数据量和计算量巨大的挑战,包括数据和系统冗余、数据一致性和正确性、Serving性能等问题。
为解决这些问题,字节跳动提出流数仓和服务数仓融合方案,采用Flink动态表实现流批一体,解决数据冗余性和正确性问题,并通过HSAP服务型引擎优化服务性能。Flink动态表作为核心存储,支持流批一体批读流读批写流写,全面支持SQL,并采用Merge Tree存储结构,支持大量快速更新和高效分析。
数据流端到端一致性通过自动调度资源和中间表的事务性写入保证。云原生HSAP通过全托管Serverless模式和高效的分布式引擎解决数据服务性能问题,支持实时写入及更新、多方式加速查询、物化视图和向量化引擎等功能。
HSAP是新一代云原生实时服务分析产品,满足高QPS、低Latency的在线Serving需求,支持海量数据实时写入、实时更新、实时分析,支持标准SQL,云原生架构使用门槛低。典型场景如用户特征明细数据实时查询,通过MV聚合和Dirty Read满足时效性需求。
火山引擎云原生计算提供一站式大数据管理平台,支持实时和离线计算,便捷运维开发,基于云原生技术部署,高效资源管理和调度,提升资源利用率,并提供深度优化的实时计算链路,支持消息队列—>实时计算—>实时服务的全链路场景。