1 更快、更高、更强 StarRocks 存算分离最新进展.pdf

StarRocks存算分离 StarRocksonStarOS Ø依托京东云JDOSK8s部署，双可用区容灾，Proxy灵活切量 Ø配备万兆网卡及SSD的物理机，保证网络和缓存I/O性能 Ø预调优的FE/CNSpecs，开箱即可用 FastSchemaEvolution FastSchemaEvolution技术，加减列等常见schema变更时无需重写数据，实现了秒级DDL(3.3+) Tablet并行Scan 并行Scan技术，通过将大块数据切分并行加载等技术 显著降低查询延迟，在cache miss场景，效果更加显著(3.3+) BatchPublish BatchPublish技术，可将众多并发事务合并Publish,显著提升高频高并发导入吞吐，存算分离架构下实现10s数据新鲜度(3.2+) Merge Commit: 1s实时导入 •并发高:Transform需要高并发满足CPU消耗•一个Pipeline有多个表并且数量动态变化，无法对单表进行调优•秒级实时，从上游消费到StarRocks数据可见保证秒级 Merge Commit: 1s实时导入 •300表, 300并发, 1s写入频率•总流量92K events/s，event 10KB+•表的流量分布符合二八法则 Merge Commit: 1s实时导入 TCO=Cost(Compute)+Cost(Storage)+Cost(API) ØCost(Compute):按需配置，随时弹性 ØCost(Storage):存储空间0放大 ØCost(API):对象存储的隐性成本≈N(tablet)*C*3 API调用一降再降 NativeSparkConnector NativeSparkConnector 01简化链路 数据加工查询一站式，无需多次搬迁 ETL与数仓资源彻底隔离，互不影响 ETL也拥有数据实时更新能力，秒级可见 Thank you!