2 得物-StarRocks存算分离在得物的降本增效实践

核心观点与关键数据

• Clickhouse在大数据量下的困境：得物线上Clickhouse集群规模超过4000核，存储超过500TB，面临性能瓶颈、扩容困难、成本高昂等问题。物化视图管理复杂，备份集群增加50%成本，单机规格已达顶配无法升配。
• 引入StarRocks降本增效：通过将核心Clickhouse集群迁移至存算分离的StarRocks，实现存储成本降低2/3，查询耗时减少50%，AP引擎费用下降40%，存储费用下降45%。

关键技术对比与优化

• OLAP引擎对比：得物业务广泛使用多种OLAP引擎（Hologres、ADB、Clickhouse、自建Clickhouse、StarRocks），最终保留1-2种。StarRocks在支持JOIN类型、物化视图透明改写、离线导入效率等方面优于Clickhouse。
• 物化视图优化：StarRocks通过SQL改写、物化视图推荐、命中优化等手段，显著提升查询性能。迁移后新增100+物化视图，优化表结构后极端查询性能提升150倍，SQL优化后提升250倍。
• 兼容性改进：StarRocks兼容Clickhouse常用函数（72个）和别名引用，业务SQL95%无需修改。通过DDL转换工具和ArrayJoin函数实现平滑迁移。

迁移过程与社区贡献

• 迁移策略：通过ONE DSL平台支持Clickhouse/StarRocks SQL翻译，按接口灰度迁移，实现平滑过渡和回滚。
• 社区协作：得物积极参与StarRocks社区，提交28个PR（24个已merge），贡献修复并推动智能物化视图推荐、大版本统一等特性。

研究结论

• 降本增效显著：StarRocks在存储成本、查询性能、资源利用率等方面优于Clickhouse，满足得物大数据量OLAP需求。
• 未来规划：推动StarRocks大版本统一、湖仓一体、Flink写入等应用，拓展更多业务场景。