5 Shopee -StarRocks 在 Shopee 的应用和实践

Speaker:马腾(MATENG) StarRocks 01shopeeStarRocks集群介绍 StarRocks在Shopee的应用场景探索 StarRocksonHive在Shopee数据平台的应用 StarRocksMvonExternalCatalog在产品的应用 Shopee StarRocks集群介绍 STARROCKS SUMMITASIA2024 ShopeeStarRocks集群架构 Shopee StarRocks Cluster部署架构 STARROCKS SUMMITASIA2024 ShopeeStarRocks集群管理模式 独占集群+多租户管理 ●在支持多租户的环境下实现资源隔离，同时在每个租户内部也实现资源隔离。 STARROCKSSUMMITASIA2024 ShopeeStarRocks集群管理模式 用户集群资源管理界面 STARROCKS SUMMITASIA2024 ShopeeStarRocks集群SQL生命周期管理 SQL生命周期监控管理简述 1.TrinoGatewayorStarRocksQueue管理SQL入队2.setcustom_query_id功能统一标识用户任务task_id与SQLquery_id3.QueryPlan生成后接入Shopee内部鉴权系统，实现外表和Shopee内部管理的SR表的列权限管理。StarRocksshowglobalcurrentgueries功能获取集群维度所有正在运行的SQL5．killquery“query_id”功能提供查询运行态退出能力：运行结束的sQL记录在StarRocksAuditLogtable中（存储36.天），同时发送到Kafka接入ShopeeQueryAuditLog系统中存储30天）。 ShopeeStarRocks集群SQL生命周期管理 SQL生命周期管理面板 STARROCKS SUMMIT ASIA2024 StarRocks 在 Shopee的应用场景探索 ShopeeOLAP业务场景 电商的OLAP业务场景具有多样性 ShopeeOLAP引擎技术栈 ShopeeOLAP引擎具有多样性，适配不同的业务类型 STARROCKS SUMMITASIA2024 ShopeeOLAP引擎业务支持瓶颈 ●○维护大量的数据ingestionpipeline（离线+实时）)Eg.Shopee APMS Data warehouse Pipeline ●○ShoRee现有的QLAP引擎Join性能不足 ○ClickHouse需要打平成大宽表Trino的Join性能不足 StarRocks 提升 Join 性能 用户业务Join性能的提升，减少了打平表的Effort STARROCKS SUMMITASIA2024 StarRocks场景探索 StarRocks对ExternalCatalog成熟的支持 ●○简化写入链路Query on Hive + My Sync to SR ●○提升用户查询响应时间(SRvsTrino)Queryon Hive+Mv Syncto SR StarRocks在Shopee应用场景落地方向 StarRocksOnHive（纯计算型）+StarRocks基于ExternalCatalog的数仓 StarRocks onHive 在Shopee 平台的应用 StarRocks On Hive 在 shopee 平台的应用 Shopee Data Go codeless查询平台 ●●使用MysQLProtocol直接通过StarRocks查询HiveDataGo是一个codeless的数据查询构建平台，支持业务用户从可访问的数据模型中检索感兴趣的指标数据（例如店铺绩效、订单GMV等） STARROCKS SUMMITASIA2024 StarRocks On Hive - Data Go DataGo已经逐步使用StarRocks替换Trino进行Hive表的多表Join ●DataGo已经实施了使用StarRocks代替Presto进行表连接查询的策略。在多个国家的多个数据模型上进行了使用StarRocks和Presto的查询 STARROCKS SUMMIT ASIA 2024 StarRocks on Hive - Data Go 产品样例介绍 ●用20秒就完成了相同的查询 STARROCKS SUMMITASIA2024 StarRocks on Hive - Data Go StarRocks资源使用VsTrino资源使用 ●○○StarRocks峰值CPU用量150core。均值CPU用量40core ●○○Trino峰值CPU用量2000core。均值cPU用量100core。 STARROCKSSUMMITASIA2024 StarRocks On Hive 在 shopee 平台的应用 ShopeeDataStudio在线分析平台 ●DataStudio是一个支持临时和定时数据作业的效据开发平台。对于临时查询，用户创建一个空文件，输入查询语句，然后通过简单的“运行”命令来执行查询。然而，这个过程消耗大量资源，且复杂的分析查询通常需要较长的处理时间才能生成结果 STARROCKSSUMMITASIA2024 StarRocks On Hive - Data Studio Data Studio using Trino as Query Engine 的瓶颈 ●●●·查询响应性能慢，资源不足，用户查询经常需要等资源以ShopeeRegional MarketTeam为例查询性能 STARROCKSSUMMITASIA2024 StarRocks On Hive - Data Studio Data Studio using Trino as Query Engine 的资源瓶颈 ●●●以ShopeeRegionalMarketTeam为例Presto资源情况 STARROCKS SUMMITASIA2024 StarRocks On Hive - Data Studio Data Studio using Trino as Query Engine Highlight ●以ShopeeRegionalMarketTeam为例 ●KeyHighLights ○○○○○○○平均每个工作日有约1,150个临时查询（不合周末）c每周约有40个用户，每个工作日每用户约28个查询。查询中约一半为单选查询。Presto查询的P90热行时间为200秒（超过3分20秒）。Presto查询的P50执行时间为15秒Presto的P95资源使用率为最低vCore的180%（1,190/637）容易遇到“等待资源”问题。 ●User Feedback to Data studio:. How to get Presto query run faster? How to resolve resource bottlenecks? StarRocks On Hive - Data Studio Data Studio l入 StarRocks As Query Engine 1.StarRocksQueryHive/Hudi功能完备切稳定2.StarRocks支持TrinoSQLDialecta．我们的目标是用户无感知切换。带来资源利用率的提升和查询响应延时的降低 StarRocks on Hive - Data Studio StarRocks As Data Studio Query Engine 1．性能&资源利用率对比a.Trino&StarRocks集群双跑 Key Results (Aug 2024)KeyResults(Aug2024) ●SR bypass rate: 62%●SR execution success rate:90.11%(vs. 96.36% for Presto)●SR queries:2.25 timesfaster on P90SRbypassrate:62%SR execution success rate: 90.11% (vs.96.36%for Presto)SR queries:2.25 times faster on Pg0 StarRocks on Hive - Data Studio StarRocks As Query EngineIssue 1.一些BlTeam只有47%(4,513/9,635)的Query能在StarRocks上运行 2．为什么支持率不高？ a.StarRocksVersion3.1(还没有支持UnifiedCatalog)b.StarRocksversion3.1(对Hiveview的支持有限）C.StarRocks虽然支持Trino方言：但是还是有Trino的函数不支持问题d．Trino特殊语法，distinctwithgroupby大量使用在ShopeeBl团队 StarRocks on Hive - Data Studio StarRocks As Data Studio Query Engine Roll Out planStarRocksAsDataStudioQueryEngine Roll Outplan 1.DataStudio引入bvpass规则，筛选出StarRocks不能运行的SQL直接下发到Trino，可以运行的下发到StarRocks2.StarRocks运行失败的SQLfallbacktoTrino。3.ShopeeStarRocks团队&StarRocks社区对内核升级，以及不兼容函数的支持送代的同时减少bypass规则，提升Query下发比例 StarRocks on Hive - Data Studio StarRocks As Data Studio Query Engine Roll out process 1. This Result Under StarRocks Version 3.1.8 (Qct, 2024) STARROCKS SUMMITASIA2024 StarRocks on Hive Improve theData Studio Ad-hoc query by pass rate ●2024，11我们升级了部分业务的集群到3.3.3版本。因此引入了unifiedcatalog功能 STARROCKSSUMMITASIA2024 StarRocks on Hive - Data Studio Rollout Cluster Scale process StarRocksMV onExterna!Catalog在产品中的应用 StarRocks MV on External Catalog 实践 ShopeeData产品-DataService ●●DataService是Shopee的一个数据平台产品，旨在以API的形式提供用户需要的数据，并管理整个API生命周期，通过数据服务，用户可以轻松选择所需的Hive表和列，配置过滤条件，创建API。在后台，DataService根据用户的配置生成查询语句。当用户触发API时，数据服务运行查询语句并将请求的数据返回给用户。 STARROCKSSUMMITASIA2024 StarRocks MV on External Catalog - Data Service DataService的产品瓶颈 ●瓶颈问题： ○○○当数据源为Hive的时候，DataService会使用Trino查询HiveTrino的直接查询Hive的响应延时比较高，提供的API服务很难用于业务代码中外部用户（Shope