6 vivo湖仓架构的性能提升之旅

郭小龙vivo互联网大数据专家 StarRocks vivo大数据多维分析场景面临的挑战 StarRocks服务建设落地的技术解决方案 引入StarRocks的效果和收益 03 StarRocks在vivo大数据平台的未来规划 04 ViVo大数据多维分析场景面临的挑战 Vivo大数据多维分析场景面临的挑战 即席分析即席分析 ••••••••湖仓加速能力强标准SQL，兼容MySQL协议支持实时更新和邮除，Join能方强，默认CBO优化规则，多级缓仔智韭物化视圈，内表加速·资源隔离全，支持CGroupCPU源阿离易运维，扩缩容自动处理 presto •••vivo大数据研发治理平台最活跃模坛之查询耗时长，彩响用户体验和工作效率语法兼容弱 •••••••多级缓存弱CBO能力弱无物化视图，内衰加速无物坦阴离兰点故障社区活跃度低性能提升方案少 IClickHouse ••••查询耗时偏高，优化难用户板退认证缺失计算资源缺乏管控湖仓引翠支诗弱 •••••湖仓加速能力弱，数据导入增加存诸成云Join能力弱，cbo，reorder和runtimefilter实时更新和出除弱SQL兼容度一般扩缩容国难，无法rebalance 研效工具平台研效工具平台 StarRocks II: ClickHouse ••••查沟性能慢，内存计算经常00M数据清洗加工时延高，需要数据分层实时据更新和删除流程长计算泛辑复杂 STARROCKS SUMMITASIA2024 StarRocks服务建设落地的技术解决方案 vivo大数据平台架构图 STARROCKS SUMMIT ASIA2024 湖仓查询加速架构 内表&异步物化视图工作 业务场景业务场景 •••••高性能多表Join查询，实时摄入数据，要求延迟率低经常更新和删除数据，实时感知数据更新物化视图进行数据多层ETL清洗和加工，湖仓表和内表进行联邦查询 研发工作研发工作 ••••3.2.5升级到3.3.5，解决库锁死锁问题，解决只能单事实表刷新问题·解决某些物化改写的问题·引导用户物化视图必须分区刷新，降低物化视图刷新频率 弓l入StarRocks的效果和收益 即席分析切换历程 即席分析引/入starRocks收益 ••占比70%的情况下，P50展现出了令人瞩目的技术突破，其响应速度得到了革命性的提升，从7月份的63.77秒锐减至22.30秒，效率提升了65.06%，提升了3倍 •预计占比80%，P50耗时会有4~5倍的性能提升StarRocks相比于Presto，查询成功率更加稳定，查询成功率接近98% 敏捷BI引l入starRocks收益 •••截止当前总体替换Presto进展25%，月查询成功数25w以上，查询成功率稳定在99%以上：覆盖12个业务空间，600+个用户，助力>30s慢查询占比由2.99%下降至1.32%P90值小于5s，相比prestoP9016s，提升了75%，提升了4倍 研发工具平台引l入StarRocks收益 收益收益 ••实现准实时，业务库数据变更至数据可见约3min内基干物化视图实现数据分层与加工逻辑，开发效率提升约听 Flink&StarRocks双剑合，实现准实时度量 基于Flink SQL MySQL cdcconnector实时采集mysqlbinglog主键模型，支持upsert，增量数据实时写入基于物化视图，多表Join，实现分层建模FlinkSQL流表Join维表，实现分区字段补齐，实现分区级物化视图刷新StarRocks查询加速，P95400ms STARROCKS SMMTASIA2024 StarRocks在vivo大数据平台的未来规划 Presto集群切换规划 当前进展当前进展 敏捷BI规划敏捷BI规划 ••25%切换成功，P90值已低于5利·基本解决用户慢查询问题 其它集群进展其它集群进展 •••StarRocksOnK8s建设成功敏捷B收益和即席分析收益总结推广逐渐替换广告、Al、DMP等所有的Presto集群 STARROCKS SUMMITASIA2024 研发工作规划 STARROCKS SUMMITASIA2024 感谢观看！滋 Thank you!