4 镜舟科技-从数据洞察到业务突破的创新之路

石强镜卡科技/解决方案架构师 StarRocks 镜舟，致力于帮助企业建立卓越的数据分析系统 商业拓展 开源贡献 全球领先开源项目StarRocks中国最大贡献与推广者 镜舟科技致力于帮助中国企业建立卓越的数据分析系统，满足客户多维复杂、实时、高并发数据分析需求，帮助客户构建数据驱动的全新业务和管理模式。目前，镜舟科技相关产品已应用于金融、零售、制造、游戏等行业头部客户。 目前，StarRocks被420+家市值10亿美金以上的企业验证，20000+开发者认可。 分支机构 ••总部：北京分公司&办公室：上海、杭州、广州、深圳、西安、成都 STARROCKS SUMMITASIA2024 数据驱动决策的驱动力 数据洞察到数据决策 StarRocks助力高效决策与业务创新方案介绍 数据驱区动决策的驱区动力 经营之变-从感性到理性的回归 为什么需要数据化决策？ STARROCKS SUMMIT ASIA2024 数据化决策的三大利器 指标管理系统 实时分析平台 用户画像系统 提供了数据驱动决策的基础助企业跟踪关键业务指标 对每个用户进行纽分和动态分析为个生化营销和产品优化提供支法 实时洞察一反应，帮助分析人员快速处理数据碎保企业可以快速获取最新的业务洞察 STARROCKS SUMMIT ASIA2024 三大利器如何协同实现高效决策 从数据洞察到数据决策 CDP平台收益：让“数据赋能业务”不再是一句空话 助力企业从“以产品为中心”转向“以用户为中心” 数据价值的挖掘 数据的使用 数据的收集 精准营销：A/Btest、渠道分析、效果分析 CDP平台建设需求和难点解析 阻碍数据驱动增长的，是缺少整合、处理和打通多个来源的用户数据，并以唯一客户视角呈现的DF 应用场景丰富，检索方式灵活度高 聚合标签集合，查询并发度高 用户数据维度复杂，更新粒度多样 数据部分更新，时效性要求高 诉求需及时响应，分析结果时效性强 STARROCKS SUMMIT ASIA 2024 业务状态洞察－指标平台 指标平台是指标管理、加工和应用的一体化工具，通过将业务问题转化为数据问题，为业务提供更智能高效的分析决策支持。 STARROCKS SUMMIT ASIA2024 指标平台收益：提供清晰、客观的业务运营数据来辅助决策 业绩评估与优化 数据驱动决策 业务监控与预警 客户体验提升 评估业绩，发现改进空间，提升业务效率和竞争力 深入了解客户需求，提升产品和服务质量，提高客户满意度和忠诚度 实时监控业务情况，识别风险并发出预警保障企业稳健运营。 提供客观、准确的数据支持，帮助企业做出基于数据的决策： STARROCKS SUMMIT ASIA2024 指标平台常见痛点：底层数据分析引擎支持不到位 STARROCKS SUMMIT ASIA2024 买时运营洞察－实时分析平台 实时分析平台产生的背景 4 3 2 速度成为核心竞争力速度成为核心竞争力 数据延时决策延时数据延时决策延时 新的业务需求变化新的业务需求变化 数据爆炸和多样化数据爆炸和多样化 STARROCKS SUMMIT ASIA2024 •••两套计算运辑，维护成本高，放据穴余存储多流Join，数据延时到达，导致实时数据不能作为决策依据，每天需要定时修复实时数据多套指标口径，数据治理难度大 •••两套计算浸辑，维泸成本高，数据穴余存储多流Jin，数据延时到达，号致实时数据不能作为决策依据，每天需要定时修复实时数据多套指标口经，放据治理难度大 •••远端存储延时：远端存储虽然价格低廉、但足读取延返高且波动大无法满足低延迟查询的需求。数据架构豆杂：为了如速查询速度，通常需要搭配额外的OLAP系统使用，并且引入复杂的括流处理系统维护数据的流动。湖仓割裂问题：用户需要自已维护两套系统之问的数据一致性问题，极大影响用广的使用效率， STARROCKS SUMMIT ASIA2024 实时分析引擎的各阶段的痛点以及最终演化方向 STARROCKS SUMMIT ASIA2024 面对业务需求的挑战StaRocks的创新解决方案 StarRocks定位：新一代极速统一湖仓新范式 STARROCKS SUMMITASIA2024 StarRocks领先的性能内核 多项核心技术，打造超强产品性能 多项核心功能，赋能企业实时决策与智能运营 01丰富Bitmap函数 Ol向呈化、CBo优化器、Pipeline、RuntimeFilter等充分乱毛集样烫源、将行生能发泽乳致：3.现崇样生能线生垃而： 张线别单统：按加统究、存销大云亿、云存请天满具咨示高比可三件长阵 02高性能部分列更新支列模比与行模分列互，场人家表高生作更新 02湖仓分析 统一款活口径、统一起术架相、缺一效活源，降活运维成本 03Ranger、Kerbeors、RBAC.LDAP致据一急权限管理形统的策突：以及定产的行列按医制 03 Spill-Down 提升不兰稳烂性、兰实破内行当问这制：另好的支持均化视用作：构， 04自动物化视图推荐taRo不多，级物，外物， 04Multi-warehouse 达支持自化现图性齐，轻恐实切效托分层，查询加速，5内势托源书势托联分所。 05存算分离秒级兰所，深！容，存本、云存然案中内丁一 05可视化运维管控平台 交互方记：长月离运信：可促化进行无带当控沃知、“点上载下线 STARROCKS SUMMIT ASIA2024 基于StarRocks的指标平台方案建设流程 1.在starkocks中建立数据模型，以支持复杂的数据分析和查询需求。 1.设计并实施权限管理机制，保障数据的安全性和隐私性。 1.在指标平台中设置实时监控和预机制，以便及时响应和处理。 1.进行企业的需求词研和分析，明确建立指标平台的标和范围。 2.对企业的数据进行收集、清洗、建立数据仓库， 2.利用数据分析和可视化工具，展示企业的经营指标和趋势。 2.定义关链的业务指标，确立指标的计算逻辑和定义方式 2.不断优化指标平台，以满足企业不断变化的需求和排战。 STARROCKS SUMMIT ASIA2024 基于StarRocks的指标平台方案 STARROCKS SMMTASIA2024 基于starRocks的指标平台优势 方案收益 •••••••兼容My5QL协设：适配大部分的可视化分析平台，湖仓分析：统一数据架构，统一数据源，降低运维成本物化视图：不依赖外部数据组件，就能实现指标预计算提升查询性能和并发数据不订移的条件下，利用高性能缓存设计，轻松实现异源数据的极速联邦分桁，历史数据支持更新，上游指标自动做调整，高性能的大表、宽表、多表的查询能力把原来分层建模的方式打薄，用亚轻量级亚少的的MV构建来解决，MY准荐和合并，最大程度的在现场查询和预计算之问找到平衡 ••尚化数据工，实现推标分层，元带维括收欧组刊自动背理故据间赖，分区力意新，月动维托物化祝医加缘 … … STARROCKS SMMTASIA2024 基于StarRocks的CDP平台建设流程 STARROCKS SUMMIT ASIA2024 基于StarRocks的CDP平台架构设计中，中， 基于starRocks打造用户标签系统的优势 CDP王牌技术点：Bitmap 方案收益 •丰富的Bitmap能力，支持毫秒级别的客群圈选•底层架构更加简洁，高表宽表方案都适配，运维成本更低•StarRocks bitmap to array，unnest等函数方便客户快速导出客户清单•支持完整的用户数据分析链路，利用跨数据源分析，轻松实现客户包出仓后的再分析•支持对海量标签进行任意的组合计算，精确去重实现用户ID的精确统计•StarRocks前缀索引设计可以支持高效的标签过滤，检索场景•StarRocks强大的在线计算能力，可以支撑秒级的多表关联场景•支持对某些标签组合的人群结果高并发查询丰富的Bitmap能力，支持毫秒级别的客群圈选底层架构更加简洁，高表宽表方案都适配，运维成本更低StarRocksbitmaptoarray，unnest等函数方便客户快速导出客户清单支持完整的用户数据分析链路，利用跨数据源分析，轻松实现客户包出仓后的再分析支持对海量标签进行任意的组合计算，精确去重实现用户ID的精确统计，StarRocks前缎索引设计可以支持高效的标签过滤，检索场景StarRocks强大的在线计算能力，可以支撑秒级的多表关联场景支持对某些标签组合的人群结果高并发查询 ◼StarRocks创新研发了基于Bitmap的用户圈选，可节省存储空间，支持快速的集合操作。此外，还配有如留存函数、漏斗函数等专属功能。StarRocks创新研发了基于Bitmap的用户圈选，可节省存储空间，支持快速的集合操作。此外，还配有如留存函数、漏斗函数等专属功能。 ◼基于Roaring Bitmap可轻松实现留存、漏斗等大量使用交集运算的分析。在用户行为分析场景，告别大量SQL任务调度，极大得减少集群压力。◼完整的客群包出入仓技术，支持csv/base64/binary等形式，可直接在镜舟数据库内进行交互式圈群，也可采用HiveUDF直接解析镜舟格式的bitmap，完成交并差集合计算，以极低开销满足CDP及其下游系统灵活用数需求。基于RoaringBitmap可轻松实现留存、漏斗等大量使用交集运算的分析。在用户行为分析场景，告别大量SQL任务调度，极大得减少集群压力。完整的客群包出入仓技术，支持csv/base64/binary等形式，可直接在镜舟数据库内进行交互式圈群，也可采用HiveUDF直接解析镜舟格式的bitmap，完成交并差集合计算，以极低开销满足CDP及其下游系统灵活用数需求。 … … STARROCKS SMMTASIA2024 基于StarRocks的实时分析平台建设方案 STARROCKS SUMMITASIA2024 实时分析平台架构演进 STARROCKS SUMMIT ASIA2024 基于StarRocks的实时分析平台的收益 增效 提质 控本 1．查询实时响应，简化数据链路，数据时效性大幅度提高以Paimon作为数据湖，可实现历史数据低消耗的实时更新3.ETL往ELT转变，业务需求实现更加灵活，沟通效率极大增强实现由固定指标往自助分析转移，新增指标由天级到分钟级，秒级别 1．架构简化：运维成本下降1倍以上2.流批一体：资源成本下降1倍以上3．存算分离架构：节点可秒级别弹缩，资源利用率最大化沟通成本下降：研发只用专注于数据采集和数据同步，业务专注于业务分析 1．架构简单，开箱即用运维更加方便2.Spill-Down，让TB级别跑批更稳定3.实现了多数据源延时到达不影响数据的准确性4.湖仓一体，统一数据源，保障数据口径一致性，让数据治理真正落地 STARROCKS SUMMIT ASIA2024 镜舟数据库企业级用户使用StarRocks的最佳方案： 以完成价值交付为目标，构建强大产品能力与专业服务体系 镜舟数据库：四位一体的企业级客户成功体系 客户成功的核心目标是：通过专业的服务，让客户更好的基于我司的技术和产品持续创造业务价值，成就客户，实现共赢 感谢观看！滋 Thank you!