连林江—构建现代分析应用的实时数据仓库

演 讲 者：连 林 江 Se l e c t D B联 合 创 始 人 兼C O O 01 实时分析即未来 现代化分析应用–实时即未来 应用场景–在线报表与决策 Onlinereporting anddashboard1 •广告营销报表•保险客户分析•物流实时看板•交易明细查询 高并发（>1 KQPS），低延迟（毫秒级），高可用 应用场景–交互式数据探索分析 中等并发（1 00QPS），中等延迟（秒级），自助查询 应用场景–增量ELT数据处理 实时分析的核心挑战 02 新一代实时数据仓库 现代分析应用的坚实底座-新一代实时数据仓库 新一代实时数据仓库的三大特征 多云原生 开源开放 实时统一 •Real-TimeData&Query•SingleUnified-Anytypeofworkloads-Struct/Semi-struct/Text-Lakehouse •Cloud-Native•Multi-Cloud •OpenSource•OpenLicense SelectDB-Apache Doris背后的商业化公司 致 力 于 打 造 新 一 代 实 时 数 据 仓 库 开源+商业 服务开发者、用户和客户致力于技术普惠和业务赋能 开源项目Apache Doris Apache第200个顶级项目 全球最活跃的开源大数据项目新一代实时数仓技术 商业化产品SelectDB 专业技术服务 云原生特性 企业级特性 •消除风险•解决问题•优化系统 •长周期支持的稳定内核•可视化管控工具•跨集群复制和备份恢复 •存算分离•多计算集群•弹性伸缩 SelectDBEnterprise自管理、私有化部署 SelectDBCloud 两种交付形态 全托管的公有云服务 Apache Doris 全球性能第一的实时数仓 2022年1 0月登顶全球分析型数据库评测榜单Clickbench，性能全球第一，证明了出色的查询性能 不同机型和系统的总榜(包含Snowflake、Redshift等)Cold Run查询性能第一Hot Run查询性能第二 业界最为通用的c6a.4xlarge, 500gb gp2机型查询性能Hot Run、Cold Run分别领先第二位35%、25%性能排行全球第一 国内首家多云中立的SaaS化云原生实时数仓 高度兼容大数据生态 •支持MySQL协议•支持S3、Kafka、Flink等多种数据源导入•支持Hive、Iceberg、Hudi湖仓一体架构 完善的云上生态 •秉持云中立理念，支持国内外多家云•基于对象存储的存算分离架构•弹性扩缩容、弹性计费 多种业务场景适配 •实时报表与多维分析•数据联邦与查询加速•用户画像与行为分析•日志存储与分析 完全自主可控的国产数据库 中国信通院“可信数据库”认证2022大数据星河奖优秀数据库案例 2022信创产业实干者年度评选实干企业十多项国产化兼容信创认证 公安部等保三级 产品特色 从T+1-> T+0的数据集成 •集成存储系统（S3，HDFS）•集成数据湖（Iceberg，Hudi，Hive）•集成数据库（MySQL，Oracle，ES等） •长连接：MySQL协议•短连接：HTTP协议 高效的实时存储模型 实时更新的存储模型 •实时追加（明细表），实时插入、更新和删除（主键表） •半结构化数据类型：Array、Map和JSON（行、列）•Schemeevolution 强一致的(单表)物化视图 •支持预聚合视图•支持行列混存（comingsoon）•支持Projection 丰富的索引 •跳数索引：BloomfilterIndex，Min/MaxIndex•点查索引：PrefixIndex，InvertedIndex 支持多种负载的查询能力 工作负载管理 •多计算队列：对负载进行隔离（comingsoon） •异常查询Kill：使用memtracker等机制kill异常查询 高并发、低延迟 高性能，大查询 •高并发：1 000–1 0wQPS•低延迟：毫秒/秒级 •高性能：秒/分钟级•大查询：通过中间结果落盘 简单易用的使用接口 兼容MySQL连接协议（API） 原生的开发WebUI 四大应用场景解决方案 实时报表与多维分析 数据联邦与查询加速 将业务数据库或者应用日志的变更数据近实时导入进来，然后为大规模业务客户提供高并发、实时的在线报表与多维分析。 通过Multi-Catalog机制，对外部存储、开放数据湖格式和常用数据库直接进行数据集成。无需移动数据，利用SelectDB/Doris进行极速数据查询。替代Spark、Hive、Presto、Greenplum等。 替代MySQL、HBase、Clickhouse、类HTAP系统等。 日志存储与分析 用户画像与行为分析 将业务、系统或者物联网等相关的日志数据，存储为结构化、半结构化或原始文本，构建统一的日志存储与分析平台。在极低成本的基础上提供高性能的日志检索与分析。替代Elasticsearch、Loki等。 收集用户相关的属性与行为数据，构建用户数据平台，进行用户参与、留存和转化等行为分析，以及人群洞察和人群圈选等画像分析。替代Elasticsearch、Spark等。 THANKS 演 讲 者：连 林 江Se l e c t D BC O O