小米集团基于 Apache Doris 的 OLAP 实践

魏祚小米集团-数据库内核研发工程师Apache Doris Committer & PMC DataFunSummit # 2023 目录 CONTENT 系统选型及应用现状小米用户行为分析实践 未来规划 小米数据生态中的Doris 系统选型及应用现状 DataFunSummit # 2023 系统选型 Apache Doris优势 应用现状 小米数据生态中的Doris 数据工场 统一元数据管理 •对上层的服务提供统一的元数据视图 •对所有存储资源进行统一的管理，形成统一的资源视角•对所有的资源变更和访问，进行有效的审计 统一权限管理 •通过权限代理对上层用户屏蔽底层引擎的权限体系，实现统一权限管理。 数据作业管理 数据治理 •数据安全管理，隐私数据扫描及安全等级定义•数据质量管理，服务可用性监控和治理•数据成本管理，数据分层存储及数据生命周期管理 03小米用户行为分析实践 小米用户行为分析平台 事件模型 •数据来源于各业务在网页或APP上的埋点数据•用户在网页或APP中的各种操作都会抽象成事件实体•基于事件模型进行建模，实现用户行为分析 事件分析 •事件：用户在网页或app上的行为或业务过程•指标：即具体的数值，如页面访问量，访问时长等•维度：可指定不同值的对象的描述性属性或特征 事件分析 select(a.`time` - 1635696000000) div 3600000 as `time`,count(distinct if(a.`event_name` = 'download', a.`distinct_id`, null)) as val1fromdb_test.table_test awhere`a`.`date` between 20230530 and 20230530and a.`event_name` in ('download')group by1havingval1 is not nullorder by2 desclimit10000 留存分析 留存分析 留存分析 漏斗分析 漏斗分析 SELECT funnel_count(c.funnel_info)FROM (SELECT distinct_id, funnel_info(1664586000000, 604800000, CASEWHEN event_name = "view" THEN 1ELSE 0END | CASEWHEN event_name = "open" THEN 2ELSE 0END | CASEWHEN event_name = "buy" THEN 4ELSE 0END | CASEWHEN event_name = "use" THEN 8ELSE 0END, timestamp) AS funnel_infoFROM funnel_analysis_testWHERE timestamp >= 1664586000000GROUP BY distinct_id) c; 漏斗分析 •用户触发第一个步骤后，在整个窗口期完成整个漏斗，即算作完成了转化。 •漏斗中至少包含2个步骤，每个步骤对应一个事件，并且漏斗中的步骤可以根据业务场景增加。 漏斗分析 路径分析 路径分析 SELECT session_count(c.path)FROM (SELECT distinct_id, session_del(event_name, timestamp, 1800000, "view", 1, 10) AS pathFROM path_analysis_testWHERE timestamp >= 1685584800000AND timestamp < 1685592000000GROUP BY distinct_id) c; 分布分析 分布分析 04未来规划 未来规划 感谢观看