搜狐智能媒体在数据仓库体系建设中的技术实践

搜狐智能媒体数据仓库体系建设技术实践总结

数据仓库与数据分析基础

• 数据仓库定义：由 Bill Inmon 提出，是面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。
• 数据分析技术：包括商业智能 BI（数据报告、OLAP、数据挖掘）、OLAP（在线分析处理，支持多维分析）、多维模型（Cube、维度、层次、度量等）。
• OLAP 操作：上卷（Roll-up）、下钻（Drill-down）、切片（Slice）、切块（Dice）、旋转（Pivot）。
• OLAP Cube 构建：维度构建（扩展、裁剪）、指标构建（联合）。
• OLAP 多维数据库：按存储格式分为 ROLAP、MOLAP、HOLAP，各有优劣。
• 维度建模：Kimball 方法将维度模型映射到关系模型（星型、雪花、星座模型）。
• 表分层：STG（原始数据）、ODS（操作数据）、DWD（明细数据）、DWS（汇总数据）、ADS（应用数据）、DIM（维度）。

数据仓库体系架构

• 架构概述：采用分层架构，包括原始数据层、操作数据层、明细数据层、汇总数据层、应用数据层和维度层。
• 计算范型：根据数据类型和时效性选择不同计算框架。
  • 批量数据计算：Interactive Analysis（Impala、Apache Doris）、Batch Processing（Hive、Spark）。
  • 实时数据计算：Stream Processing（Spark Streaming、Flink）、Statistic Analysis（Apache Doris、Impala）。
• 技术选型：Apache Doris 作为交互式 MPP 分析数据库，对比 Impala+HDFS/KUDU、Presto/Hawq、ClickHouse、Druid、ElasticSearch、Kylin 等的优势。

批量数据管理

• 数据任务管理：使用 Workflow 管理系统（Azkaban、Oozie、Airflow）进行任务调度和依赖管理。
  • 核心概念：Project、Flow、Job、ControlNode、ActionNode、Workflow、Coordinator、Bundle、DAGs、Operators、Tasks。
  • 任务编辑：以任务为单位编辑代码、周期、依赖等属性。
  • 实例执行：按周期生成实例，动态生成依赖关系。
  • 补历史数据：支持任务补数功能。
• 数据质量管理：以表为单位进行校验（行数、指标等），触发机制为任务执行后。
• 数据元信息管理：支持表的创建、修改、查询、生命周期管理、统计和搜索，实现表和字段的血缘解析。
• 数据安全管理：包括表权限申请、校验、审批和回收，以及任务执行前的权限校验。

实时数据管理

• 技术架构：结合 Kafka 和 Spark Streaming/Flink 进行实时数据处理。
  • 元信息管理：通过 Spark Streaming 和 Kafka Consumer 进行 Schema 管理。
  • 数据应用：通过 SQL 应用实现实时数据加载和查询。

总结

• 技术实践心得：采用产品化、服务化的技术方案，选择可靠的开源产品和代码，构建业务解决方案。