8-2 多维数据分析平台在37手游的技术演进

37手游多维分析平台技术演进总结

37手游业务背景

• 37手游简介及数据分析场景特点。

37手游多维分析实践

• OLAP技术演进：
  • 从2018年的MySQL、Druid、Kylin，到2019年的Impala，再到2020年的Clickhouse、StarRock+Hbase、Hologress，技术选型经历了多次迭代。
  • 选型考虑维度：计算能力、查询性能、架构简洁性、可扩展性、稳定性、可维护性。
• OLAP平台与数仓架构：
  • 数据流经ods、dwd、dws、ads层，最终在olap查询层供应用层查询。
  • 使用Streams、Hudi、Hive外部表等技术实现CDC和混合Olap查询。
• Impala应用：
  • 作为计算引擎的自助取数平台，满足业务团队对取数“快”的需求，释放技术人员人力。
  • 优点：高性能、支持复杂计算。
  • 不足：高并发能力不足、多表关联查询性能欠佳。
• Clickhouse应用：
  • 适用于OLAP场景，列式存储提升查询速度100倍。
  • 在广告自动化投放平台的应用：使用ReplicatedMergeTree表引擎，通过视图取历史数据与最新数据union对应用层提供服务。
  • 使用心得：性能优异，但运维复杂、数据更新存在性能问题。
• StarRocks应用：
  • 重要特征：多表关联性能优、数据导入方式多样、支持多并发查询、架构简单。
  • 在37手游画像场景的应用：使用宽表+纵表设计，通过Bitmap运算支持人群圈选等需求。

多维分析技术业务化与普惠化

• 数据分析与决策痛点：
  • 取数难、取数慢，业务团队频繁找技术人员写SQL。
  • 后台分析系统报表变更开发排期长，报表产出效率低、维护难。
• 解决方案：
  • 基于多维分析技术底座的自助数据分析平台，提供数据即时分析能力，满足全程数据的即时分析与即时决策。

多维分析平台服务保障

• 平台服务健康度监控：
  • 通过看板监控平台服务健康度。
• 数据质量监控：
  • 数据质量稽核预警平台，遵循DMAIC模型（Define、Measure、Analyze、Improve、Control）。
  • 从有效性、一致性、准确性、完整性、及时性5个维度监控数据质量。
• 数据质量监控预警系统：
  • 执行数据质量分析任务，发现异常数据。
  • 支持电话、短信、邮件、微信等多种告警信息推送。
• 未来规划：
  • 组件收敛，引入SaaS产品，使用适配业务场景的公共云SaaS服务（如阿里云holo）。
  • 探索ETL->ELT模式，原始或粗加工数据入多维分析平台，内部使用SQL加工转换后提供查询。