登录
注册
个人信息
我的订单
我的报告豆
我的优惠券
我的笔记
我的阅读
我的收藏
我的下载
我的上传
我的订阅
在线客服
退出登录
回到首页
AI
搜索
发现报告
发现数据
发现专题
专题报告
专题百科
研选报告
定制报告
VIP
权益
付费社群
发现一下
行业研究
公司研究
宏观策略
财报
招股书
会议纪要
Token
低空经济
十五五
AIGC
大模型
当前位置:首页
/
行业研究
/
报告详情
基于Lakehouse架构实现湖内建仓实践经验
信息技术
2023-07-12
DataFunSummit2023:数据湖架构峰会
Elaine
背景与行业现状
数据湖的误区:
误区一:数据湖仅用于海量数据存储。
误区二:数据湖仅处理非结构数据,不处理结构化数据。
误区三:数据湖仅可作为贴源层,不能建数仓。
AWS和Azure对数据湖的定义:
数据湖是集中存储所有结构化和非结构化数据的仓库,支持多种分析类型。
Azure Data Lake提供易用性、集成性和扩展性,支持多种数据处理和分析。
当前数据湖在数据处理的几种用法及问题:
不同数据处理采用不同集群,导致数据搬迁、冗余和资源浪费。
湖内未建仓,带来数据管理和资源利用问题。
仅作为贴源层,数据分析和处理迁移到数仓平台,导致数据资产统一管理和平台建设成本问题。
Lakehouse相比于数据库、数据湖、数据仓库的能力
Lakehouse是数据湖能力的延伸,支持湖内建仓。
Lakehouse架构支持实时计算,进入流批一体阶段。
Lakehouse提供实时架构:
基于OLAP库的实时架构:简单、支持实时写入和分析。
Lambda实时架构:简单、支持实时增量和离线批量数据加工。
Lakehouse的技术优势:
提供湖内数据的增量计算能力。
结合Flink实时计算能力,提供轻量级实时方案。
通过Storm/FLink增加实时处理层,实现高时效数据加工。
基于LakeHouse湖内建仓参考架构
参考架构要点:
数据集成:基于批量与实时通道实现数据湖数据的入湖加载和数据集市同步。
混合负载:多类负载统一集群,降低冗余,提高资源利用率。
Lakehouse:实现流批一体加工模式,提升数据时效和一致性。
多样集市:按场景选择数据集市,满足各类业务分析需求。
湖内建仓典型场景方案介绍
实时数据湖典型场景:流批一体加工模式,批量数据与实时数据共享。
流式加工模式:基于Flink/Spark引擎,开发模型与读写Kafka机制一致。
增量批加工模式:基于Hive和SparkSQL,性能高,资源消耗低。
全量批加工模式:基于Hudi镜像读模式,保持分区裁剪等数据过滤能力。
数据加工—数据分层模型:
价值点:数据口径一致、降本增效、数据解耦。
问题1:跨业务中心数据引用:共享数据统一加工,避免口径差异。
问题2:业务中心内部处理加工:贴源数据与应用数据解耦,便于数据回溯。
数据切换&切换方法:
作业切换:ORC表切换为Hudi表,任务B逻辑修改,任务A无需修改。
历史批量表与Lakehouse实时表的互相引用方式:
实时模式引用批量数据:支持作为维度表,但有限制。
批量模式引用实时表:支持作为维度表,一次性加载到内存。
Lakehouse的典型场景
镜像表构建:
实时入湖:时效性高,方案简单,资源消耗低。
批量入湖:时效性差,方案复杂,资源消耗高。
拉链表构建:
数仓的拉链表实现:基于Upsert语句生成镜像数据,实现不同粒度的拉链数据。
流批一体实现方案:基于Upsert语句批量运行关闭拉链数据。
后续规划&挑战
后期规划:
提升并发写入能力。
支持复杂事务。
挑战:
并发挑战:单表并发写入。
复杂事务:跨表、跨语句的事务要求。
门槛高:功能丰富、参数配置复杂。
未来方向:
开箱即用:降低使用复杂度。
场景能力增强:支持低延时、高速查询和综合复杂场景。
你可能感兴趣
基于英特尔架构的优易控NoTime控制器白皮书-助力实现精准、柔性的运动控制
电子设备
英特尔
2024-07-12
张志龙-基于Harvester实现容器与虚拟机的混合应用架构-1.2
信息技术
ArchSummit北京2022|全球架构师峰会
2022-11-02
《百度APP基于Istio实现基础架构升级》 超 许
信息技术
IstioCon 2021:Istio 社区第一届全球峰会
2022-05-26
利用治理实现农业可持续用水——近东与北非地区实践经验
农林牧渔
联合国
2026-06-16
跟踪资金流系列专题(三):基于ETF建仓资金流的行业轮动策略-早提示拥挤风险,高胜率左侧止盈
国金证券
2025-03-09
基于 DDD 思想的酒店整体架构战略调整-郑吉敏
休闲服务
ArchSummit北京2022|全球架构师峰会
2022-11-02
7-4 基于循环神经网络架构的大规模供应链网络的仿真和优化 - 洪流 教授_复旦大学
文化传媒
DataFunSummit2022:数据科学在线峰会
2022-06-13
基于数据处理器(DPU)的新一代存算分离存储架构:重构数据中心存储范式
信息技术
开放数据中心标准推进委员会
2025-09-22
架构风格与基于网络应用软件的架构设计(中文修订版)
Roy Thomas Fielding
2014-02-17
白皮书 : 品牌架构 101 - 基于价值的管理
信息技术
Brand Finance
2019-07-25