登录
注册
个人信息
我的订单
我的报告豆
我的优惠券
我的笔记
我的阅读
我的收藏
我的下载
我的上传
我的订阅
在线客服
退出登录
回到首页
AI
搜索
发现报告
发现数据
发现专题
专题报告
专题百科
研选报告
定制报告
VIP
权益
付费社群
发现一下
行业研究
公司研究
宏观策略
财报
招股书
会议纪要
Token
低空经济
十五五
AIGC
大模型
当前位置:首页
/
行业研究
/
报告详情
Apache Hudi 核心技术新进展
信息技术
2023-07-12
DataFunSummit2023:数据湖架构峰会
SoftGreen
方向探索与Hudi核心功能介绍
Hudi101基础介绍
Hudi云原生数仓
:介绍Hudi作为云原生数据仓库的基础架构和应用场景。
Hudi类DB事务层
:阐述Hudi的事务处理机制及其在数据管理中的角色。
Hudi云原生架构
Hudi新特性
:
Change Data Capture(变更数据捕获)
:详细说明如何捕获和同步数据变更。
Lockless Multi-writer(无锁多写入者)
:介绍无锁写入机制及其优势。
Dynamic Table(动态表)
:解释动态表的特性及其在数据管理中的应用。
Flink Terminology for Change Stream(Flink变更流术语)
:说明Flink在变更流处理中的术语和概念。
Changelog Mode(变更日志模式)
:描述变更日志模式的运作方式。
Persisit the Changes As Is(保留变更原样)
:强调如何保留数据变更的原样。
Change Data Capture(变更数据捕获)
General File Layout(通用文件布局)
:介绍Hudi的文件布局结构。
Supplemental Logging(补充日志)
:解释补充日志的作用和机制。
Record Decoding of Reader(读取记录解码)
:说明读取记录时的解码过程。
Lockless Multiwriter(无锁多写入者)
No Explicit Lock Providers(无显式锁提供者)
:阐述无锁写入机制中锁的处理方式。
Log File Sequence(日志文件序列)
:描述日志文件的序列排列和生成逻辑。
The Compaction Procedure(合并压缩流程)
:介绍合并压缩的具体流程和步骤。
方向探索
LakeHouse发展
:探讨LakeHouse的发展方向和未来趋势。
Incremental ETL(增量ETL)
:说明如何通过增量ETL提高计算效率。
Intricate Txns(复杂事务)
:讨论复杂事务的处理方法和应用场景。
Complicated Use Cases(复杂用例)
:分析复杂用例的解决方案和实现方式。
Roadmap(路线图)
中期规划
:
无主键模型
:未来将支持无主键的数据模型。
更新场景的小文件合并
:优化更新场景下的小文件合并机制。
更丰富的统计信息元数据(查询加速)
:增强统计信息元数据以加速查询。
跨表事务
:实现跨表的事务处理功能。
你可能感兴趣
Hudi 数据湖在顺丰的应用实践
信息技术
DataFunSummit2023:数据湖架构峰会
2023-07-12
基于Kyuubi和Hudi的湖仓一体实践
网易
2023-03-09
基于 Hudi Spark SQL 调度的近实时计算探索
信息技术
DataFunSummit2023:数据湖架构峰会
2023-07-12
字节基于HUDI的批流一体存储实践
信息技术
DataFunSummit2023:数据湖架构峰会
2023-07-12
Rajan Dhabalia - Apache Pulsar 多租户和安全性
房地产
Pulsar Summit 2021 北美峰会
2022-03-25
4-6 Apache Iceberg 在小红书的探索与实践
文化传媒
DataFunSummit2022:大数据存储架构峰会
2022-07-19
3-1 Apache InLong 一站式海量数据集成框架原理和实践
信息技术
DataFunSummit2022:大数据存储架构峰会
2022-07-19
5-4 Apache Spark 在自助分析系统的应用实践与优化
信息技术
DataFunSummit2022:现代数据栈技术峰会
2022-11-02
祝佳俊-Apache Iceberg 在网易严选批流一体的实践
文化传媒
DataFunSummit2022:大数据计算架构峰会
2022-05-19
Apache Doris助力中科软打造保险行业智能风控平台
信息技术
中科软
2025-01-14