登录
注册
个人信息
我的订单
我的报告豆
我的优惠券
我的笔记
我的阅读
我的收藏
我的下载
我的上传
我的订阅
在线客服
退出登录
回到首页
AI
搜索
发现报告
发现数据
发现专题
专题报告
专题百科
研选报告
定制报告
VIP
权益
付费社群
发现一下
行业研究
公司研究
宏观策略
财报
招股书
会议纪要
Token
低空经济
十五五
AIGC
大模型
当前位置:首页
/
行业研究
/
报告详情
Celeborn社区支持Flink最新进展
信息技术
2023-07-12
DataFunSummit2023:数据湖架构峰会
董亚琴
01-基本架构 Shuffle概念设计:
MapPartition & ReducePartition:
ReducePartition:无需区分不同attempt的结果,PartitionId = ReducerID。
PushShuffle + Partition数据聚合:MapPartition输出到不同result Partition,下游task读取时合并。
MapPartition:区分相同Map不同attempt的结果,PartitionId = (8 AttemptId) + (24 MapId)。
受限Flink场景及目前Shuffle接口必须实现:部分场景具备优势。
FlinkShuffle协议支持:
Result Partition:Map Partition区分相同Map不同attempt的结果。
02-基本功能 资源分配与管理:
Register Shuffle(Slot allocator):资源分配与副本管理。
Replica:多副本机制。
Partition Spit/Revive/Destroy:分区生命周期管理。
Shuffle Result Group & Shuffle Expire:结果分组与过期管理。
Application Expire:应用过期管理。
网络传输:
控制流/数据流:网络传输机制。
数据读写:
Flink Client/Map Partition reader/writer/Commit:数据读写与提交机制。
03-关键技术 性能:
支持客户端压缩&小包合并(LZ4/ZSTD):提升传输效率。
支持IO Scheduling:优化IO调度。
支持Broadcast优化:MapPartition输出到不同result Partition,下游task读取时合并。
稳定性:
容错:
Celeborn Master(HA):高可用机制。
多副本机制:数据冗余。
LifecycleManager:生命周期管理。
Credit-Based(流控):流控机制。
心跳&垃圾回收机制:监控与清理。
资源复用:Client、Tcp链接、FileChannel复用。
04-开发进展 未来计划:
多副本支持:增强数据冗余。
Split支持:分区支持。
网络重传:提升传输可靠性。
动态的内存管理:优化内存使用。
HybridFlinkShuffle支持:混合模式支持。
Mixed CelebornShuffle Type支持:混合类型支持。
你可能感兴趣
支持美国的 AAPI 社区
电通
2021-05-15
C-REITs周报:二级震荡,商务部等九部门支持社区商业等发行REITs
信息技术
国盛证券
2025-09-21
支持猴痘预防和控制社区保护可持续性的框架
世界卫生组织
2025-09-05
支持公正和包容的能源转型:东盟可再生能源项目的社区参与和利益共享
公用事业
东盟能源中心
2026-07-01
行业透视 | 强监管“高进低出”式长租,不如支持自建自营租赁社区
房地产
克而瑞
2020-09-30
医疗行业:中国连锁社区诊所研究——政策支持,需求扩增,未来可期
医药生物
头豹研究院
2020-11-03
Nextdoor & rsquo ; 首席执行官通过 COVID - 19 支持社区
信息技术
麦肯锡
2021-01-05
斯洛伐克追赶地区5:关于支持普雷绍夫、班斯卡-比斯特里察和科希策自治区市政当局改善边缘化罗姆人社区融合的进展报告
建筑建材
世界银行
2026-04-09
在发展中国家促进和支持母乳喂养的社区战略
世界卫生组织
2003-02-17
Apache Celeborn和数据湖计算引擎云原生实践
信息技术
DataFunSummit2023:数据湖架构峰会
2023-07-12