登录
注册
回到首页
AI
搜索
发现报告
发现数据
发现专题
研选报告
定制报告
VIP
权益
发现大使
发现一下
行业研究
公司研究
宏观策略
财报
招股书
会议纪要
海南封关
低空经济
DeepSeek
AIGC
大模型
当前位置:首页
/
行业研究
/
报告详情
5-2 快手 HDFS 的技术演进
电子设备
2022-07-19
DataFunSummit2022:大数据存储架构峰会
罗***
AI智能总结
查看更多
快手HDFS技术演进总结
个人简介
硕士毕业于中国科学院计算技术研究所
2017年底加入快手,担任HDFS及对象存储负责人
曾在中科院计算所、360等公司从事Linux内核、分布式存储系统和OLAP系统的研发
技术演进和思考
快手HDFS简介
规模
: 节点数数万,总数据量EB量级,日写入数据量百PB,文件数数十亿
性能指标
: 峰值元数据请求量6个9以上,客户端视角可用性12个9以上
存储类型
: 对象存储(标准/低频存储)和离线HDFS(标准/低频存储)
核心需求
: 可靠性、性能、成本、扩展性
扩展性建设
原生架构问题
存在读写大锁,单namespace服务容量低
元数据全内存存储,承载量小
客户端维护namespace路由,运维成本高
分级保障
通过离线集群保障高优作业的RPC响应时间
RBF架构
引入RouterBasedFederation架构实现横向扩展
采用同步调用模型,设计大线程池和旁路队列防止慢namespace阻塞
开发异步调用模型
支持StandbyRead
namespace内读写分离,通过StandbyRead扩展读服务能力
热点namespace读取qpm达近1000万/min,可持续横向扩展
namenode细粒度锁
拆分锁提升读写服务容量
三大功能对应三条操作流:客户端请求、datanode请求、内部状态维护
升级后写吞吐提升5.7倍,读吞吐提升16.6倍
跨Region集群构建
背景
地域物理资源有限,需突破架构限制
跨地域网络延迟和带宽限制下的服务可用性和性能
租户编排
租户是计算和存储资源的组合
租户间数据依赖引发跨Region访问
目标和决策
带宽管控:采用集中式流控方案,客户端和datanode均需申请lease
访问性能优化:遵循就近原则,元数据请求和数据IO均优先本地
Region本地缓存:写缓存用于ETL作业,读缓存用于ADHOC查询
数据搬迁:提供无感知的数据搬迁能力
集群架构
带宽管控原则:资源不足时向高优倾斜,资源充足时满足业务需求
未接入流量识别和运营:依据客户端版本和IP判定,限制和阻断
ZoneService服务降级和快速扩容
成本优化体系建设
背景
数据量快速上涨带来的存储成本压力
存储类型
标准存储和低频存储分别用于高频和低频数据
低频存储副本数更低,存储机型密度更高,可用性低于标准存储
同城冗余分散数据于一个Region的多个AZ,本地冗余单AZ存储
低频存储类型
基于EC构建,支持RS、XOR、LRC算法,灵活K+M配比
条带跨DC放置,可容忍单DC故障
先支持离线EC,再支持在线EC
数据可用性
依据访问热度做存储类型准入和缓存
条带打散排布,重构数据时降低延迟
IntelISA-L加速库提升性能
数据可靠性
EC流程确保parity正确性
写入src和parity有checksum保障数据正确性
数据静默错误可通过datanode扫描线程及时发现
操作保证条带数据打散到不同故障域
引入离线数据location分布及可靠性兜底检查
未来规划
缓存优化
单机存储引擎
nn性能优化
存算分离
多协议支持
异构存储
在线EC
优化副本放置
缩短恢复时间
多租户可用性
你可能感兴趣
快手可图大模型的技术演进与应用探索
文化传媒
全球人工智能开发与应用大会
2024-10-28
5-2 老铁智播间:电商场景下的虚拟智能主播 _快手
文化传媒
DataFunSummit2022:数字人技术峰会
2022-08-30
5-2 基于大数据及机器人对话技术在综合理财平台下的应用实践 - 卢易 陆金所大数据平台负责人
信息技术
DataFunSummit2022:数据科学在线峰会
2022-06-13
项目 RAN 演进 : 关键 C - RAN 技术的进一步研究
信息技术
NGMN
2015-03-31
速度和技术在并购演进中的作用
信息技术
Datasite
2022-11-02