5-2 快手 HDFS 的技术演进

快手HDFS技术演进总结

个人简介

• 硕士毕业于中国科学院计算技术研究所
• 2017年底加入快手，担任HDFS及对象存储负责人
• 曾在中科院计算所、360等公司从事Linux内核、分布式存储系统和OLAP系统的研发

技术演进和思考

快手HDFS简介

• 规模: 节点数数万，总数据量EB量级，日写入数据量百PB，文件数数十亿
• 性能指标: 峰值元数据请求量6个9以上，客户端视角可用性12个9以上
• 存储类型: 对象存储（标准/低频存储）和离线HDFS（标准/低频存储）
• 核心需求: 可靠性、性能、成本、扩展性

扩展性建设

原生架构问题

• 存在读写大锁，单namespace服务容量低
• 元数据全内存存储，承载量小
• 客户端维护namespace路由，运维成本高

分级保障

• 通过离线集群保障高优作业的RPC响应时间

RBF架构

• 引入RouterBasedFederation架构实现横向扩展
• 采用同步调用模型，设计大线程池和旁路队列防止慢namespace阻塞
• 开发异步调用模型

支持StandbyRead

• namespace内读写分离，通过StandbyRead扩展读服务能力
• 热点namespace读取qpm达近1000万/min，可持续横向扩展

namenode细粒度锁

• 拆分锁提升读写服务容量
• 三大功能对应三条操作流：客户端请求、datanode请求、内部状态维护
• 升级后写吞吐提升5.7倍，读吞吐提升16.6倍

跨Region集群构建

背景

• 地域物理资源有限，需突破架构限制
• 跨地域网络延迟和带宽限制下的服务可用性和性能

租户编排

• 租户是计算和存储资源的组合
• 租户间数据依赖引发跨Region访问

目标和决策

• 带宽管控：采用集中式流控方案，客户端和datanode均需申请lease
• 访问性能优化：遵循就近原则，元数据请求和数据IO均优先本地
• Region本地缓存：写缓存用于ETL作业，读缓存用于ADHOC查询
• 数据搬迁：提供无感知的数据搬迁能力

集群架构

• 带宽管控原则：资源不足时向高优倾斜，资源充足时满足业务需求
• 未接入流量识别和运营：依据客户端版本和IP判定，限制和阻断
• ZoneService服务降级和快速扩容

成本优化体系建设

背景

• 数据量快速上涨带来的存储成本压力

存储类型

• 标准存储和低频存储分别用于高频和低频数据
• 低频存储副本数更低，存储机型密度更高，可用性低于标准存储
• 同城冗余分散数据于一个Region的多个AZ，本地冗余单AZ存储

低频存储类型

• 基于EC构建，支持RS、XOR、LRC算法，灵活K+M配比
• 条带跨DC放置，可容忍单DC故障
• 先支持离线EC，再支持在线EC

数据可用性

• 依据访问热度做存储类型准入和缓存
• 条带打散排布，重构数据时降低延迟
• IntelISA-L加速库提升性能

数据可靠性

• EC流程确保parity正确性
• 写入src和parity有checksum保障数据正确性
• 数据静默错误可通过datanode扫描线程及时发现
• 操作保证条带数据打散到不同故障域
• 引入离线数据location分布及可靠性兜底检查

未来规划

• 缓存优化
• 单机存储引擎
• nn性能优化
• 存算分离
• 多协议支持
• 异构存储
• 在线EC
• 优化副本放置
• 缩短恢复时间
• 多租户可用性