多云缓存在知乎的演进

胡梦宇知乎数据平台开发工程师

背景

多云架构

• 服务多活：通过多云架构实现服务高可用。
• 容量扩展：满足平台容量扩展需求。

模型训练/上线问题

• 流量过大导致专线不可用。

多HDFS集群方案

• 优势：解决部分场景（模型上线）的专线流量问题，通过增加文件副本解决热节点问题。
• 不足：模型训练数据依旧跨机房读取，多套HDFS集群维护困难、成本增加，引人离线拷贝任务导致文件视图难以维护，HDFS协议对非Java客户端不友好。

自研缓存组件

自研组件目标

• 支持多种场景：模型上线与模型训练。
• 支持多机房缓存。
• 支持多种编程语言：Java/Golang/Python。

自研组件：UnionStore

• 优势：提供对象存储协议，自动缓存机制替代定时拷贝任务，解决文件视图问题，降低存储成本，提供POSIX读取HDFS解决方案。
• 不足：元数据强依赖HDFS，缓存文件时卡住用户请求导致冷读文件慢，对象存储存在性能问题，读取速度慢，S3FUSE放大HDFS元数据请求。

组件调研、性能测试、部署与优化、上线效果

• 对自研组件进行调研、性能测试、部署优化，最终上线应用。

开源缓存组件

组件调研

• 需求：透明缓存、协议丰富、性能优秀，支持对象存储协议与POSIX访问方式，直接代理HDFS提供缓存能力。
• 调研结果：Alluxio作为首选开源组件。

上线方式

• 通过S3 Proxy和Alluxio fuse两种方式上线。

性能测试

• S3 Proxy：性能测试结果。
• Alluxio fuse：性能测试结果。

部署

• S3 Proxy：部署在裸金属机，原因包括Worker强依赖磁盘、混布S3Proxy与Worker方便短路读、知乎有专属大数据运维平台。
• Alluxio fuse：部署在DaemonSet，原因包括GPU机器独占资源、胖容器充分使用闲置磁盘、Hostpath无需改造即可实现挂载点恢复。
• 集群拓扑：3Master+3Worker小集群，数百个fuse进程部署在GPU机器上，每个fuse 10TB+NVME磁盘本地缓存。

S3 Proxy优化

• 模型读取场景特点：过期快、缓存穿透、并发高。
• 优化策略：设置较小过期时间、Worker仅使用NVME盘、文件缓存副本数无上限、Worker与Proxy混布使用短路读、自研文件预热策略实时预热。
• 优化详解：
  • 短路读：提升性能。
  • 实时预热策略：效果显著。
  • 元数据缓存：制定文件使用规范，提供强制刷新元数据方式。
  • 限速：进一步优化性能。

Alluxio fuse优化

• 开启内核数据缓存、内核元数据缓存，设置较长的MetadataSync时间，挂载点恢复配合业务重试提高SLA。

Alluxio 算法场景上线效果

• 模型上线场景：数据读取速度提升200%，成本节省25%。
• 模型训练场景：训练时间减少60%，训练数据读取速度提升250%，未增加额外成本。

补充场景

• S3 Proxy在大数据运维中的应用：
  • 优化前：对象存储下载速度慢，批量部署时间长。
  • 优化后：显著提升大数据组件发布与上线效率。
  • 优化效果：大幅缩短发布时间，提高运维效率。

总结

• 回顾：通过自研和开源组件的优化，显著提升了模型上线和模型训练的性能，降低了成本，并优化了大数据运维效率。
• 总结与展望：未来将继续优化缓存组件，进一步提升平台性能和运维效率。