多云缓存在知乎的演进

胡梦宇知乎数据平台开发工程师 背景 背景Part 01 1.1多云架构 服务多活 容量扩展 1.1多云架构 1.2模型训练/上线 问题： 流量过大导致专线不可用； 1.3多HDFS集群方案 优势： 解决部分场景（模型上线）的专线流量问题：·增加文件副本解决了热节点问题。 不足： 模型训练数据依旧跨机房读取；·多套HDFS集群维护困难，成本增加；·引人离线拷贝任务，文件视图难以维护；·HDFS协议对非Java客户端不友好。 Part 02自研缓存组件 2.1 自研组件目标 支持多种场景 支持多机房缓存支持多种编程语言 需要同时支持Java/Golang/python三种语言的访问 需要同时支持模型上线场景与模型训练场景 2.2 自研组件一UnionStore 优势： 提供了对象存储协议；自动缓存机制替代定时拷贝任务·解决了文件视图的问题；·降低了存储成本；提供了POSIX读取HDFS解决方案。 不足： 元数据强依赖HDFS；在缓存文件时卡住用户请求，冷读文件慢；，对象存储存在性能问题，读取速度慢：·S3FUSE放大HDFS元数据请求。 组件调研性能测试部署与优化上线效果 Part 03开源缓存组件 3.1.1 组件调研： 需求 透明缓存 协议丰富 性能优秀 遥存该取速度至少达到对象存储的 n倍 需要提供对象存储协设与 POSIX访问方式 能够直接代理HDFS提供缓存能力 3.1.2 组件调研： Alluxio 3.1.3 组件调研：上线方式 3.2.1性能测试：S3 Proxy 3.2.2 性能测试： Alluxio fuse 3.3.1 部署 S3 Proxy:裸金属机 Why notkubernetes? ·Worker强依赖磁盘，磁盘共享影响性能，Worker速度太快，容易打满网卡，影响其他服务·裸金屋机混布S3Proxy与Worker，短路读配置更方便·知乎有专属的大数据运维平台，k8s运维优势不大 3.3.2 部署 fuse: DeamonSet Why not CSI? ·GPU机器独占，物理资源丰富，fuse无需释放资源·Alluxiofuse胖容器，充分使用闲置磁盘、内存、CPU，训练数据重复程度高，防止缓存多份，浪费磁盘·Hostpath无需改造即可实现挂载点恢复 3.3.2部署 fuse：集群拓扑 ·3Master+3Worker小集群·数百个fuse进程部署在GPU机器上·每个fuSe10TB+NVME磁盘本地缓存 3.4 S3Proxy优化：模型读取场景特点 过期快 缓存穿透 并发高 模型文件只会在短时间内使用，读取完毕后即可视为过期 单一模型文件上百容器高并发读取，峰值流量最高ITb/sec 数据产出与读取的间隔短，无法提前预热 3.4 S3 Proxy 优化：整体预览 过期快 缓存穿透 并发高 设置较小的过期时间，使文件快速过期某群存储容量不必太大，因此Worker可仅使用NVME盘 文件缓存副本数无上限Worker与Proxy泥布，使用短路读节省流量 自研文件预热策略，实时预热 3.4.1S3 Proxy优化详解：短路读 3.4.2 s3 Proxy 优化详解:实时预热策略 优势： 实时预热策略效果3.4.2 S3 Proxy 优化详解：宝 ·阶段一:UnionStore·阶段二：Alluxio+S3Proxy·阶段三：Alluxio+S3Proxy+实时预热策略 3.4.3 S3 Proxy优化详解：元数据缓存 .阶段一：UnionStore·阶段二：Alluxio+S3Proxy阶段三：Alluxio+S3Proxy+1min元数据缓存 3.4.3 S3 Proxy优化详解：元数据缓存 制定文件使用规范： ，新增文件写人新目录，以版本号的方式管理·旧文件尽量不要追加或覆盖 提供强制刷新元数据方式： ·在S3Proxy上增加特殊命令，供用户刷新元数据 3.4.4 s3 Proxy 优化详解：限速 3.5 Alluxio fuse 优化 ·开启内核数据缓存·开启内核元数据缓存·设置较长的MetadataSync时间·挂载点恢复配合业务重试提高SLA 3.6 Alluxio 算法场景上线效果 模型上线场景： 模型数据读取速度提升200%·成本节省25% 模型训练场景： 模型训练时间减少60%训练数据读取速度提升250%·未增加额外成本 3.7补充场景 S3 Proxy 在大数据运维中的应用 3.7.1大数据组件发布与上线(优化前) 问题: ·对象存储下载速度慢，批量部署时间长 3.7.2 大数据组件发布与上线(优化后) 3.7.3 大数据组件发布与上线(优化效果） 4总结Part 04 回顾 总结与展望 谢谢观看！