混合存储架构中的数据编排

Saiguang |Alluxio 数据访问的主要命题1 2Alluxio最佳适用场景 内容列表 3Alluxio的缓存加速、命名空间、接口转换 4基于Alluxio的数据管理 5基于Alluxio的数据联邦 多系统，多中心架构的优势---大势所趋 命名空间 A l l u x i o的 最 佳 适 用 场 景 Alluxio解决特定场景中的数据访问命题 编排数据贴近计算，在存算分离场景下保证数据读写性能 联邦异构存储系统，让用户通过统一命名空间访问数据 降低接口适配成本，为复杂系统提供通用协议转换方案 屏蔽数据物理位移，为运维人员提供自动化数据管理方案 A l l u x i o的 数 据 缓 存 ， 命 名 空 间 ， 接 口 转 换 基 于A l l u x i o的 数 据 管 理 应用场景：热数据放在HDFS中，冷数据放在对象存储中分层策略：超过6个月的文件由HDFS迁移至对象存储执行引擎：根据分层策略扫描目录树、迁移文件、错误重试等数据转移：数据的物理路径被Union Mount屏蔽，物理位置的改变对应用层无影响 基 于A l l u x i o的 数 据 联 邦 混合云中的数据自治和数据共享 •通过使用多云、多数据中心，企业的各个执行单位在数据化的进程中表现得更加敏捷•数据系统围绕部门、子公司、区域公司等组织结构形成数据孤岛，妨碍数据资产的价值提升•传统方法通过数据同步实现数据孤岛之间的数据共享，但是面临诸多挑战•数据一致性（数据同步是否结束？）•数据高冗余（数据生命周期如何管理？）•运维复杂度（哪些数据需要同步？）•管理复杂度（如何找到共享数据？） 基于Alluxio的数据联邦 •为共享数据的注册、发现提供中心化管理平台•在库、表、文件3个层级提供联邦访问•允许用户同时访问自治数据和共享数据•用户访问远程数据时，按需缓存数据，避免数据同步•系统的改造为增量改造，业务部门仍然使用原有的工作模式来访问自治数据 感谢聆听 saiguang@alluxio.com