Alluxio 的主要数据访问命题在于解决特定场景中的数据访问问题,其核心优势体现在以下方面:
Alluxio 的最佳适用场景
Alluxio 主要解决存算分离场景下的数据访问问题,通过编排数据贴近计算,保证数据读写性能。此外,它还支持联邦异构存储系统,让用户通过统一命名空间访问数据,并降低接口适配成本,为复杂系统提供通用协议转换方案。同时,Alluxio 屏蔽数据物理位移,为运维人员提供自动化数据管理方案。
Alluxio 的数据缓存、命名空间、接口转换
Alluxio 通过缓存加速数据访问,支持命名空间管理,并提供接口转换功能,从而实现多系统数据的统一访问。
基于 Alluxio 的数据管理
在数据管理方面,Alluxio 支持分层存储策略,例如将超过 6 个月的文件从 HDFS 迁移至对象存储。执行引擎会根据分层策略扫描目录树、迁移文件并进行错误重试。数据转移过程中,物理路径被 Union Mount 屏蔽,物理位置的改变对应用层无影响。
基于 Alluxio 的数据联邦
在数据联邦方面,Alluxio 支持混合云中的数据自治和数据共享。通过多云、多数据中心,企业的各个执行单位在数据化进程中表现更加敏捷。然而,传统数据同步方法面临数据一致性、高冗余、运维复杂度和管理复杂度等挑战。Alluxio 通过提供中心化管理平台,在库、表、文件层级实现联邦访问,允许用户同时访问自治数据和共享数据。用户访问远程数据时,按需缓存数据,避免数据同步,且系统改造为增量改造,业务部门仍使用原有工作模式访问自治数据。