5-5 腾讯 Alluxio：加速新一代大数据与 AI 变革

大数据架构演进与Alluxio的进展

大数据生态圈和Alluxio的昨天

• 10年前的大数据生态圈面临挑战，数据存储和处理效率低下。
• 2015年，Alluxio（原名Tachyon）在AMPLab活动上发布，旨在解决大数据生态中的数据访问瓶颈问题。

Alluxio数据编排平台的发展

• Alluxio项目自2013年在GitHub开源，累计超过32000个提交，1100多位贡献者来自全球100多个组织机构。
• 2020年，Alluxio在Google和OpenSSF的开源指标中被评为最有影响力的Java开源项目中排名第9。
• Alluxio通过跨集群、跨区域、任何云（私有云/公有云/混合云）的数据编排，提供内存速度的数据访问。

腾讯Alluxio进展

• 腾讯社区在Alluxio开源贡献中排名第二，贡献了20+文章、10+分享、400+PR Merged，并拥有1名社区Release Manager。
• 腾讯Alluxio进展包括基于容量的选worker读策略、集成Ozone、CephFS、COSN等底层存储，以及创建JNIFUSE模块等。

2022年的技术演进方向

• 核心优化：优化元数据服务（Master）、数据服务（Worker）、Job Service。
• 场景优化：与K8S环境、数据湖方案（Hudi, Iceberg）深度集成，优化AI和OLAP场景。

落地案例典型案例分享

• 腾讯案例：通过Alluxio提升Impala查询性能，I/O密集型查询速度提升244%，查询失败率降低5%，查询超时失败错误率降低29%。
• Supersql案例：Alluxio和Presto混合部署，TPC-DS测试平均加速比2.6，Alluxio LocalCache缓存效果显著（3-10倍加速）。

未来工作

• 基础设施建设：建设可靠的自动化测试平台，减少内部代码与开源代码冲突。
• 生态工具建设与完善：完善ratis-shell，建设智能预热预测系统，实现缓存动态自均衡。
• Alluxio安全：支持更多认证和鉴权系统，实现多租户。
• Alluxio功能扩展：实现无感冷热数据迁移，访问代理、流量控制，多master联邦。

引用与期待

• 引用相关文档和书籍，欢迎加入Alluxio社区。