云原生湖仓一体演进

01 Lakehouse 价值与挑战

• AI 场景数据管理痛点：数据散布、ETL 串联时效性差、修改和模式变更困难、版本管理难、跨系统一致性难。
• AI 数据读写性能差：不同文件格式重复序列化、存储介质间反复 I/O。

02 AI 系统对 Lakehouse 的需求

• 明确向量数据是 Lakehouse 与 AI 系统的桥梁。

03 向量数据连接 DATA 与 AI

• 向量表技术：
  • Iceberg：兼容现有架构、可拓展性高、社区活跃，但向量索引需额外管理。
  • Lance：原生支持多模态数据、内置多种索引、AI 数据集元数据优化。
• 向量表查询优化：
  • Iceberg LSH 索引：通过 locality sensitive hashing 聚类向量，支持实时更新、并发写入、跨引擎使用。
  • Lance 向量表优化：简化数据格式（去除行组）、优化元数据管理、DiskANN 磁盘向量索引（IVF_HNSW_PQ）。

04 向量湖的技术方向与实现

• Iceberg 向量表与 LSH 索引：
  • 搜索复杂度 O(size(df) * dim)，SimJoin 复杂度 O(size(dfa) * size(dfb) * dim)。
  • LSH 索引构建步骤：计算 LSH key、映射 bucket，优势在于实时更新、支持并发、跨引擎使用。
• Lance 向量表优化：
  • 数据格式优化：按列拆分数据页，简化元数据管理。
  • 向量索引优化：DiskANN 磁盘向量索引，支持超大规模数据集和跨引擎使用。

05 管理多模态数据新范式

• 多模态数据管理架构：支持文本、图像、音频、视频、向量等。
• 业界探索：
  • LanceDB：支持 SQL 查询、高容量、多模态，但向量索引限制较多。
  • DeepLake：统一系统支持数据分析和向量查询，但向量索引功能有限。
  • Gravitino：支持多模态数据管理，但需进一步验证。

06 社区和业界的实践与展望

• 总结：Lakehouse 结合向量数据技术（Iceberg、Lance）可解决 AI 数据管理痛点，多模态数据管理是未来趋势。