4 雪花 - 冰山 REST 目录的演变景观

核心观点与关键数据

为何选择REST Catalog？

• 传统冰山目录存在表寻址不良、缺乏数据治理（如数据沿袭）、性能问题（无缓存）、兼容性问题等问题。
• REST目录将客户端职责转移到服务器端，通过服务器端处理提交和重试，无需表级锁定，提升速度和可靠性。

最新功能与未来方向

• 最新功能：
  • 服务器端规划
  • Sever capability
  • 查看支持
• 未来方向：
  • 服务器端元数据表
  • 细粒度提交发动机
  • Credential Refresh, Credential Vending
  • 简化LoadTable

日益增长的生态系统

• 支持跨引擎读写（Apache Flink、Apache Spark、Trino等）
• 集中化、安全和访问管理（RBAC、OAuth2、凭据管理）
• 支持在任何地方运行，无锁定
• 实体层次结构（内部/外部目录、嵌套命名空间）

服务器实现：Apache Polaris（孵化中）

• 功能：
  • 改进冲突解决（DDL vs DML、压缩 vs 抓取多表事务）
  • 更好的数据治理
  • 简化客户端实现
• 权限模型：
  • 委托人、目录角色、主要角色
• DEMO：
  • 使用PyIceberg和StarRocks连接Polaris
  • 创建外部目录并执行读写操作

社区驱动的路线图

• 目录同步（Notification API支持）
• 更多存储选项（HDFS等）
• 更多治理特点（列掩蔽、加密、数据谱系）
• 高级冰山目录功能（提交冲突解决、服务器端规划）
• 迁移工具（适用于HMS用户）

加入社区

• 多样化专业知识（PPMC成员来自Snowflake、oDremio、Google等）
• 成为创新的一部分
• 参与方式：开发列表、聊天通道、代码库贡献、分享反馈