Rajan Dhabalia - Apache Pulsar 多租户和安全性

Apache Pulsar 多租户和安全性总结

Yahoo/Verizon Media 中的 Pulsar 部署

• 全球部署：在亚洲、欧洲、美国等 6 个数据中心进行完全网格复制，作为 Yahoo/VMG 内的托管 pub-sub 服务开发。
• 开源与关键用例：2016 年开源，关键任务用例包括服务应用程序、低延迟总线、写入可用性。
• 规模与演化：自 2015 年以来增长显著，支持 120+ 租户和 15M RPS；存储演进涵盖 HDD、SDD、NVMe、PMEM，支持本地、公共云和跨组织集成。

多租户与安全要求

• 多租户安全：要求包括租户和命名空间身份验证和授权、IO 隔离、传输中加密、配额和节流、静态加密、经纪人和布基隔离。
• 代理支持：支持 ATS、HAProxy、Nginx 等代理，实现公有云访问混合云应用。

多租户架构

• 租户和命名空间：租户是最高配置级别，命名空间是中级资源调配单元，通常一个应用程序/使用一个租户，一个团队一个租户。
• 自助租户管理：通过门户进行用户到团队映射、租户创建/修改、管理员授权，必要时通过 Admin API 管理租户。

IO 隔离

• 数据隔离机制：通过 Reader/Writer 读取（冷）WriteJournal 数据文件，实现数据设备隔离。

配额和节流

• 存储配额：由 Pulsar 管理员控制，包括命名空间级别和主题级存储限制。
• 节流控制：包括发布率（经纪人）、派遣率、复制器派遣率等，由租户控制命名空间级别和主题级别。

经纪人隔离

• 隔离策略：通过正则表达式匹配命名空间和经纪人，实现高配置/预留容量，针对行为不端租户和调试。
• 命令示例：pulsar-admin ns-isolation-policy set 设置隔离策略。

Bookie 隔离

• Bookie 隔离：通过“Unity Group”的 Bookie 实现机架感知命名空间隔离。
• 命令示例：pulsar-admin bookies set 和 pulsar-admin namespace set 配置 Bookie 隔离。

Anti-Affinity Group

• 命名空间分配：通过 Anti-Affinity Group 更改负载均衡器，实现命名空间分配。
• 命令示例：pulsar-admin namespace set anti-affinity-group。

安全性

• 身份验证和授权：支持 TLS 身份验证、Athenz、Kerberos、JSON Web 令牌等，可插拔身份验证和授权提供程序。
• 传输中加密：通过配置服务 URL 和 TLS 证书文件实现客户端加密。
• 静态加密：生产者和消费者通过 cryptoKeyReader 实现静态加密。

Pulsar 代理

• 公有云访问：在云环境中或上实现网关，通过 Kubernetes 部署。
• 配置示例：配置 brokerServiceURL 和 brokerWebServiceURL。

SNI 路由支持

• 第 4 层 SNI 路由：代理服务器创建 TLS 隧道，使外部客户端连接到内部服务并进行客户端证书验证。
• 客户端配置：通过 proxyServiceUrl 和 ProxyProtocol.SNI 实现 SNI 路由。

跨组织地理复制

• 集群配置：通过 Pulsar 管理集群创建，支持 SNI 和代理协议。
• 更多信息：参考 PIP-60 文档。

未来路线图

• 基于租户的代理虚拟化：实现 BookKeeper 服务上的基于容器的代理。
• 混合云部署：支持具有地理复制的混合云部署。