The benefits of integrating Apache Kafka with Istio on Kubernetes Sebastian Toader & Zsolt Varga

AI智能总结

查看更多

• 核心观点：本文探讨了在 Kubernetes 上使用 Istio 部署 Apache Kafka 的安全性、可扩展性、弹性和可观察性。
• 安全目标：
  • 通过 mTLS 在所有服务之间实现安全通信。
  • 配置短期证书，实现动态证书续期，无需服务中断。
  • 统一配置以启用所有服务的 mTLS。
  • 基于 Kubernetes 服务账户的认证和授权。
  • 实现客户端应用与 Kafka 之间的安全跨集群交互。
• Kafka Broker SSL 客户端认证挑战：
  • Broker 需要私钥和证书对，存储在 JKS、PKCS12 或 PEM 格式的密钥库和信任库文件中。
  • 证书续期需要重新生成密钥库和信任库文件，导致 Broker Pod 重启，可能影响服务性能。
• 客户端证书挑战：
  • 每个客户端身份需要创建证书，证书格式可能不同（JKS、PEM 等）。
  • 客户端证书续期可能需要客户端应用重启。
• Istio 提供的安全层：
  • Istio 通过 mTLS 提供安全层，服务器证书由 Istio 代理边车容器提供。
  • 每个客户端请求自动附加客户端证书，包含 K8s 服务账户信息（格式为 SPIFE://<信任域>/ns/<命名空间>/sa/<服务账户名称>）。
  • 可配置证书过期和动态续期。
  • Kafka 监听器配置为 PLAINTEXT 模式。
• Kafka 客户端认证：
  • Kafka 不处理 PLAINTEXT 模式下的客户端证书。
  • Envoy WASM 过滤器从客户端证书中提取客户端身份并传递给 Kafka。
• Istio 的优势：
  • 提供统一的安全层，通过 Envoy WASM 过滤器实现多种功能，如 Kafka 协议级指标、扩展客户端限流、审计日志等。