使用 ClickHouse _ Hodges 提升数据 _ Kubernetes 上的实时分析

核心观点与内容概述

ClickHouse 简介

• ClickHouse 是一款实时分析数据库，支持 SQL 在裸机上运行，采用云无共享架构、按列存储数据、并行和矢量化执行，扩展能力达 PB 级别，基于 Apache 2.0 开源。
• 相比 PostgreSQL 和 MySQL，ClickHouse 在分析查询上速度通常快 1000 倍，仅读取选定的列而非全部列。

Kubernetes 与 ClickHouse 结合

• Kubernetes 管理基于容器的应用程序，而 ClickHouse 操作复杂，因此需要运算符简化部署。
• Altinity Kubernetes Operator 可简化 ClickHouse 在 Kubernetes 上的部署。

部署步骤

1. 安装 ClickHouse 运算符：

   kubectl apply -f https://raw.githubusercontent.com/Altinity/clickhouse-operator/master/deploy/operator/clickhouse-operator-install-bundle.yaml
   

2. 设置 ZooKeeper：

   kubectl create ns zoo1ns
   kubectl apply -f zookeeper-1-node.yaml -n zoo1ns
   

3. 定义集群配置：
   • 集群配置包括副本数量、分片数量、存储卷模板等。
   • 示例配置：

     apiVersion: \"clickhouse.altinity.com/v1\"
     kind: \"ClickHouseInstallation\"
     metadata:
       name: \"demo\"
     spec:
       config:
         cluster:
         - name: \"cl\"
           layout:
             replicasCount: 1
             shardsCount: 1
           template:
             volumeClaimTemplate:
               storage:
                 claimPolicy: Retain
                 spec:
                   accessModes:
                     - ReadWriteOnce
                   resources:
                     requests:
                       storage: 50Gi
     

生产环境扩展

• 向上扩展：
  • 通过调整 Pod 的 VM 类型（如 m6i.large 或 m6i.xlarge）提升性能。
  • 示例 Pod 配置：

    template:
      podTemplates:
      - name: server
        spec:
          containers:
          - name: clickhouse
            image: altinity/clickhouse-server:23.3.13.7.altinitystable
            nodeSelector:
              node.kubernetes.io/instance-type: m6i.xlarge
    

• 跨可用区域扩展：
  • 通过添加亲和性规则将副本分配到特定可用区。

云原生部署

• ArgoCD 与 GitOps：
  • 使用 ArgoCD 将 GitHub 中的配置同步到 Kubernetes，实现自动化部署。
  • 示例命令：

    argocd app create clickhouse --repo https://github.com/Altinity/argocd-examples-clickhouse.git --path apps/clickhouse --dest-server https://kubernetes.default.svc --dest-namespace default
    

总结与建议

• Altinity Kubernetes Operator 可简化 ClickHouse 在 Kubernetes 上的部署，支持 Minikube、OpenShift、Rancher 等环境。
• 生产部署建议：
  • 使用托管的 Kubernetes 服务（如 EKS、GKE、AKS）或自建集群。
  • 利用 Operator 的自动扩展、跨可用区部署和向上扩展功能。
  • 结合 ArgoCD 实现 GitOps 自动化管理。
• 资源链接：
  • Altinity Kubernetes Operator GitHub：https://github.com/Altinity/clickhouse-operator
  • Altinity 文档：https://docs.altinity.com
  • Altinity 博客：https://altinity.com/blog
  • Kubernetes 文档：https://kubernetes.io/docs/home/
  • EKS、GKE、AKS 文档。