安装 (Helm)

1. 添加 Rook Helm 仓库：

   bash

   helm repo add rook-release https://charts.rook.io/release

2. 安装操作器：

   bash

   helm install --create-namespace --namespace rook-ceph rook-ceph rook-release/rook-ceph -f values.yaml

3. 安装集群：

   bash

   helm install --create-namespace --namespace rook-ceph rook-ceph-cluster --set operatorNamespace=rook-ceph rook-release/rook-ceph-cluster -f values.yaml

操作器配置

rook-ceph-operator 默认值

• Pod 资源请求和限制：

  yaml

  resources:
    requests:
      cpu: 20m

• 全局日志级别：

  yaml

  logLevel: INFO

• CSI 配置：

  • RBD 供应器资源：

    yaml

    csiRBDProvisionerResource: |
      - name: csi-provisioner
        resource:
          requests:
            cpu: 10m
      ...

  • RBD 插件资源：

    yaml

    csiRBDPluginResource: |
      - name: driver-registrar
        resource:
          requests:
            memory: 128Mi
            cpu: 5m
          limits:
            memory: 256Mi
      ...

  • CephFS 供应器和插件资源（类似格式）。

  • NFS 供应器和插件资源（类似格式）。

• 监控：

  yaml

  monitoring:
    enabled: true

集群配置

• 工具箱：

  yaml

  toolbox:
    enabled: true
    resources:
      requests:
        cpu: '10m'

• Ceph 集群规格：

  yaml

  cephClusterSpec:
    dashboard:
      port: 7000
    labels:
      monitoring:
        release: prometheus-stack
    resources:
      mgr:
        requests:
          cpu: "50m"
      mon:
        requests:
          cpu: "100m"
      ...
    removeOSDsIfOutAndSafeToRemove: true

移除 OSD

1. 停止 Rook 操作器：

   bash

   kubectl -n rook-ceph scale deployment rook-ceph-operator --replicas=0

2. 将 OSD 标记为 out：

   bash

   ceph osd out osd.<ID>

3. 确认 OSD 已下线：

   bash

   kubectl -n rook-ceph scale deployment rook-ceph-osd-<ID> --replicas=0
   ceph osd down osd.<ID>

4. 等待回填完成（active+clean PG）。

5. 移除 OSD：

   bash

   ceph osd purge <ID> --yes-i-really-mean-it
   ceph auth del osd.<ID>
   ceph osd crush remove <nodeName>

6. 验证：

   bash

   ceph osd tree

7. 重启 Rook 操作器。

磁盘分区

1. 列出可用磁盘：

   bash

   sudo fdisk -l

2. 分区磁盘：

   bash

   sudo fdisk /dev/sda
   # 使用 `n` 创建，使用 `w` 保存。

清理设备

1. 清除分区：

   bash

   sgdisk --zap-all $DISK
   dd if=/dev/zero of="$DISK" bs=1M count=100 oflag=direct,dsync

暴露监控 GUI

1. 证书定义（Cert Manager）：

   yaml

   apiVersion: cert-manager.io/v1
   kind: Certificate
   metadata:
     name: ceph-sololude-certificate
     namespace: istio-ingress
   spec:
     secretName: ceph-ingress-cert
     commonName: ceph.sololude.com
     dnsNames:
       - ceph.sololude.com
     issuerRef:
       name: sololude-issuer

2. 网关定义（Istio）：

   yaml

   apiVersion: networking.istio.io/v1beta1
   kind: Gateway
   metadata:
     name: rook-ceph-dashboard-gw
     namespace: rook-ceph
   spec:
     selector:
       app: istio-ingressgateway
     servers:
       - port:
           number: 443
           name: https-ceph
           protocol: HTTPS
         hosts:
           - ceph.sololude.com
         tls:
           mode: SIMPLE
           credentialName: ceph-ingress-cert
       - port:
           number: 80
           name: http-ceph
           protocol: HTTP
         hosts:
           - ceph.sololude.com

3. 虚拟服务定义（Istio）：

   yaml

   apiVersion: networking.istio.io/v1
   kind: VirtualService
   metadata:
     name: ceph-gateway-vs
     namespace: rook-ceph
   spec:
     hosts:
       - ceph.sololude.com
     gateways:
       - rook-ceph-dashboard-gw
     http:
       - route:
           - destination:
               host: rook-ceph-mgr-dashboard

问题和故障排除

1. 服务端口更改：

   • 在 Helm 值中设置 cephClusterSpec.dashboard.port=7000。

2. OSD 密钥环不匹配：

   • 检索密钥环并解决不匹配问题。

3. 实体存在但密钥不匹配：

   • 删除旧的认证：

     bash

     ceph auth del osd.x

监控

• 在 Helm 值中启用监控：

  yaml

  monitoring:
    enabled: true

• 添加监控标签：

  yaml

  cephClusterSpec.labels.monitoring={release: prometheus-stack}

升级

1. 升级 Helm：

   bash

   curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash

2. 使用 Helm 升级：

   bash

   helm upgrade -n rook-ceph rook-ceph rook-release/rook-ceph -f values.yaml