Запустите набор инструментов Ceph для Rook в Kubernetes/OpenShift |

Как я могу запускать команды Ceph в кластере Rook Ceph, работающем в Kubernetes/OpenShift? Если вы используете Ceph в Kubernetes с rook, вам понадобится доступ к инструменту командной строки ceph для устранения проблем при их возникновении. Rook сертифицирован CNCF, готово к производству, облачное решение для хранения данных с открытым исходным кодом для Kubernetes. Это упрощает управление файловым, блочным и объектным хранилищем.

набор инструментов rook-ceph — это модуль с общими инструментами, используемыми для отладки и тестирования Ceph. Вы можете настроить Ceph напрямую при запуске Rook в Kubernetes. Это достигается с помощью CLI Ceph из модуля панели инструментов Rook-Ceph. Из контейнера панели инструментов вы можете изменять конфигурации Ceph, включать модули менеджера, создавать пользователей и пулы и многое другое.

Запустите Ceph Toolbox в Kubernetes

Набор инструментов rook можно запускать как развертывание в кластере Kubernetes. Убедившись, что у вас есть работающий кластер Kubernetes с развернутым rook, запустите модуль rook-ceph-tools.

Создайте файл развертывания Toolbox:

vim toolbox.yaml

Добавьте в файл следующие данные:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: rook-ceph-tools
  namespace: rook-ceph # namespace:cluster
  labels:
    app: rook-ceph-tools
spec:
  replicas: 1
  selector:
    matchLabels:
      app: rook-ceph-tools
  template:
    metadata:
      labels:
        app: rook-ceph-tools
    spec:
      dnsPolicy: ClusterFirstWithHostNet
      containers:
        - name: rook-ceph-tools
          image: rook/ceph:master
          command: ["/bin/bash"]
          args: ["-m", "-c", "/usr/local/bin/toolbox.sh"]
          imagePullPolicy: IfNotPresent
          tty: true
          env:
            - name: ROOK_CEPH_USERNAME
              valueFrom:
                secretKeyRef:
                  name: rook-ceph-mon
                  key: ceph-username
            - name: ROOK_CEPH_SECRET
              valueFrom:
                secretKeyRef:
                  name: rook-ceph-mon
                  key: ceph-secret
          volumeMounts:
            - mountPath: /etc/ceph
              name: ceph-config
            - name: mon-endpoint-volume
              mountPath: /etc/rook
      volumes:
        - name: mon-endpoint-volume
          configMap:
            name: rook-ceph-mon-endpoints
            items:
              - key: data
                path: mon-endpoints
        - name: ceph-config
          emptyDir: {}
      tolerations:
        - key: "node.kubernetes.io/unreachable"
          operator: "Exists"
          effect: "NoExecute"
          tolerationSeconds: 5

После сохранения файла запустите модуль rook-ceph-tools:

kubectl create -f toolbox.yaml

Подождите, пока модуль панели инструментов загрузит свой контейнер и перейдет в рабочее состояние:

kubectl -n rook-ceph get pod -l "app=rook-ceph-tools"

После запуска модуля rook-ceph-tools вы можете подключиться к нему с помощью:

kubectl -n rook-ceph exec -it $(kubectl -n rook-ceph get pod -l "app=rook-ceph-tools" -o jsonpath='{.items[0].metadata.name}') bash

Когда вы закончите работу с набором инструментов, вы можете удалить развертывание:

kubectl -n rook-ceph delete deployment rook-ceph-tools

Запустите Ceph Toolbox в хранилище контейнеров OpenShift (OCS) v4.2+

Если вы используете OpenShift Container Storage, использующий Rook. Сначала включите Ceph Tools, выполнив команду ниже.

oc patch OCSInitialization ocsinit -n openshift-storage --type json --patch  '[{ "op": "replace", "path": "/spec/enableCephTools", "value": true }]'

Создайте новый файл:

vim toolbox.yaml

Добавьте следующее содержимое в созданный файл.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: rook-ceph-tools
  namespace: openshift-storage
  labels:
    app: rook-ceph-tools
spec:
  replicas: 1
  selector:
    matchLabels:
      app: rook-ceph-tools
  template:
    metadata:
      labels:
        app: rook-ceph-tools
    spec:
      dnsPolicy: ClusterFirstWithHostNet
      containers:
      - name: rook-ceph-tools
        image: registry.redhat.io/ocs4/rook-ceph-rhel8-operator:latest
        command: ["/tini"]
        args: ["-g", "--", "/usr/local/bin/toolbox.sh"]
        imagePullPolicy: IfNotPresent
        env:
          - name: ROOK_ADMIN_SECRET
            valueFrom:
              secretKeyRef:
                name: rook-ceph-mon
                key: admin-secret
        securityContext:
          privileged: true
        volumeMounts:
          - mountPath: /dev
            name: dev
          - mountPath: /sys/bus
            name: sysbus
          - mountPath: /lib/modules
            name: libmodules
          - name: mon-endpoint-volume
            mountPath: /etc/rook
      # if hostNetwork: false, the "rbd map" command hangs, see https://github.com/rook/rook/issues/2021
      hostNetwork: true
      volumes:
        - name: dev
          hostPath:
            path: /dev
        - name: sysbus
          hostPath:
            path: /sys/bus
        - name: libmodules
          hostPath:
            path: /lib/modules
        - name: mon-endpoint-volume
          configMap:
            name: rook-ceph-mon-endpoints
            items:
            - key: data
              path: mon-endpoints

Запустите модуль панели инструментов rook-ceph после

oc create -f toolbox.yaml

Подождите, пока модуль панели инструментов загрузит свой контейнер и перейдет в рабочее состояние:

$ oc -n openshift-storage get pod -l "app=rook-ceph-tools"
NAME                               READY   STATUS    RESTARTS   AGE
rook-ceph-tools-86cbb6dddb-vnht9   1/1     Running   0          6m49s

После запуска модуля панели инструментов rook-ceph вы можете подключиться к нему с помощью:

oc -n openshift-storage exec -it $(oc -n openshift-storage get pod -l "app=rook-ceph-tools" -o jsonpath='{.items[0].metadata.name}') bash

Общие команды Ceph для устранения неполадок

Вот некоторые общие команды для устранения неполадок кластера Ceph:

ceph status

ceph osd status

ceph osd df

ceph osd utilization

ceph osd pool stats

ceph osd tree

ceph pg stat

Все команды могут быть выполнены в контейнере панели инструментов. См. примеры ниже.

# ceph -s
  cluster:
    id:     58a41eac-5550-42a2-b7b2-b97c7909a833
    health: HEALTH_WARN
            1 osds down
            1 host (1 osds) down
            1 rack (1 osds) down
            Degraded data redundancy: 91080/273240 objects degraded (33.333%), 80 pgs degraded, 104 pgs undersized
 
  services:
    mon: 3 daemons, quorum a,b,c (age 2h)
    mgr: a(active, since 2h)
    mds: ocs-storagecluster-cephfilesystem:1 {0=ocs-storagecluster-cephfilesystem-a=up:active} 1 up:standby-replay
    osd: 3 osds: 2 up (since 2h), 3 in (since 4w)
    rgw: 1 daemon active (ocs.storagecluster.cephobjectstore.a)
 
  task status:
 
  data:
    pools:   10 pools, 104 pgs
    objects: 91.08k objects, 335 GiB
    usage:   670 GiB used, 3.3 TiB / 4.0 TiB avail
    pgs:     91080/273240 objects degraded (33.333%)
             80 active+undersized+degraded
             24 active+undersized
 
  io:
    client:   7.7 KiB/s rd, 24 MiB/s wr, 3 op/s rd, 236 op/s wr

Проверьте дерево OSD.

# ceph osd tree
ID  CLASS WEIGHT  TYPE NAME                            STATUS REWEIGHT PRI-AFF 
 -1       5.99698 root default                                                 
 -4       1.99899     rack rack0                                               
 -3       1.99899         host ocs-deviceset-0-0-prf65                         
  0   ssd 1.99899             osd.0                      down  1.00000 1.00000 
-12       1.99899     rack rack1                                               
-11       1.99899         host ocs-deviceset-1-0-mfgmx                         
  2   ssd 1.99899             osd.2                        up  1.00000 1.00000 
 -8       1.99899     rack rack2                                               
 -7       1.99899         host ocs-deviceset-2-0-b96pk                         
  1   ssd 1.99899             osd.1                        up  1.00000 1.00000

Получите список пулов.

# ceph osd lspools
1 ocs-storagecluster-cephblockpool
2 ocs-storagecluster-cephobjectstore.rgw.control
3 ocs-storagecluster-cephfilesystem-metadata
4 ocs-storagecluster-cephobjectstore.rgw.meta
5 ocs-storagecluster-cephfilesystem-data0
6 ocs-storagecluster-cephobjectstore.rgw.log
7 .rgw.root
8 ocs-storagecluster-cephobjectstore.rgw.buckets.index
9 ocs-storagecluster-cephobjectstore.rgw.buckets.non-ec
10 ocs-storagecluster-cephobjectstore.rgw.buckets.data

Ссылка:

Ящик для инструментов ладьи

Подробнее о Ceph и Kubernetes:

Создайте пул в кластере хранения Ceph
Постоянное хранилище Ceph для Kubernetes с Cephfs
Постоянное хранилище для Kubernetes с помощью Ceph RBD
Как настроить CLI AWS S3 для хранилища шлюза объектов Ceph

Запустите набор инструментов Ceph для Rook в Kubernetes/OpenShift |

Запустите Ceph Toolbox в Kubernetes

Запустите Ceph Toolbox в хранилище контейнеров OpenShift (OCS) v4.2+

Общие команды Ceph для устранения неполадок

Статьи по данной тематике: