Поиск по сайту:

Хранилище высокой доступности с GlusterFS на CentOS 7 — зеркалирование на двух серверах хранения

Это руководство существует для этих версий ОС

  • CentOS 7.2
  • CentOS 5.4

На этой странице

  1. 1 Предварительное примечание
  2. 2 Включить дополнительные репозитории
  3. 3 Настройка серверов GlusterFS
  4. 4 Настройка клиента GlusterFS
  5. 5 Тестирование
  6. 6 ссылок

В этом руководстве показано, как настроить хранилище высокой доступности с двумя серверами хранения (CentOS 7.2), использующими GlusterFS. Каждый сервер хранения будет зеркалом другого сервера хранения, и файлы будут автоматически реплицированы на оба сервера хранения. Клиентская система (также CentOS 7.2) сможет получить доступ к хранилищу, как если бы это была локальная файловая система. GlusterFS — это кластерная файловая система, способная масштабироваться до нескольких петабайт. Он объединяет различные блоки хранения по Infiniband RDMA или межсоединению TCP/IP в одну большую параллельную сетевую файловую систему. Блоки хранения могут быть изготовлены из любого стандартного оборудования, такого как серверы x86_64 с SATA-II RAID и Infiniband HBA.

1 Предварительное примечание

В этом уроке я использую три системы, два сервера и клиент:

  • server1.example.com: IP-адрес 192.168.0.100 (сервер)
  • server2.example.com: IP-адрес 192.168.0.101 (сервер)
  • client1.example.com: IP-адрес 192.168.0.102 (клиент)

Все три системы должны иметь возможность разрешать имена хостов других систем. Если это невозможно сделать через DNS, следует отредактировать файл /etc/hosts, чтобы он выглядел следующим образом на всех трех системах:

nano /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
192.168.0.100   server1.example.com     server1
192.168.0.101   server2.example.com     server2
192.168.0.102   client1.example.com     client1

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

(В следующей настройке также можно использовать IP-адреса вместо имен хостов. Если вы предпочитаете использовать IP-адреса, вам не нужно заботиться о том, могут ли имена хостов разрешаться или нет.)

2 Включить дополнительные репозитории

server1.example.com/server2.example.com/client1.example.com:

Сначала мы импортируем ключи GPG для программных пакетов:

rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY*

Затем мы включаем репозиторий EPEL 7 в наших системах CentOS:

yum -y install epel-release
yum -y install yum-priorities

Отредактируйте /etc/yum.repos.d/epel.repo...

nano /etc/yum.repos.d/epel.repo

... и добавьте строку priority=10 в секцию [epel]:

[epel]
name=Extra Packages for Enterprise Linux 7 - $basearch
#baseurl=http://download.fedoraproject.org/pub/epel/7/$basearch
mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-7&arch=$basearch
failovermethod=priority
enabled=1
priority=10
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
[...]

Затем мы обновляем наши существующие пакеты в системе:

yum -y update

3 Настройка серверов GlusterFS

GlusterFS доступен в репозитории специальной группы хранилища CentOS. Установите репозиторий с помощью этой команды:

yum -y install centos-release-gluster

Затем установите сервер GlusterFS следующим образом:

yum -y install glusterfs-server

Создайте ссылки запуска системы для демона Gluster и запустите его:

systemctl enable glusterd.service
systemctl start glusterd.service

Команда

glusterfsd --version

теперь должна отображаться версия GlusterFS, которую вы только что установили (в данном случае 3.7.12):

[ ~]# glusterfsd --version
glusterfs 3.7.12 built on Jun 24 2016 14:11:19
Repository revision: git://git.gluster.com/glusterfs.git
Copyright (c) 2006-2013 Red Hat, Inc. <http://www.redhat.com/>
GlusterFS comes with ABSOLUTELY NO WARRANTY.
It is licensed to you under your choice of the GNU Lesser
General Public License, version 3 or any later version (LGPLv3
or later), or the GNU General Public License, version 2 (GPLv2),
in all cases as published by the Free Software Foundation.

Если вы используете брандмауэр, убедитесь, что TCP-порты 111, 24007, 24008, 24009-(24009 + количество блоков на всех томах) открыты на серверах server1.example.com и server2.example.com.

Затем мы должны добавить server2.example.com в доверенный пул хранения (обратите внимание, что я запускаю все команды настройки GlusterFS с server1.example.com, но вы также можете запускать их с server2.example.com, потому что конфигурация копируется). между узлами GlusterFS — просто убедитесь, что вы используете правильные имена хостов или IP-адреса):

На server1.example.com запустите

gluster peer probe server2.example.com
[ ~]# gluster peer probe server2.example.com
peer probe: success.

Состояние доверенного пула хранения теперь должно быть похоже на это:

gluster peer status
[ ~]# gluster peer status
Number of Peers: 1
Hostname: server2.example.com
Uuid: 582e10da-aa1b-40b8-908c-213f16f57fe5
State: Peer in Cluster (Connected)

Затем мы создаем общий ресурс с именем testvol с двумя репликами (обратите внимание, что в данном случае количество реплик равно количеству серверов, потому что мы хотим настроить зеркалирование) на server1.example.com и server2.example.com в каталог /data (будет создан, если не существует):

gluster volume create testvol replica 2 transport tcp server1.example.com:/data server2.example.com:/data force
[ ~]#

Запустите том:

gluster volume start testvol

Результат должен быть:

[ ~]#

Возможно, приведенная выше команда сообщает вам, что действие не было выполнено успешно:

[ ~]#

В этом случае вы должны проверить вывод...

netstat -tap | grep glusterfsd

на обоих серверах.

Если вы получите такой вывод...

[ ~]#

... все в порядке, но если вы не получаете никакого вывода...

[ ~]#

... перезапустите демон GlusterFS на соответствующем сервере (в данном случае server2.example.com):

systemctl restart glusterd.service

Затем проверьте вывод...

netstat -tap | grep glusterfsd

... снова на этом сервере - теперь это должно выглядеть так:

[ ~]#

Теперь вернемся к server1.example.com:

Вы можете проверить состояние тома с помощью команды

gluster volume info

[[email  ~]# информация о томе gluster

Volume Name: testvol
Type: Replicate
Volume ID: e1f825ca-c9d9-4eeb-b6c5-d62c4aa02376
Status: Started
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: server1.example.com:/data
Brick2: server2.example.com:/data
Options Reconfigured:
performance.readdir-ahead: on
[ ~]#

По умолчанию все клиенты могут подключаться к тому. Если вы хотите предоставить доступ только для client1.example.com (= 192.168.1.102), запустите:

gluster volume set testvol auth.allow 192.168.1.102

Обратите внимание, что можно использовать подстановочные знаки для IP-адресов (например, 192.168.*) и указать несколько IP-адресов, разделенных запятыми (например, 192.168.1.102,192.168.1.103).

Информация о томе теперь должна показывать обновленный статус:

gluster volume info
[ ~]# gluster volume info
Volume Name: testvol
Type: Replicate
Volume ID: e1f825ca-c9d9-4eeb-b6c5-d62c4aa02376
Status: Started
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: server1.example.com:/data
Brick2: server2.example.com:/data
Options Reconfigured:
auth.allow: 192.168.1.102
performance.readdir-ahead: on
[ ~]#

4 Настройка клиента GlusterFS

На клиенте мы можем установить клиент GlusterFS следующим образом:

yum -y install glusterfs-client

Затем мы создаем следующий каталог:

mkdir /mnt/glusterfs

Вот и все! Теперь мы можем смонтировать файловую систему GlusterFS в /mnt/glusterfs с помощью следующей команды:

mount.glusterfs server1.example.com:/testvol /mnt/glusterfs

(Вместо server1.example.com вы также можете использовать server2.example.com в приведенной выше команде!)

Теперь вы должны увидеть новую долю в результатах...

mount
[ ~]#

... и...

df -h
[ ~]#

Вместо того, чтобы вручную монтировать общий ресурс GlusterFS на клиенте, вы добавляете команду mount в файл /etc/rc.local. Я не буду добавлять его в /etc/fstab, так как rc.local всегда выполняется после того, как сеть работает, что требуется для сетевой файловой системы.

Откройте файл /etc/rc.local и добавьте следующую строку:

nano /etc/rc.local
[...]
/usr/sbin/mount.glusterfs server1.example.com:/testvol /mnt/glusterfs

(Опять же, вместо server1.example.com вы также можете использовать server2.example.com!)

Чтобы проверить, работает ли ваш измененный файл /etc/rc.local, перезагрузите клиент:

reboot

После перезагрузки вы должны найти долю в выходах...

df -h

... и...

mount

5 Тестирование

Теперь давайте создадим несколько тестовых файлов на общем ресурсе GlusterFS:

touch /mnt/glusterfs/test1
touch /mnt/glusterfs/test2

Теперь давайте проверим каталог /data на серверах server1.example.com и server2.example.com. Файлы test1 и test2 должны присутствовать на каждой ноде:

server1.example.com/server2.example.com:

ls -l /data
[ ~]

Теперь мы выключаем server1.example.com и добавляем/удаляем некоторые файлы в общем ресурсе GlusterFS на client1.example.com.

shutdown -h now
touch /mnt/glusterfs/test3
touch /mnt/glusterfs/test4
rm -f /mnt/glusterfs/test2

Выполнение команд может занять некоторое время, так как Glusterfs переключается на server2 после того, как он больше не может связаться с server1. Здесь мы можем увидеть отказоустойчивость системы, поскольку мы все еще можем работать с нашим общим хранилищем данных, когда server1 отключен. Изменения должны быть видны в каталоге /data на server2.example.com:

ls -l /data
[ ~]# ls -l /data
total 8
-rw-r--r--. 2 root root 0 Jul 1 15:17 test1
-rw-r--r--. 2 root root 0 Jul 1 15:19 test3
-rw-r--r--. 2 root root 0 Jul 1 15:19 test4

Давайте снова загрузим server1.example.com и посмотрим на каталог /data:

ls -l /data
[ ~]#

Как видите, server1.example.com автоматически синхронизировал изменения. В случае, если изменение еще не было синхронизировано, это легко исправить, все, что нам нужно сделать, это вызвать команду чтения в общей папке GlusterFS на client1.example.com, например:

ls -l /mnt/glusterfs/
[ ~]#

Теперь снова взгляните на каталог /data на server1.example.com, и вы должны увидеть, что изменения были реплицированы на этот узел:

ls -l /data
[ ~]#

6 ссылок

  • GlusterFS: http://www.gluster.org/
  • Документация по GlusterFS 3.2: http://download.gluster.com/pub/gluster/glusterfs/3.2/Documentation/AG/html/index.html.
  • CentOS: http://www.centos.org/