Поиск по сайту:

Хранилище высокой доступности с GlusterFS в Debian 8 — зеркалирование на двух серверах хранения


Это руководство существует для этих версий ОС

  • Debian 8 (Джесси)
  • Debian 5 (Ленни)

На этой странице

  1. 1 Предварительное примечание
  2. 2 Настройка серверов GlusterFS
  3. 3 Настройка клиента GlusterFS
  4. 4 Тестирование репликации GlusterFS
  5. 5 ссылок

В этом руководстве показано, как настроить хранилище высокой доступности с двумя серверами хранения (Debian Jessie), использующими GlusterFS. Каждый сервер хранения будет зеркалом другого сервера хранения, и файлы будут автоматически реплицированы на оба узла хранения. Клиентская система (также Debian 8) сможет получить доступ к хранилищу, как если бы это была локальная файловая система. GlusterFS — это кластерная файловая система, способная масштабироваться до нескольких петабайт. Он объединяет различные блоки хранения по Infiniband RDMA или межсоединению TCP/IP в одну большую параллельную сетевую файловую систему. Блоки хранения могут быть изготовлены из любого стандартного оборудования, такого как серверы x86_64 с SATA-II RAID и Infiniband HBA.

1 Предварительное примечание

В этом уроке я буду использовать три системы, два сервера и клиент:

  • server1.example.com: IP-адрес 192.168.1.100 (сервер)
  • server2.example.com: IP-адрес 192.168.1.101 (сервер)
  • client1.example.com: IP-адрес 192.168.1.102 (клиент)

Все три системы должны иметь возможность разрешать имена хостов других систем. Если это невозможно сделать через DNS, следует отредактировать файл /etc/hosts, чтобы он выглядел следующим образом на всех трех системах:

nano /etc/hosts
127.0.0.1 localhost
192.168.1.100 server1.example.com server1
192.168.1.101 server2.example.com server2
192.168.1.102 client1.example.com client1


# The following lines are desirable for IPv6 capable hosts
::1 localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

(В следующей настройке также можно использовать IP-адреса вместо имен хостов. Если вы предпочитаете использовать IP-адреса, вам не нужно заботиться о том, могут ли имена хостов разрешаться или нет.)

2 Настройка серверов GlusterFS

Последняя версия GlusterFS доступна в виде пакета Debian на сайте gluster.org. Мы можем установить его следующим образом:

Добавляем публичный ключ репозитория gluster.org Debian на оба сервера.

wget -O - http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.9/rsa.pub | apt-key add -

Затем добавьте репозиторий GlusterFS (команда в одну строку!)

echo deb http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.9/Debian/jessie/apt jessie main > /etc/apt/sources.list.d/gluster.list

и обновить список репозиториев.

apt-get update

Теперь мы можем установить серверное программное обеспечение GlusterFS с помощью apt.

apt-get -y install glusterfs-server

Команда

glusterfsd --version

теперь должна отображаться версия GlusterFS, которую вы только что установили (в данном случае 3.7.9):

:/#

Если вы используете брандмауэр, убедитесь, что TCP-порты 111, 24007, 24008, 24009-(24009 + количество блоков на всех томах) открыты на серверах server1.example.com и server2.example.com.

Glusterfs хранит свои данные в каталоге /data на серверах. Это место может быть обычным каталогом, если у вас небольшая установка или вы используете отдельный раздел жесткого диска и монтируете его как /data.

Запустить на обоих серверах:

mkdir /data

для создания каталога данных.

Затем мы должны добавить server2.example.com в доверенный пул хранения (обратите внимание, что я запускаю все команды настройки GlusterFS с server1.example.com, но вы также можете запускать их с server2.example.com, потому что конфигурация копируется). между узлами GlusterFS — просто убедитесь, что вы используете правильные имена хостов или IP-адреса):

На server1.example.com запустите

gluster peer probe server2.example.com
:/#

Состояние доверенного пула хранения теперь должно быть похоже на это:

gluster peer status
:/# gluster peer status
Number of Peers: 1
Hostname: server2.example.com
Uuid: 0f7ee46c-6a71-4a31-91d9-6076707eff95
State: Peer in Cluster (Connected)
:/#

Затем мы создаем общий ресурс с именем testvol с двумя репликами (обратите внимание, что в данном случае количество реплик равно количеству серверов, потому что мы хотим настроить зеркалирование) на серверах server1.example.com и server2.example.com в Каталог /data/testvol (будет создан, если не существует):

gluster volume create testvol replica 2 transport tcp server1.example.com:/data/testvol server2.example.com:/data/testvol force
:/#

Запустите том:

gluster volume start testvol
:/#

Наш тестовый том был успешно запущен.

Возможно, приведенная выше команда сообщает вам, что действие не было выполнено успешно:

:~#

В этом случае вы должны проверить вывод...

netstat -tap | grep glusterfsd

на обоих серверах.

Если вы получите такой вывод...

:/#

... все в порядке, но если вы не получаете никакого вывода...

:~#

... перезапустите демон GlusterFS на соответствующем сервере (в данном случае server1.example.com):

service glusterfs-server restart

Затем проверьте вывод...

netstat -tap | grep glusterfsd

... снова на этом сервере - теперь это должно выглядеть так:

:/#

Теперь вернемся к server1.example.com:

Вы можете проверить состояние тома с помощью команды

gluster volume info
:/# gluster volume info
Volume Name: testvol
Type: Replicate
Volume ID: 3fc9af57-ca56-4a72-ad54-3d2ea03e5883
Status: Started
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: server1.example.com:/data/testvol
Brick2: server2.example.com:/data/testvol
Options Reconfigured:
performance.readdir-ahead: on
:/#

По умолчанию все клиенты могут подключаться к тому. Если вы хотите предоставить доступ только для client1.example.com (= 192.168.1.102), запустите:

gluster volume set testvol auth.allow 192.168.1.102
:/#

Обратите внимание, что можно использовать подстановочные знаки для IP-адресов (например, 192.168.*) и указать несколько IP-адресов, разделенных запятыми (например, 192.168.1.102,192.168.1.103).

Информация о томе теперь должна показывать обновленный статус:

gluster volume info

[email :/# информация о томе gluster

Volume Name: testvol
Type: Replicate
Volume ID: 3fc9af57-ca56-4a72-ad54-3d2ea03e5883
Status: Started
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: server1.example.com:/data/testvol
Brick2: server2.example.com:/data/testvol
Options Reconfigured:
auth.allow: 192.168.1.102
performance.readdir-ahead: on
:/#

3 Настройка клиента GlusterFS

В клиентской системе мы сначала добавляем открытый ключ репозитория gluster.org Debian.

wget -O - http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.9/rsa.pub | apt-key add -

Затем добавьте репозиторий GlusterFS (команда в одну строку!)

echo deb http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.9/Debian/jessie/apt jessie main > /etc/apt/sources.list.d/gluster.list

и обновить список репозиториев.

apt-get update

Теперь мы можем установить клиент GlusterFS следующим образом.

apt-get -y install glusterfs-client

Затем мы создаем следующий каталог:

mkdir /mnt/glusterfs

Вот и все! Теперь мы можем смонтировать файловую систему GlusterFS в /mnt/glusterfs с помощью следующей команды:

mount.glusterfs server1.example.com:/testvol /mnt/glusterfs

(Вместо server1.example.com вы также можете использовать server2.example.com в приведенной выше команде!)

Теперь вы должны увидеть новую долю в результатах...

mount
:/#

... и...

df -h
:/#

Вместо того, чтобы вручную монтировать общий ресурс GlusterFS на клиенте, вы можете изменить /etc/fstab, чтобы общий ресурс монтировался автоматически при загрузке клиента.

Откройте /etc/fstab и добавьте следующую строку:

nano /etc/fstab
[...]
server1.example.com:/testvol /mnt/glusterfs glusterfs defaults,_netdev 0 0

(Опять же, вместо server1.example.com вы также можете использовать server2.example.com!)

Чтобы проверить, работает ли ваш модифицированный файл /etc/fstab, перезагрузите клиент:

reboot

После перезагрузки вы должны найти долю в выходах...

df -h

... и...

mount

4 Тестирование репликации GlusterFS

Теперь давайте создадим несколько тестовых файлов на общем ресурсе GlusterFS:

touch /mnt/glusterfs/test1
touch /mnt/glusterfs/test2

Теперь давайте проверим каталог /data на серверах server1.example.com и server2.example.com. Файлы test1 и test2 должны присутствовать на каждой ноде:

server1.example.com/server2.example.com:

ls -l /data/testvol
:/# ls -l /data/testvol/
total 0
-rw-r--r-- 2 root root 0 Mar 23 2016 test1
-rw-r--r-- 2 root root 0 Mar 23 2016 test2

Теперь мы выключаем server1.example.com и добавляем/удаляем некоторые файлы в общем ресурсе GlusterFS на client1.example.com.

shutdown -h now
touch /mnt/glusterfs/test3
touch /mnt/glusterfs/test4
rm -f /mnt/glusterfs/test2

Изменения должны быть видны в каталоге /data/testvol на server2.example.com:

ls -l /data/testvol
:/#

Давайте снова загрузим server1.example.com и посмотрим на каталог /data:

ls -l /data/testvol
:/#

Как видите, server1.example.com автоматически синхронизировал изменения. В случае, если изменение еще не было синхронизировано, это легко исправить, все, что нам нужно сделать, это вызвать команду чтения в общей папке GlusterFS на client1.example.com, например:

ls -l /mnt/glusterfs/
:/#

5 ссылок

  • GlusterFS: http://www.gluster.org/
  • Документация по GlusterFS: http://gluster.readthedocs.org/en/latest/
  • Debian: http://www.debian.org/