Хранилище высокой доступности с GlusterFS в Debian 8 — зеркалирование на двух серверах хранения
Это руководство существует для этих версий ОС
- Debian 8 (Джесси)
- Debian 5 (Ленни)
На этой странице
- 1 Предварительное примечание
- 2 Настройка серверов GlusterFS
- 3 Настройка клиента GlusterFS
- 4 Тестирование репликации GlusterFS
- 5 ссылок
В этом руководстве показано, как настроить хранилище высокой доступности с двумя серверами хранения (Debian Jessie), использующими GlusterFS. Каждый сервер хранения будет зеркалом другого сервера хранения, и файлы будут автоматически реплицированы на оба узла хранения. Клиентская система (также Debian 8) сможет получить доступ к хранилищу, как если бы это была локальная файловая система. GlusterFS — это кластерная файловая система, способная масштабироваться до нескольких петабайт. Он объединяет различные блоки хранения по Infiniband RDMA или межсоединению TCP/IP в одну большую параллельную сетевую файловую систему. Блоки хранения могут быть изготовлены из любого стандартного оборудования, такого как серверы x86_64 с SATA-II RAID и Infiniband HBA.
1 Предварительное примечание
В этом уроке я буду использовать три системы, два сервера и клиент:
- server1.example.com: IP-адрес 192.168.1.100 (сервер)
- server2.example.com: IP-адрес 192.168.1.101 (сервер)
- client1.example.com: IP-адрес 192.168.1.102 (клиент)
Все три системы должны иметь возможность разрешать имена хостов других систем. Если это невозможно сделать через DNS, следует отредактировать файл /etc/hosts, чтобы он выглядел следующим образом на всех трех системах:
nano /etc/hosts
127.0.0.1 localhost
192.168.1.100 server1.example.com server1
192.168.1.101 server2.example.com server2
192.168.1.102 client1.example.com client1
# The following lines are desirable for IPv6 capable hosts
::1 localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
(В следующей настройке также можно использовать IP-адреса вместо имен хостов. Если вы предпочитаете использовать IP-адреса, вам не нужно заботиться о том, могут ли имена хостов разрешаться или нет.)
2 Настройка серверов GlusterFS
Последняя версия GlusterFS доступна в виде пакета Debian на сайте gluster.org. Мы можем установить его следующим образом:
Добавляем публичный ключ репозитория gluster.org Debian на оба сервера.
wget -O - http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.9/rsa.pub | apt-key add -
Затем добавьте репозиторий GlusterFS (команда в одну строку!)
echo deb http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.9/Debian/jessie/apt jessie main > /etc/apt/sources.list.d/gluster.list
и обновить список репозиториев.
apt-get update
Теперь мы можем установить серверное программное обеспечение GlusterFS с помощью apt.
apt-get -y install glusterfs-server
Команда
glusterfsd --version
теперь должна отображаться версия GlusterFS, которую вы только что установили (в данном случае 3.7.9):
:/#
Если вы используете брандмауэр, убедитесь, что TCP-порты 111, 24007, 24008, 24009-(24009 + количество блоков на всех томах) открыты на серверах server1.example.com и server2.example.com.
Glusterfs хранит свои данные в каталоге /data на серверах. Это место может быть обычным каталогом, если у вас небольшая установка или вы используете отдельный раздел жесткого диска и монтируете его как /data.
Запустить на обоих серверах:
mkdir /data
для создания каталога данных.
Затем мы должны добавить server2.example.com в доверенный пул хранения (обратите внимание, что я запускаю все команды настройки GlusterFS с server1.example.com, но вы также можете запускать их с server2.example.com, потому что конфигурация копируется). между узлами GlusterFS — просто убедитесь, что вы используете правильные имена хостов или IP-адреса):
На server1.example.com запустите
gluster peer probe server2.example.com
:/#
Состояние доверенного пула хранения теперь должно быть похоже на это:
gluster peer status
:/# gluster peer status
Number of Peers: 1
Hostname: server2.example.com
Uuid: 0f7ee46c-6a71-4a31-91d9-6076707eff95
State: Peer in Cluster (Connected)
:/#
Затем мы создаем общий ресурс с именем testvol с двумя репликами (обратите внимание, что в данном случае количество реплик равно количеству серверов, потому что мы хотим настроить зеркалирование) на серверах server1.example.com и server2.example.com в Каталог /data/testvol (будет создан, если не существует):
gluster volume create testvol replica 2 transport tcp server1.example.com:/data/testvol server2.example.com:/data/testvol force
:/#
Запустите том:
gluster volume start testvol
:/#
Наш тестовый том был успешно запущен.
Возможно, приведенная выше команда сообщает вам, что действие не было выполнено успешно:
:~#
В этом случае вы должны проверить вывод...
netstat -tap | grep glusterfsd
на обоих серверах.
Если вы получите такой вывод...
:/#
... все в порядке, но если вы не получаете никакого вывода...
:~#
... перезапустите демон GlusterFS на соответствующем сервере (в данном случае server1.example.com):
service glusterfs-server restart
Затем проверьте вывод...
netstat -tap | grep glusterfsd
... снова на этом сервере - теперь это должно выглядеть так:
:/#
Теперь вернемся к server1.example.com:
Вы можете проверить состояние тома с помощью команды
gluster volume info
:/# gluster volume info
Volume Name: testvol
Type: Replicate
Volume ID: 3fc9af57-ca56-4a72-ad54-3d2ea03e5883
Status: Started
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: server1.example.com:/data/testvol
Brick2: server2.example.com:/data/testvol
Options Reconfigured:
performance.readdir-ahead: on
:/#
По умолчанию все клиенты могут подключаться к тому. Если вы хотите предоставить доступ только для client1.example.com (= 192.168.1.102), запустите:
gluster volume set testvol auth.allow 192.168.1.102
:/#
Обратите внимание, что можно использовать подстановочные знаки для IP-адресов (например, 192.168.*) и указать несколько IP-адресов, разделенных запятыми (например, 192.168.1.102,192.168.1.103).
Информация о томе теперь должна показывать обновленный статус:
gluster volume info
[email :/# информация о томе gluster
Volume Name: testvol
Type: Replicate
Volume ID: 3fc9af57-ca56-4a72-ad54-3d2ea03e5883
Status: Started
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: server1.example.com:/data/testvol
Brick2: server2.example.com:/data/testvol
Options Reconfigured:
auth.allow: 192.168.1.102
performance.readdir-ahead: on
:/#
3 Настройка клиента GlusterFS
В клиентской системе мы сначала добавляем открытый ключ репозитория gluster.org Debian.
wget -O - http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.9/rsa.pub | apt-key add -
Затем добавьте репозиторий GlusterFS (команда в одну строку!)
echo deb http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.9/Debian/jessie/apt jessie main > /etc/apt/sources.list.d/gluster.list
и обновить список репозиториев.
apt-get update
Теперь мы можем установить клиент GlusterFS следующим образом.
apt-get -y install glusterfs-client
Затем мы создаем следующий каталог:
mkdir /mnt/glusterfs
Вот и все! Теперь мы можем смонтировать файловую систему GlusterFS в /mnt/glusterfs с помощью следующей команды:
mount.glusterfs server1.example.com:/testvol /mnt/glusterfs
(Вместо server1.example.com вы также можете использовать server2.example.com в приведенной выше команде!)
Теперь вы должны увидеть новую долю в результатах...
mount
:/#
... и...
df -h
:/#
Вместо того, чтобы вручную монтировать общий ресурс GlusterFS на клиенте, вы можете изменить /etc/fstab, чтобы общий ресурс монтировался автоматически при загрузке клиента.
Откройте /etc/fstab и добавьте следующую строку:
nano /etc/fstab
[...] server1.example.com:/testvol /mnt/glusterfs glusterfs defaults,_netdev 0 0
(Опять же, вместо server1.example.com вы также можете использовать server2.example.com!)
Чтобы проверить, работает ли ваш модифицированный файл /etc/fstab, перезагрузите клиент:
reboot
После перезагрузки вы должны найти долю в выходах...
df -h
... и...
mount
4 Тестирование репликации GlusterFS
Теперь давайте создадим несколько тестовых файлов на общем ресурсе GlusterFS:
touch /mnt/glusterfs/test1
touch /mnt/glusterfs/test2
Теперь давайте проверим каталог /data на серверах server1.example.com и server2.example.com. Файлы test1 и test2 должны присутствовать на каждой ноде:
server1.example.com/server2.example.com:
ls -l /data/testvol
:/# ls -l /data/testvol/
total 0
-rw-r--r-- 2 root root 0 Mar 23 2016 test1
-rw-r--r-- 2 root root 0 Mar 23 2016 test2
Теперь мы выключаем server1.example.com и добавляем/удаляем некоторые файлы в общем ресурсе GlusterFS на client1.example.com.
shutdown -h now
touch /mnt/glusterfs/test3
touch /mnt/glusterfs/test4
rm -f /mnt/glusterfs/test2
Изменения должны быть видны в каталоге /data/testvol на server2.example.com:
ls -l /data/testvol
:/#
Давайте снова загрузим server1.example.com и посмотрим на каталог /data:
ls -l /data/testvol
:/#
Как видите, server1.example.com автоматически синхронизировал изменения. В случае, если изменение еще не было синхронизировано, это легко исправить, все, что нам нужно сделать, это вызвать команду чтения в общей папке GlusterFS на client1.example.com, например:
ls -l /mnt/glusterfs/
:/#
5 ссылок
- GlusterFS: http://www.gluster.org/
- Документация по GlusterFS: http://gluster.readthedocs.org/en/latest/
- Debian: http://www.debian.org/