Как настроить высокую доступность для Namenode. Часть 5
Hadoop состоит из двух основных компонентов: HDFS и YARN. HDFS предназначен для хранения Данных, YARN предназначен для обработки Данных. HDFS — это распределенная файловая система Hadoop, у нее Namenode в качестве главной службы и Datanode. как Рабская служба.
Namenode — это важнейший компонент Hadoop, который хранит метаданные данных, хранящихся в HDFS. Если Namenode выйдет из строя, весь кластер станет недоступен, это единственная точка отказа (SPOF). Таким образом, производственная среда будет иметь Namenode High Availability, чтобы избежать сбоев в работе, если один из Namenode выйдет из строя по различным причинам, таким как сбой оборудования, плановое техническое обслуживание и т. д.
Hadoop 2.x предоставляет возможность иметь два Namenode: один будет Активный Namenode, а другой будет Резервный Namenode.
- Активный Namenode – управляет всеми операциями клиента.
- Резервный Namenode – он дублирует Активный Namenode. Если Активный NN выйдет из строя, то Резервный NN возьмет на себя всю ответственность за Активный NN.
Для включения Namenode High Availability требуется Zookeeper, который является обязательным для автоматического переключения при сбое. ZKFC (Zookeeper Failover Controller) — это клиент Zookeeper, который используется для поддержания состояния Namenode.
Требования
- Лучшие практики по развертыванию сервера Hadoop на CentOS/RHEL 7 — часть 1
- Настройка необходимых условий Hadoop и усиление безопасности – часть 2
- Как установить и настроить Cloudera Manager в CentOS/RHEL 7 — часть 3
- Как установить CDH и настроить размещение услуг в CentOS/RHEL 7 — часть 4
В этой статье мы собираемся включить Высокую доступность Namenode в Cloudera Manager.
Шаг 1. Установка Zookeeper
1. Войдите в Cloudera Manager.
http://Your-IP:7180/cmf/home
2. В строке действия Кластер (tecmint) выберите «Добавить службу».
3. Выберите сервис «Zookeeper».
4. Выберите серверы, на которых мы будем устанавливать Zookeeper.
5. У нас будет 3 смотрителя зоопарка, чтобы сформировать кворум смотрителей зоопарка. Выберите серверы, как указано ниже.
6. Настройте свойства Zookeeper, здесь у нас есть значения по умолчанию. В режиме реального времени вам необходимо иметь отдельные каталоги/точки монтирования для хранения данных Zookeeper. В Части 1 мы объяснили конфигурацию хранилища для каждой службы. Нажмите «Продолжить», чтобы продолжить.
7. Начнется установка, после установки запустится Zookeeper. Вы можете просмотреть фоновые операции здесь.
8. После успешного завершения вышеуказанного шага статус будет «Завершено».
9. Теперь Zookeeper успешно установлен и настроен. Нажмите «Готово».
10. Вы можете просмотреть сервис Zookeeper на панели управления Cloudera Manager.
Шаг 2. Включение высокой доступности Namenode
11. Перейдите в Cloudera Manager –> HDFS –> Действия –> Включить высокую доступность..
12. Введите Имя службы имен как «nameservice1». Это общее пространство имен как для активного, так и для резервного узла имен.
13. Выберите Второй Namenode, где у нас будет резервный Namenode.
14. Здесь мы выбираем master2.linux-console.net в качестве резервного Namenode.
15. Выберите узлы Журнал. Это обязательные службы для синхронизации Активного и резервного Namenode.
16. Мы создаем Журнал кворума, размещая узел Журнал на трех серверах, как указано ниже. Выберите 3 сервера и нажмите «ОК».
17. Нажмите «Продолжить», чтобы продолжить.
18. Введите путь к каталогу Узел журнала. Просто нам нужно указать путь, при установке этот каталог будет автоматически создан самим сервисом. Мы упоминаем как ’/jn’. Нажмите «Продолжить», чтобы продолжить.
19. Начнется включение Высокой доступности.
20. После завершения всех фоновых процессов мы получим статус «Завершено».
21. Наконец, мы получим уведомление «Высокая доступность успешно включена». Нажмите «Готово».
22. Проверьте Активный и Резервный Namenode, перейдя в Cloudera Manager –> HDFS. > –> Экземпляры.
23. Здесь вы можете использовать два Namenodes: один будет в состоянии «Активный», а другой – в состоянии «Ожидание». ' состояние.
Заключение
В этой статье мы пошагово рассмотрели процесс включения Namenode High Availability. Настоятельно рекомендуется иметь Namenode High Availability во всех кластерах в среде реального времени. Пожалуйста, оставьте свои сомнения, если вы столкнетесь с какой-либо ошибкой при выполнении этого процесса. Мы увидим Высокую доступность Resource Manager в следующей статье.