Как установить CDH и настроить размещение услуг в CentOS/RHEL 7 — часть 4
В предыдущей статье мы объяснили установку Cloudera Manager. В этой статье вы узнаете, как установить и настроить CDH (Cloudera Distribution Hadoop) в RHEL/CentOS 7.
При установке пакета CDH мы должны обеспечить совместимость Cloudera Manager и CDH. Версия Cloudera состоит из 3 частей –
Например, мы используем Cloudera Manager 6.3.1 и CDH 6.3.2. Здесь 6 — основная версия, а 3 — второстепенная версия. Major и Minor должны быть одинаковыми, чтобы избежать проблем совместимости.
Требования
- Лучшие практики по развертыванию сервера Hadoop на CentOS/RHEL 7 — часть 1
- Настройка необходимых условий Hadoop и усиление безопасности – часть 2
- Как установить и настроить Cloudera Manager в CentOS/RHEL 7 — часть 3
Мы возьмем следующие 2 узла для установки CDH. Мы уже установили Cloudera Manager в master1, а также используем master1 в качестве сервера репо.
master1.linux-console.net
worker1.linux-console.net
Шаг 1. Загрузите пакеты CDH на главный сервер
1. Сначала подключитесь к серверу master1 и загрузите файлы CDH Parcels в папку /var/www/html/cloudera-repos/. каталог cdh . Нам необходимо загрузить нижеуказанные 3 файла, которые должны быть совместимы с RHEL/CentOS 7.
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json
2. Прежде чем загружать эти файлы, обязательно создайте каталог cdh в папке /var/www/html/cloudera-repos/.
cd /var/www/html/cloudera-repos/
sudo mkdir cdh
cd cdh
3. Затем загрузите вышеупомянутые 3 файла, используя следующую команду wget.
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
Шаг 2. Настройка репозитория Cloudera Manager на рабочих клиентах
4. Теперь подключитесь к рабочим серверам и скопируйте файл репо (cloudera-manager.repo) с сервера репо (master1<) ко всем остальным рабочим серверам. Этот файл репо гарантирует серверам, что все необходимые пакеты и RPM будут загружены с сервера репо во время установки.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL
5. После добавления репозитория перечислите включенные репозитории, чтобы убедиться, что репозиторий cloudera-manager включен.
yum repolist
Шаг 3. Установите демоны и агент Cloudera Manager на рабочие серверы
6. Теперь нам нужно установить cloudera-manager-daemons и cloudera-manager-agent на все оставшиеся серверы.
sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Далее вам необходимо настроить агент Cloudera Manager, чтобы он сообщал о сервере Cloudera Manager.
sudo vi /etc/cloudera-scm-agent/config.ini
Замените localhost на IP-адрес сервера Cloudera Manager.
8. Запустите агент Cloudera Manager и проверьте статус.
sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent
Шаг 4. Установите и настройте CDH
У нас есть посылки CDH на master1 – сервере репо. Убедитесь, что на всех серверах имеется файл репозитория Cloudera Manager в /etc/yum.repos.d/, если вы выполняете автоматическую установку с помощью Cloudera Manager.
9. Войдите в Cloudera Manager, используя указанный ниже URL-адрес через порт 7180, и используйте имя пользователя и пароль по умолчанию для Cloudera Manager.
http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin
10. После входа в систему вас встретит страница приветствия. Здесь вы можете найти примечания к выпуску и новые функции Cloudera Manager.
11. Примите лицензию и продолжайте.
12. Выберите издание. По умолчанию выбрана пробная версия, можно продолжить.
13. Теперь выполните шаги по установке кластера. Продолжить страницу приветствия.
14. Назовите кластер и продолжайте, мы назвали его «tecmint». Вы можете определить два типа кластера. Продолжаем работу с обычным кластером.
- Обычный кластер: будет состоять из узлов хранения, вычислительных узлов и других необходимых сервисов.
- Вычислительный кластер: будет состоять только из вычислительных узлов. Для хранения данных можно использовать внешнее хранилище.
15. Мы уже установили агенты Cloudera Manager на все серверы. Вы можете найти эти серверы в разделе «Управляемые на данный момент хосты». Для автоматической установки вам необходимо ввести полное доменное имя или IP-адрес серверов в опции «Новые хосты» и выполнить поиск. Cloudera Manager автоматически определит хосты, на которых нам необходимо установить CDH.
Здесь нажмите «Управляемые на данный момент хосты», выберите все хосты, выбрав «Имя хоста», и продолжайте.
16. Выберите хранилище. Рекомендуется использовать Parcel. Нажмите «Дополнительные параметры», чтобы настроить репозиторий.
17. Введите URL-адрес локального репозитория, как указано ниже. Удалите все оставшиеся общедоступные репозитории, указывающие на Интернет (Репозитории Cloudera).
Это URL-адрес локального репозитория CDH, который имеется в master1.
http://104.211.95.96/cloudera-repos/cdh/
18. После ввода URL-адреса хранилища на этой странице будут показаны только доступные посылки. Продолжайте этот шаг.
19. Сейчас посылки скачиваются, раздаются, распаковываются и активируются на всех доступных серверах.
20. После активации Посылок CDH проверьте Кластер. На этом этапе будет выполнена проверка работоспособности кластера. Здесь мы пропускаем и продолжаем.
Шаг 5: Настройка кластера
21. Здесь нам нужно выбрать Службы, которые будут установлены в Кластер. Некоторые упакованные комбинации будут доступны по умолчанию, мы выбираем Пользовательские службы.
22. В Пользовательских службах мы устанавливаем только Основные компоненты (HDFS и YARN ). ) для этой демонстрационной цели.
23. Назначьте роли серверу. Мы можем настроить в соответствии с нашими требованиями. Найдите приведенную ниже диаграмму, в которой описано рекомендуемое распределение ролей для базового небольшого кластера с 5–20 узлами с высокой доступностью.
24. Выберите тип базы данных, имя хоста, имя базы данных, имя пользователя и пароль. Поскольку мы используем встроенный PostgreSQL, он будет выбран по умолчанию. Проверьте соединение, оно должно быть успешным.
25. На этой странице будут показаны параметры конфигурации по умолчанию для HDFS и Yarn, включая каталоги данных. Просмотрите все детали конфигурации и при необходимости внесите изменения. Тогда продолжайте с этим.
26. На этой странице будут показаны подробные сведения о команде «Первый запуск». Вы можете развернуть его, чтобы увидеть подробности запуска команд. Если в кластере возникнут какие-либо проблемы с сетью или разрешениями, этот шаг завершится неудачно. Обычно этот шаг определяет плавность установки кластерного здания.
27. После завершения вышеуказанного шага нажмите «Готово», чтобы завершить установку. Это панель управления Cloudera Manager после установки CDH.
http://104.211.95.96:7180/cmf/home
Заключение
Мы успешно завершили установку Cloudera Manager и CDH. На панели управления Cloudera Manager вы можете найти заранее определенный набор диаграмм, на которых вы можете отслеживать ЦП кластера, дисковый ввод и т. д. Мы можем управлять всем кластером с помощью этого Cloudera Manager. >. Все административные операции мы увидим в следующих статьях.