Поиск по сайту:

Лучшие практики по развертыванию сервера Hadoop на CentOS/RHEL 7. Часть 1.


В этой серии статей мы рассмотрим все построение Создания кластера Cloudera Hadoop с использованием лучших практик, рекомендуемых поставщиками и промышленными.

Установка ОС и выполнение уровня ОС. Предварительные условия — это первые шаги по созданию Кластера Hadoop. Hadoop может работать на различных платформах Linux: CentOS, RedHat, Ubuntu, Debian<, SUSE и т. д. В режиме реального времени большинство кластеров Hadoop построены на основе RHEL/CentOS, мы для демонстрации в этой серии руководств мы будем использовать CentOS 7.

В организации установку ОС можно выполнить с помощью kickstart. Если это кластер из 3–4 узлов, возможна ручная установка, но если мы создаем большой кластер с более чем 10 узлами, устанавливать ОС один за другим утомительно. В этом случае на помощь приходит метод Kickstart, и мы можем приступить к массовой установке с помощью Kickstart.

Достижение хорошей производительности в среде Hadoop зависит от обеспечения правильного оборудования и программного обеспечения. Таким образом, создание производственного кластера Hadoop требует большого внимания к оборудованию и программному обеспечению.

В этой статье мы рассмотрим различные тесты по установке ОС и некоторые рекомендации по развертыванию Cloudera Hadoop Cluster Server на CentOS/RHEL 7.

Важные замечания и рекомендации по развертыванию сервера Hadoop

Ниже приведены рекомендации по настройке развертывания Cloudera Hadoop Cluster Server на CentOS/RHEL 7.

  • Серверам Hadoop не требуются стандартные корпоративные серверы для создания кластера, для этого требуется стандартное оборудование.
  • В производственном кластере рекомендуется иметь от 8 до 12 дисков данных. В зависимости от характера нагрузки нам необходимо определиться с этим. Если кластер предназначен для приложений с интенсивными вычислениями, рекомендуется иметь от 4 до 6 дисков, чтобы избежать проблем ввода-вывода.
  • Диски с данными должны быть разбиты на разделы, например, начиная с /data01 и заканчивая /data10.
  • Конфигурация RAID не рекомендуется для рабочих узлов, поскольку Hadoop сам по себе обеспечивает отказоустойчивость данных путем репликации блоков в 3 по умолчанию. Поэтому JBOD лучше всего подходит для рабочих узлов.
  • Для главных серверов лучше всего использовать RAID 1.
  • Файловой системой по умолчанию в CentOS/RHEL 7.x является XFS. Hadoop поддерживает XFS, ext3 и ext4. Рекомендуемая файловая система — ext3, поскольку она проверена на хорошую производительность.
  • На всех серверах должна быть одна и та же версия ОС, по крайней мере, один и тот же второстепенный выпуск.
  • Лучше всего использовать однородное оборудование (все рабочие узлы должны иметь одинаковые характеристики оборудования (ОЗУ, дисковое пространство, ядро и т. д.).
  • В зависимости от рабочей нагрузки кластера (сбалансированная рабочая нагрузка, интенсивные вычисления, интенсивный ввод-вывод) и размера планирование ресурсов (ОЗУ, ЦП) для каждого сервера будет различаться.

Ниже приведен пример разделения дисков серверов с хранилищем емкостью 24 ТБ.

Установка CentOS 7 для развертывания сервера Hadoop

Что нужно знать перед установкой сервера CentOS 7 для Hadoop Server.

  • Минимальной установки достаточно для серверов Hadoop (рабочих узлов), в некоторых случаях графический интерфейс можно установить только для главных серверов или серверов управления, где мы можем использовать браузеры для веб-интерфейсов Инструменты управления.
  • Настройку сетей, имени хоста и других параметров, связанных с ОС, можно выполнить после установки ОС.
  • В режиме реального времени поставщики серверов будут иметь собственную консоль для взаимодействия и управления серверами, например, серверы Dell оснащены iDRAC, который представляет собой устройство, встроенное в серверы. Используя этот интерфейс iDRAC, мы можем установить ОС, имея образ ОС в нашей локальной системе.

В этой статье мы установили ОС (CentOS 7) на виртуальную машину VMware. Здесь у нас не будет нескольких дисков для создания разделов. CentOS похож на RHEL (та же функциональность), поэтому мы увидим шаги по установке CentOS.

1. Начните с загрузки ISO-образа CentOS 7.x в локальную систему Windows и выберите его при загрузке виртуальной машины. Выберите «Установить CentOS 7», как показано.

2. Выберите Язык (по умолчанию используется Английский) и нажмите Продолжить.

3. Выбор программного обеспечения. Выберите «Минимальная установка» и нажмите «Готово».

4. Установите пароль root, который будет предложен нам установить.

5. Место установки. Это важный шаг, требующий осторожности. Нам нужно выбрать диск, на который должна быть установлена ОС, для ОС следует выбрать выделенный диск. Нажмите «Место установки» и выберите «Диск». В режиме реального времени там будет несколько дисков, нам нужно выбрать, предпочтительно «sda».

6. Другие параметры хранения. Выберите второй вариант (я настрою разделение), чтобы настроить разделение, связанное с ОС, например /var, /. var/log, /home, /tmp, /opt, /swap.

7. После завершения начните установку.

8. После завершения установки перезагрузите сервер.

9. Войдите на сервер и задайте имя хоста.

hostnamectl status
hostnamectl set-hostname tecmint
hostnamectl status

Краткое содержание

В этой статье мы рассмотрели этапы установки ОС и рекомендации по разбиению файловой системы. Это все общие рекомендации. В зависимости от характера рабочей нагрузки нам может потребоваться сконцентрироваться на большем количестве нюансов для достижения наилучшей производительности кластера. Планирование кластера — это искусство для администратора Hadoop. В следующей статье мы подробно рассмотрим предварительные условия уровня ОС и усиление безопасности.