Поиск по сайту:

Как установить Apache Kafka в CentOS/RHEL 7


Apache Kafka — это мощный механизм обмена сообщениями, который широко используется в проектах BigData и жизненном цикле Data Analytics. Это платформа с открытым исходным кодом для создания конвейеров потоковой передачи данных в реальном времени. Это распределенная платформа публикации и подписки, обладающая надежностью, масштабируемостью и долговечностью.

Мы можем использовать Kafka как отдельный продукт или как кластер. Kafka хранит потоковые данные, и их можно отнести к категории Темы. Тема будет иметь несколько разделов, чтобы она могла обрабатывать произвольный объем данных. Кроме того, мы можем иметь несколько реплик для обеспечения отказоустойчивости, как в HDFS. В кластере Kafka брокер — это компонент, хранящий опубликованные данные.

Zookeeper — обязательная служба для запуска кластера Kafka, поскольку она используется для управления координацией брокеров Kafka. Zookeeper играет ключевую роль между производителем и потребителем, отвечая за поддержание состояния всех брокеров.

В этой статье мы объясним, как установить Apache Kafka на одном узле CentOS 7 или RHEL 7.

Установка Apache Kafka в CentOS 7

1. Во-первых, вам необходимо установить Java в вашей системе, чтобы Apache Kafka работал без ошибок. Итак, установите доступную по умолчанию версию Java с помощью следующей команды yum и проверьте версию Java, как показано.

yum -y install java-1.8.0-openjdk
java -version

2. Затем загрузите самую последнюю стабильную версию Apache Kafka с официального сайта или используйте следующую команду wget, чтобы загрузить ее напрямую и извлечь.

wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
tar -xzf kafka_2.13-2.7.0.tgz 

3. Создайте символическую ссылку для пакета kafka, затем добавьте путь к среде Kafka в файл .bash_profile и затем инициализируйте его, как показано.

ln -s kafka_2.13-2.7.0 kafka
echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
source ~/.bash_profile

4. Затем запустите Zookeeper, который встроен в пакет Kafka. Поскольку это кластер с одним узлом, вы можете запустить Zookeeper со свойствами по умолчанию.

zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. Проверьте, доступен ли Zookeeper, просто telnet к порту Zookeeper 2181.


telnet localhost 2181

6. Запустите Kafka со свойствами по умолчанию.


kafka-server-start.sh -daemon /root/kafka/config/server.properties

7. Проверьте, доступен ли Kafka, просто подключившись по телнету к порту Kafka 9092.


telnet localhost 9092

8. Далее создайте образец темы.

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

9. Перечислите созданную тему.

kafka-topics.sh --zookeeper localhost:2181 --list

Заключение

В этой статье мы увидели, как установить кластер Kafka с одним узлом в CentOS 7. В следующей статье мы увидим, как установить многоузловой кластер Kafka.