Как установить Apache Kafka в CentOS/RHEL 7
Apache Kafka — это мощный механизм обмена сообщениями, который широко используется в проектах BigData и жизненном цикле Data Analytics. Это платформа с открытым исходным кодом для создания конвейеров потоковой передачи данных в реальном времени. Это распределенная платформа публикации и подписки, обладающая надежностью, масштабируемостью и долговечностью.
Мы можем использовать Kafka как отдельный продукт или как кластер. Kafka хранит потоковые данные, и их можно отнести к категории Темы. Тема будет иметь несколько разделов, чтобы она могла обрабатывать произвольный объем данных. Кроме того, мы можем иметь несколько реплик для обеспечения отказоустойчивости, как в HDFS. В кластере Kafka брокер — это компонент, хранящий опубликованные данные.
Zookeeper — обязательная служба для запуска кластера Kafka, поскольку она используется для управления координацией брокеров Kafka. Zookeeper играет ключевую роль между производителем и потребителем, отвечая за поддержание состояния всех брокеров.
В этой статье мы объясним, как установить Apache Kafka на одном узле CentOS 7 или RHEL 7.
Установка Apache Kafka в CentOS 7
1. Во-первых, вам необходимо установить Java в вашей системе, чтобы Apache Kafka работал без ошибок. Итак, установите доступную по умолчанию версию Java с помощью следующей команды yum и проверьте версию Java, как показано.
yum -y install java-1.8.0-openjdk
java -version
2. Затем загрузите самую последнюю стабильную версию Apache Kafka с официального сайта или используйте следующую команду wget, чтобы загрузить ее напрямую и извлечь.
wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz
tar -xzf kafka_2.13-2.7.0.tgz
3. Создайте символическую ссылку для пакета kafka, затем добавьте путь к среде Kafka в файл .bash_profile
и затем инициализируйте его, как показано.
ln -s kafka_2.13-2.7.0 kafka
echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
source ~/.bash_profile
4. Затем запустите Zookeeper, который встроен в пакет Kafka. Поскольку это кластер с одним узлом, вы можете запустить Zookeeper со свойствами по умолчанию.
zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties
5. Проверьте, доступен ли Zookeeper, просто telnet к порту Zookeeper 2181.
telnet localhost 2181
6. Запустите Kafka со свойствами по умолчанию.
kafka-server-start.sh -daemon /root/kafka/config/server.properties
7. Проверьте, доступен ли Kafka, просто подключившись по телнету к порту Kafka 9092.
telnet localhost 9092
8. Далее создайте образец темы.
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint
9. Перечислите созданную тему.
kafka-topics.sh --zookeeper localhost:2181 --list
Заключение
В этой статье мы увидели, как установить кластер Kafka с одним узлом в CentOS 7. В следующей статье мы увидим, как установить многоузловой кластер Kafka.