Как отправлять журналы Python в OpenSearch с помощью Fluent Bit
Введение
Эффективное управление журналами имеет важное значение для мониторинга и обслуживания приложений в современном мире, управляемом данными. OpenSearch, поисковая и аналитическая система с открытым исходным кодом, обеспечивает надежные возможности агрегирования и анализа журналов. Объединив его с Fluent Bit, облегченным средством пересылки журналов, мы можем эффективно отправлять журналы Python в OpenSearch для мониторинга и анализа в реальном времени. Это руководство поможет вам настроить эту мощную комбинацию.
Вариант использования
Эта настройка полезна разработчикам и системным администраторам, которым необходимо отслеживать приложения Python в режиме реального времени. Отправляя журналы из приложений Python в OpenSearch, вы можете анализировать журналы, создавать информационные панели, устанавливать оповещения и получать ценную информацию о производительности и поведении вашего приложения. Этот подход масштабируем и подходит как для небольших проектов, так и для крупномасштабных производственных сред.
Предварительные условия
Прежде чем начать, убедитесь, что у вас есть следующие предварительные условия:
- Python установлен: убедитесь, что Python установлен на вашем сервере или локальном компьютере.
- Кластер OpenSearch: у вас должен быть доступ к кластеру OpenSearch. Вы можете создать новый кластер или использовать существующий.
- Установлен Fluent Bit: Fluent Bit должен быть установлен на сервере или компьютере, где работает ваше приложение Python.
Шаг 1 — Установите Python
Сначала обновите свой репозиторий и установите Python. Выполните следующие команды:
sudo apt update
sudo apt install python3
Чтобы проверить установку Python, запустите:
python3 --version
Шаг 2. Настройка ведения журнала Python
Настройте приложение Python для регистрации сообщений в файл. Вот базовая настройка:
import logging
Configure logging
logging.basicConfig(
filename='app.log',
level=logging.INFO,
format='%(asctime)s - %(levelname)s - %(message)s'
)
Sample log message
logging.info('This is a test log message.')
Эта конфигурация записывает сообщения журнала в app.log
с отметкой времени, уровнем журнала и форматом сообщения.
Шаг 3. Создайте кластер OpenSearch
Если у вас нет кластера OpenSearch, вы можете создать его с помощью инструмента командной строки DigitalOcean, doctl
. Выполните следующую команду:
doctl databases create opensearch-doks --engine opensearch --region your-region --size db-s-1vcpu-2gb --num-nodes 1
Замените your-region
на желаемый регион. Альтернативно вы можете использовать панель управления DigitalOcean для создания кластера вручную. Подробную информацию о том, как это сделать, можно найти в этом руководстве по созданию кластеров OpenSearch через панель управления.
Шаг 4. Установите бит Fluent
Чтобы установить Fluent Bit, используйте следующую команду:
curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh
Шаг 5 — Настройка Fluent Bit
Создайте файл конфигурации с именем fluent-bit.conf
, чтобы определить, как Fluent Bit должен читать и пересылать журналы в OpenSearch. Вот пример конфигурации:
[SERVICE]
Flush 1
Daemon Off
Log_Level info
[INPUT]
Name tail
Path /path/to/your/log/file.log
Tag python_logs
Refresh_Interval 5
[OUTPUT]
Name opensearch
Match python_logs
Host your-opensearch-host
Port 25060
HTTP_User your-username
HTTP_Passwd your-password
Index your-index-name
tls On
Suppress_Type_Name On
- Путь: укажите путь к вашему
app.log
. - Хост: замените хостом OpenSearch.
- HTTP_User: ваше имя пользователя OpenSearch.
- HTTP_Passwd: ваш пароль OpenSearch.
- Индекс: имя индекса, в котором будут храниться журналы.
Шаг 6 — Запустите Fluent Bit
Запустите Fluent Bit с файлом конфигурации:
/opt/fluent-bit/bin/fluent-bit -c fluent-bit.conf
Шаг 7. Проверка журналов в OpenSearch
Чтобы убедиться, что журналы принимаются правильно, проверьте панель управления OpenSearch. Вы должны увидеть журналы, пересылаемые из Fluent Bit.
Шаг 8. Создайте шаблон индекса на панелях мониторинга OpenSearch
- Войдите в OpenSearch Dashboards, используя свои учетные данные.
- Разверните меню слева и нажмите Управление индексом в разделе Управление.
- Нажмите Создать индекс в меню Индексы.
- Введите имя индекса, при необходимости настройте другие параметры и нажмите Создать.
Заключение
Выполнив эти шаги, вы настроили систему для отправки журналов Python в OpenSearch с помощью Fluent Bit. Эта настройка позволяет эффективно управлять журналами и анализировать их, помогая эффективно обслуживать и контролировать ваши приложения. Благодаря OpenSearch и Fluent Bit у вас есть мощное решение для анализа и мониторинга журналов в реальном времени, адаптированное для удовлетворения потребностей любого приложения на основе Python.