Поиск по сайту:

Как отправлять журналы Python в OpenSearch с помощью Fluent Bit


Введение

Эффективное управление журналами имеет важное значение для мониторинга и обслуживания приложений в современном мире, управляемом данными. OpenSearch, поисковая и аналитическая система с открытым исходным кодом, обеспечивает надежные возможности агрегирования и анализа журналов. Объединив его с Fluent Bit, облегченным средством пересылки журналов, мы можем эффективно отправлять журналы Python в OpenSearch для мониторинга и анализа в реальном времени. Это руководство поможет вам настроить эту мощную комбинацию.

Вариант использования

Эта настройка полезна разработчикам и системным администраторам, которым необходимо отслеживать приложения Python в режиме реального времени. Отправляя журналы из приложений Python в OpenSearch, вы можете анализировать журналы, создавать информационные панели, устанавливать оповещения и получать ценную информацию о производительности и поведении вашего приложения. Этот подход масштабируем и подходит как для небольших проектов, так и для крупномасштабных производственных сред.

Предварительные условия

Прежде чем начать, убедитесь, что у вас есть следующие предварительные условия:

  1. Python установлен: убедитесь, что Python установлен на вашем сервере или локальном компьютере.
  2. Кластер OpenSearch: у вас должен быть доступ к кластеру OpenSearch. Вы можете создать новый кластер или использовать существующий.
  3. Установлен Fluent Bit: Fluent Bit должен быть установлен на сервере или компьютере, где работает ваше приложение Python.

Шаг 1 — Установите Python

Сначала обновите свой репозиторий и установите Python. Выполните следующие команды:

sudo apt update
sudo apt install python3

Чтобы проверить установку Python, запустите:

python3 --version

Шаг 2. Настройка ведения журнала Python

Настройте приложение Python для регистрации сообщений в файл. Вот базовая настройка:

import logging
Configure logging
logging.basicConfig(
    filename='app.log',
    level=logging.INFO,
    format='%(asctime)s - %(levelname)s - %(message)s'
)
Sample log message
logging.info('This is a test log message.')

Эта конфигурация записывает сообщения журнала в app.log с отметкой времени, уровнем журнала и форматом сообщения.

Шаг 3. Создайте кластер OpenSearch

Если у вас нет кластера OpenSearch, вы можете создать его с помощью инструмента командной строки DigitalOcean, doctl. Выполните следующую команду:

doctl databases create opensearch-doks --engine opensearch --region your-region --size db-s-1vcpu-2gb --num-nodes 1

Замените your-region на желаемый регион. Альтернативно вы можете использовать панель управления DigitalOcean для создания кластера вручную. Подробную информацию о том, как это сделать, можно найти в этом руководстве по созданию кластеров OpenSearch через панель управления.

Шаг 4. Установите бит Fluent

Чтобы установить Fluent Bit, используйте следующую команду:

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

Шаг 5 — Настройка Fluent Bit

Создайте файл конфигурации с именем fluent-bit.conf, чтобы определить, как Fluent Bit должен читать и пересылать журналы в OpenSearch. Вот пример конфигурации:

[SERVICE]
    Flush         1
    Daemon        Off
    Log_Level     info

[INPUT]
    Name          tail
    Path          /path/to/your/log/file.log
    Tag           python_logs
    Refresh_Interval 5

[OUTPUT]
    Name          opensearch
    Match         python_logs
    Host          your-opensearch-host
    Port          25060
    HTTP_User     your-username
    HTTP_Passwd   your-password
    Index         your-index-name
    tls           On
    Suppress_Type_Name On
  • Путь: укажите путь к вашему app.log.
  • Хост: замените хостом OpenSearch.
  • HTTP_User: ваше имя пользователя OpenSearch.
  • HTTP_Passwd: ваш пароль OpenSearch.
  • Индекс: имя индекса, в котором будут храниться журналы.

Шаг 6 — Запустите Fluent Bit

Запустите Fluent Bit с файлом конфигурации:

/opt/fluent-bit/bin/fluent-bit -c fluent-bit.conf

Шаг 7. Проверка журналов в OpenSearch

Чтобы убедиться, что журналы принимаются правильно, проверьте панель управления OpenSearch. Вы должны увидеть журналы, пересылаемые из Fluent Bit.

Шаг 8. Создайте шаблон индекса на панелях мониторинга OpenSearch

  1. Войдите в OpenSearch Dashboards, используя свои учетные данные.
  2. Разверните меню слева и нажмите Управление индексом в разделе Управление.
  3. Нажмите Создать индекс в меню Индексы.
  4. Введите имя индекса, при необходимости настройте другие параметры и нажмите Создать.

Заключение

Выполнив эти шаги, вы настроили систему для отправки журналов Python в OpenSearch с помощью Fluent Bit. Эта настройка позволяет эффективно управлять журналами и анализировать их, помогая эффективно обслуживать и контролировать ваши приложения. Благодаря OpenSearch и Fluent Bit у вас есть мощное решение для анализа и мониторинга журналов в реальном времени, адаптированное для удовлетворения потребностей любого приложения на основе Python.

Статьи по данной тематике: