Поиск по сайту:

Как использовать информационные панели и визуализации Kibana

Введение

Kibana 4 — это платформа аналитики и визуализации, основанная на Elasticsearch, которая позволяет лучше понять ваши данные. В этом руководстве мы познакомим вас с Kibana, показав, как использовать его интерфейс для фильтрации и визуализации сообщений журнала, собранных стеком Elasticsearch ELK. Мы рассмотрим основные компоненты интерфейса и продемонстрируем, как создавать поиски, визуализации и информационные панели.

Предпосылки

Это руководство является третьей частью серии «Централизованное ведение журнала с помощью Logstash и Kibana».

Предполагается, что у вас есть рабочая установка ELK. В примерах предполагается, что вы собираете журналы доступа syslog и Nginx. Если вы не собираете эти типы журналов, вы должны иметь возможность модифицировать демонстрации для работы с вашими собственными сообщениями журнала.

Если вы хотите следовать этому руководству точно так, как оно представлено, у вас должны быть следующие настройки, следуя первым двум руководствам в этой серии:

  • Стек ELK для сбора системных журналов: как установить Elasticsearch, Logstash и Kibana 4 в Ubuntu 14.04
  • Журналы и фильтры доступа Nginx: добавление фильтров Logstash для улучшения централизованного ведения журналов

Когда вы будете готовы двигаться дальше, давайте взглянем на обзор интерфейса Kibana.

Обзор интерфейса Kibana

Интерфейс Kibana разделен на четыре основных раздела:

  • Откройте для себя
  • Визуализировать
  • Панель управления
  • Настройки

Мы рассмотрим основы каждого раздела в указанном порядке и продемонстрируем, как можно использовать каждую часть интерфейса.

Кибана Откройте для себя

При первом подключении к Kibana 4 вы попадете на страницу Discover. По умолчанию на этой странице отображаются все последние полученные журналы вашего стека ELK. Здесь вы можете отфильтровать и найти определенные сообщения журнала на основе поисковых запросов, а затем сузить результаты поиска до определенного диапазона времени с помощью фильтра времени.

Вот разбивка элементов интерфейса Kibana Discover:

  • Панель поиска: непосредственно под главным меню навигации. Используйте это для поиска по определенным полям и/или целым сообщениям.
  • Фильтр времени: вверху справа (значок часов). Используйте это для фильтрации журналов на основе различных диапазонов относительного и абсолютного времени.
  • Селектор полей: слева, под строкой поиска. Выберите поля, чтобы указать, какие из них будут отображаться в Просмотре журнала
  • Гистограмма дат. Гистограмма под строкой поиска. По умолчанию здесь отображается количество всех журналов в зависимости от времени (ось X), соответствующие поиску и временному фильтру. Вы можете нажимать на полоски или перетаскивать мышью, чтобы сузить временной фильтр.
  • Просмотр журнала: внизу справа. Используйте это для просмотра отдельных сообщений журнала и отображения данных журнала, отфильтрованных по полям. Если поля не выбраны, отображаются все сообщения журнала.

Эта анимация демонстрирует несколько основных функций страницы Discover:

Вот пошаговое описание того, что делается:

  1. Выбрано поле \тип, которое ограничивает то, что отображается для каждой записи журнала (внизу справа) — по умолчанию отображается все сообщение журнала.
  2. Выполнен поиск по type: nginx-access, который соответствует только журналам доступа Nginx
  3. Расширен последний журнал доступа к Nginx, чтобы рассмотреть его более подробно.

Обратите внимание, что результаты ограничены «Последними 15 минутами». Если вы не получаете никаких результатов, убедитесь, что за указанный период времени были созданы журналы, соответствующие вашему поисковому запросу.

Собираемые и фильтруемые сообщения журнала зависят от ваших конфигураций Logstash и Logstash Forwarder. В нашем примере мы собираем журналы доступа syslog и Nginx и фильтруем их по «типу». для запроса определенных полей.

Синтаксис поиска

Поиск обеспечивает простой и эффективный способ выбора определенного подмножества сообщений журнала. Синтаксис поиска довольно понятен и допускает логические операторы, подстановочные знаки и фильтрацию полей. Например, если вы хотите найти журналы доступа Nginx, созданные пользователями Google Chrome, вы можете выполнить поиск по запросу type: nginx-access AND agent: chrome. Вы также можете выполнять поиск по конкретным хостам или диапазонам IP-адресов клиентов или любым другим данным, содержащимся в ваших журналах.

Когда вы создали поисковый запрос, который хотите сохранить, вы можете сделать это, щелкнув значок «Сохранить поиск», а затем кнопку «Сохранить», как в этой анимации:

Сохраненные результаты поиска можно открыть в любое время, щелкнув значок Загрузить сохраненный поиск, а также их можно использовать при создании визуализаций.

Мы сохраним поиск type: nginx-access как \type nginx access и используем его для создания визуализации.

Кибана визуализировать

На странице Kibana Visualize вы можете создавать, изменять и просматривать свои собственные визуализации. Существует несколько различных типов визуализации: от Вертикальных гистограмм и Круговых диаграмм до Мозаичных карт (для отображения данных на карте) и Таблицы данных. Визуализациями также можно поделиться с другими пользователями, у которых есть доступ к вашему экземпляру Kibana.

Если вы впервые используете визуализации Kibana, вы должны перезагрузить список полей, прежде чем продолжить. Инструкции для этого описаны в подразделе «Перезагрузить данные поля» в разделе «Настройки Kibana».

Создать вертикальную гистограмму

Чтобы создать визуализацию, сначала щелкните пункт меню Визуализация.

Решите, какой тип визуализации вы хотите, и выберите его. Мы создадим вертикальную гистограмму, которая является хорошей отправной точкой.

Теперь вы должны выбрать источник поиска. Вы можете либо создать новый поиск, либо использовать сохраненный поиск. Мы выберем последний метод и выберем тип поиска доступа nginx, который мы создали ранее.

Сначала график предварительного просмотра с правой стороны будет представлять собой сплошную полосу (при условии, что ваш поиск нашел сообщения журнала), потому что он состоит только из оси Y \Количество. То есть он просто отображает число журналов, найденных по указанному поисковому запросу.

Чтобы сделать визуализацию более полезной, давайте добавим к ней несколько новых сегментов.

Сначала добавьте сегмент по оси X, затем щелкните раскрывающееся меню «Агрегация» и выберите «Гистограмма дат». Если вы нажмете кнопку «Применить», один столбец разделится на несколько столбцов вдоль оси X. Теперь счетчик отображаются в виде нескольких полос, разделенных на интервалы времени (которые можно изменить, выбрав интервал из раскрывающегося списка) — аналогично тому, что вы увидите на странице «Обнаружение».

Если мы хотим сделать график немного более интересным, мы можем нажать кнопку «Добавить вспомогательное агрегирование». Выберите тип корзины Разделить бары. Щелкните раскрывающееся меню Sub Aggregation и выберите «Важные условия», затем щелкните раскрывающееся меню «Поле» и выберите «clientip.raw», затем щелкните поле «Размер» и введите «10». Нажмите кнопку «Применить», чтобы создайте новый график.

Вот скриншот того, что вы должны увидеть на этом этапе:

Если визуализируемые журналы были сгенерированы несколькими IP-адресами (т.е. к вашему сайту обращаются более одного человека), вы увидите, что каждая полоса будет разделена на цветные сегменты. Каждый цветной сегмент представляет количество журналов, сгенерированных определенным IP-адресом (т. е. конкретным посетителем вашего сайта), и на графике будет отображаться до 10 различных сегментов (из-за настройки размера). Вы можете навести указатель мыши и щелкнуть любой из элементов на графике, чтобы перейти к конкретным сообщениям журнала.

Когда вы будете готовы сохранить визуализацию, щелкните значок «Сохранить визуализацию» вверху, затем назовите ее и нажмите кнопку «Сохранить».

Создать другую визуализацию

Прежде чем перейти к следующему разделу, где мы покажем, как создать панель мониторинга, вам следует создать как минимум еще одну визуализацию. Попробуйте и изучите различные типы визуализации.

Например, вы можете создать круговую диаграмму из 5 (наибольшего количества) типов журналов «». Для этого нажмите «Визуализировать», затем выберите «Круговая диаграмма». Затем используйте новый поиск и оставьте поиск как «*» ( то есть все ваши журналы). Затем выберите ведро «Разделить фрагменты». Щелкните раскрывающийся список «Агрегация» и выберите «Важные термины», щелкните раскрывающийся список «Поле» и выберите «type.raw», затем щелкните поле «Размер» и введите «5». Теперь нажмите кнопку «Применить» и сохраните визуализацию. как «Топ-5».

Вот скриншот только что описанных настроек:

Поскольку в нашем примере мы собираем только системные журналы и журналы доступа Nginx, на круговой диаграмме будет только два среза.

Когда вы закончите создание визуализаций, давайте перейдем к созданию информационной панели Kibana.

Панель управления Кибана

На странице Kibana Dashboard вы можете создавать, изменять и просматривать свои собственные панели мониторинга. С помощью панели мониторинга вы можете объединить несколько визуализаций на одной странице, а затем отфильтровать их, указав поисковый запрос или выбрав фильтры, щелкнув элементы в визуализации. Панели мониторинга полезны, когда вы хотите получить обзор своих журналов и установить корреляции между различными визуализациями и журналами.

Создать информационную панель

Чтобы создать панель инструментов Kibana, сначала щелкните пункт меню Панель инструментов.

Если вы еще не создавали панель мониторинга, вы увидите практически пустую страницу с надписью «Готовы начать?». Если вы не видите этот экран (т. е. на панели инструментов уже есть визуализации), нажмите кнопку «Создать». Значок панели инструментов (справа от строки поиска), чтобы туда попасть.

Эта анимация демонстрирует, как можно добавить визуализации на панель инструментов:

Вот разбивка выполняемых шагов:

  1. Нажали Значок Добавить визуализацию
  2. Добавлены круговая диаграмма «Счетчик журналов» и гистограмма «Nginx: 10 лучших клиентских IP-адресов».
  3. Свернуто меню Добавить визуализацию
  4. Изменен порядок и размер визуализаций на панели инструментов.
  5. Нажал значок Сохранить сводку.

Выберите имя для панели управления перед ее сохранением.

Это должно дать вам хорошее представление о том, как создать панель мониторинга. Идите вперед и создайте любые панели мониторинга, которые, по вашему мнению, могут вам понадобиться. Далее мы рассмотрим использование информационных панелей.

Использовать информационную панель

Панели мониторинга можно дополнительно отфильтровать, введя поисковый запрос, изменив временной фильтр или щелкнув элементы в визуализации.

Например, если вы нажмете на определенный цветовой сегмент на гистограмме, Kibana позволит вам отфильтровать значимый термин, который представляет этот сегмент. Вот пример скриншота применения фильтра к панели мониторинга:

Обязательно нажмите кнопку «Применить сейчас», чтобы отфильтровать результаты и перерисовать визуализацию панели инструментов. Фильтры можно применять и удалять по мере необходимости.

Фильтры поиска и времени работают так же, как и на странице «Обнаружение», за исключением того, что они применяются только к подмножествам данных, представленным на информационной панели.

Настройки Кибаны

Страница настроек Kibana позволяет вам изменять множество вещей, таких как значения по умолчанию или шаблоны индексов. В этом уроке мы не будем усложнять и сосредоточимся на разделах «Индексы» и «Объекты».

Перезагрузить данные поля

Когда вы добавляете новые поля в свои данные Logstash, например. если вы добавите фильтр для нового типа журнала, вам может потребоваться перезагрузить список полей. Необходимо перезагрузить список полей, если вы не можете найти отфильтрованные поля в Kibana, так как эти данные кэшируются только периодически.

Для этого нажмите пункт меню «Настройки», затем нажмите «logstash-*» (в разделе «Шаблоны индекса»):

Затем нажмите желтую кнопку «Обновить список полей». Нажмите кнопку OK для подтверждения.

Редактировать сохраненные объекты

Раздел «Объекты» позволяет редактировать, просматривать и удалять любые сохраненные информационные панели, поисковые запросы и визуализации.

Чтобы попасть туда, щелкните пункт меню «Настройки», затем подменю «Объекты».

Здесь вы можете выбирать из вкладок, чтобы найти объекты, которые вы хотите редактировать, просматривать или удалять:

На скриншоте мы выбрали дублирующую визуализацию. Его можно отредактировать, просмотреть или удалить, нажав соответствующую кнопку.

Заключение

Если вы следовали этому руководству, у вас должно быть хорошее представление о том, как использовать Kibana 4. Вы должны знать, как искать сообщения журнала и создавать визуализации и информационные панели.

Обязательно ознакомьтесь со следующим руководством из этой серии «Как отобразить местоположение пользователя с помощью GeoIP и ELK».

Если у вас есть какие-либо вопросы или предложения, пожалуйста, оставьте комментарий!