Как повернуть и удалить старые записи Elasticsearch через месяц

Индексы Elasticsearch могут быстро заполниться гигабайтами данных, особенно если вы регистрируетесь с нескольких серверов много раз в секунду. Для управления данными Elasticsearch

Удаление с помощью API «Удалить по запросу»

Elasticsearch предлагает API «Удалить по запросу», который удалит все документы, соответствующие запросу. Вы можете использовать это для сопоставления меток времени больше или меньше определенной даты, хотя и немного грубо:

POST indexname/_delete_by_query
{
  "query": {
    "range" : {
      "@timestamp" : {
        "gte" : "09/02/2020",
        "lte" : "11/02/2020",
        "format": "dd/MM/yyyy||yyyy"
      }
    }
  }
}

Однако этот запрос очень медленный. Масштабируется линейно с размером документа. Если у вас достаточно документов, которые вам нужно чередовать, чтобы ваш экземпляр Elasticsearch не загорелся, вы, вероятно, не сможете удалять записи таким образом, и вместо этого вам нужно будет использовать временные индексы.

Лучший метод: индексы, основанные на времени

В Elasticsearch вы обычно не используете индексы напрямую. В ваших сводных панелях используются шаблоны индексов, которые могут соответствовать нескольким индексам одновременно. Причина этого в том, что сами индексы могут действовать как группы данных, например группировать по дням или месяцам.

Гораздо проще управлять целыми индексами и вращать их, поэтому, если вы настроили каждый прием для добавления текущей даты к имени индекса,

index: "indexname-%{+yyyy.MM.dd}"

Конечно, для этого необходимо настроить конвейер загрузки для записи в ежедневный индекс. Вам нужно будет настроить свои регистраторы для приема данных в этом формате.

Однако, как только это будет сделано, вы можете создать новую политику жизненного цикла индекса для автоматического обновления данных. Эта опция доступна в разделе «Управление стеком» на панели инструментов Kibana.

Вы можете настроить несколько этапов обновления индекса, но для этой цели проще просто отключить обновление и включить этап удаления, настроив его на удаление индексов старше X дней.

Затем, чтобы фактически применить его к шаблону индекса, вам нужно выбрать «Добавить политику в шаблон индекса» в разделе «Действия» в списке политик жизненного цикла.

Выберите шаблон индекса, который вы хотите добавить, и политика должна немедленно вступить в силу, а ваши старые индексы в шаблоне будут удалены.