Использование AWS Lookout For Metrics для обнаружения аномалий в ваших данных

AWS Lookout — это модель машинного обучения, которая выявляет аномалии и неожиданные изменения в данных. Его можно использовать для отправки вам предупреждений, когда ваши показатели испытывают повышенную нагрузку или другие необычные проблемы.

Что такое AWS Lookout для метрик?

Это не первый сервис с таким названием — у AWS есть Lookout for Vision, который ищет дефекты в продуктах и автоматизирует проверку качества, и Lookout for Equipment, который отслеживает данные датчиков для обнаружения аномалий.

Lookout for Metrics, пожалуй, самый полезный из всех, потому что его можно подключить к любой метрике в вашей учетной записи и обнаружить аномалии. CloudWatch уже имеет некоторые из этих функций с помощью CloudWatch Alarms, но с помощью машинного обучения Lookout for Metrics может обнаруживать более тонкие проблемы.

После обнаружения проблемы создается сводка последствий аномалии, которую можно отправить в SNS или Lambda. Затем вы можете предоставить обратную связь и настроить чувствительность сигналов тревоги.

Lookout for Metrics можно подключить к следующим сервисам, по крайней мере, на момент запуска:

Оттуда можно настроить отправку оповещений в AWS SNS и Lambda, которые можно использовать для выполнения любых действий.

Lookout for Metrics просто стоит 0,75 доллара США за показатель в месяц. Если у вас больше 1000 метрик, цена значительно падает.

Использование Lookout для метрик

Lookout довольно прост в использовании. Все, что вам нужно сделать, это создать детектор, выбрать набор данных и активировать его.

Перейдите в консоль управления Lookout и создайте детектор:

Дайте ему имя и выберите интервал, с которым должно выполняться обнаружение. Здесь всего несколько опций, нет поддержки синтаксиса cron.

Вы также можете изменить ключ шифрования по умолчанию, чтобы выбрать один из AWS KMS.

Затем вам нужно добавить набор данных к этому детектору:

Точная конфигурация будет зависеть от того, какой источник данных вы используете. Например, для S3 требуется путь к объекту данных, а также конфигурация в формате CSV или JSON.

После того, как вы свяжете источник, вам нужно будет включить детектор.

Как только он начнет делать обнаружения, вам будет предоставлена возможность просмотреть их и оценить их точность, что может помочь улучшить его в будущем.