Руководство для начинающих по сервисам машинного обучения AWS

Машинное обучение — это огромная отрасль, и у AWS есть целый раздел сервисов, посвященных этому. Мы объясним, что они предлагают, от сервисов для запуска моделей машинного обучения до их готовых сервисов на основе ИИ, которые вы можете интегрировать непосредственно в свое приложение.

Сервисы для запуска машинного обучения

В этом разделе основное внимание будет уделено различным сервисам, которые AWS предоставляет для создания, обучения и запуска собственных моделей машинного обучения. AWS также предоставляет ряд сервисов, использующих готовые модели, на которых мы остановимся позже.

SageMaker — пакет машинного обучения AWS

SageMaker — это полностью управляемый сервис AWS для создания и обучения моделей машинного обучения. Он предназначен для замены всей ручной работы, связанной с настройкой серверов для обучения и логического вывода. Вам все равно придется оплачивать расходы EC2, связанные с вашими моделями, но сам процесс управляется за вас.

Настоятельно рекомендуется запускать машинное обучение в SageMaker — одна только экономия средств чего стоит. С SageMaker вы платите только за стоимость обучения, а не за время простоя, когда ваш сервер ничего не запускает. Это очень важно, особенно если учесть, что инстансы, обычно используемые для обучения моделей машинного обучения, оснащены 8 графическими процессорами Tesla V100 с тензорными ядрами и стоят целое состояние в час. SageMaker также предлагает возможность легкого использования спотовых инстансов, что обычно позволяет сэкономить около 60 % по сравнению с расходами по требованию.

SageMaker можно использовать бесплатно, но в целом он стоит немного больше за инстанс в час, чем установка EC2 (по аналогии с ценовой моделью RDS). Они помогут вам в мелком шрифте, хотя это все же дешевле и проще в использовании, чем созданный вручную учебный парк на основе спотовых инстансов.

В SageMaker также есть рынок алгоритмов, похожих на образы машин Amazon, которые вы можете запускать на платформе. Некоторые из них бесплатны, а за работу некоторых взимается почасовая плата.

Наземная правда SageMaker

Ground Truth — это функция SageMaker, которая автоматизирует процесс создания наборов данных для обучения моделей. Распространенной проблемой машинного обучения является маркировка данных; скажем, вы создаете ИИ, чтобы отличать яблоки от апельсинов. Если у вас есть 1000 фотографий яблок и апельсинов, хранящихся в S3, вам придется просмотреть каждую из них и правильно пометить.

SageMaker упрощает этот процесс, предоставляя интерфейс для автоматической маркировки и возможность аутсорсинга труда. Для небольших наборов данных вы, вероятно, можете потратить час или около того, маркируя их самостоятельно. Но если у вас есть много контента, который вам нужно пометить, вы можете настроить пользователей с ролями IAM, чтобы ваши сотрудники могли обрабатывать его, или вы можете передать его на аутсорсинг работникам Mechanical Turk. Стоимость варианта аутсорсинга составляет 0,08 доллара США за объект до 50 000 объектов и 0,04 доллара США после этого. В противном случае сама Ground Truth бесплатна плюс стоимость вашего времени или времени вашего сотрудника.

Эластичный вывод — запуск моделей машинного обучения в производственной среде

Обучение моделей машинного обучения осуществляется единовременно и требует значительно большей вычислительной мощности, чем выполнение логических выводов (прогнозирование с использованием обученных моделей). Вывод — это то, для чего вы построили модель, и вам все еще нужно оплачивать вычислительные затраты.

Однако для логического вывода редко используется полная мощность графического процессора, особенно гигантский Tesla V100 из линейки AWS P3, не говоря уже о восьми из них. Таким образом, вместо того, чтобы арендовать дорогостоящий логический вывод с поддержкой графического процессора в качестве ежедневного драйвера для ваших потребностей в логических выводах, вы можете вместо этого подключить к своим инстансам эластичные ускорители, которые предоставят вашим инстансам EC2 небольшую мощность графического процессора за небольшую часть стоимости.

Этими ускорителями можно управлять с помощью EC2 Auto Scaling для увеличения и уменьшения масштаба в зависимости от нагрузки. Вы будете платить за час в зависимости от размера подключаемого ускорителя. Типы ускорителей можно просмотреть на странице цен на Elastic Inference.

Услуги на основе ИИ

AWS предлагает целый ряд замечательных сервисов на базе ИИ. В этом разделе основное внимание будет уделено службам, которые используют машинное обучение «под капотом», но для их использования не требуются какие-либо знания в области машинного обучения. Вы можете использовать эти сервисы в своих собственных приложениях и пользоваться преимуществами машинного обучения без обучения собственных моделей.

Распознавание речи и преобразование текста в речь

AWS Polly — это сервис, который создает реалистичное аудио из текста. Их нейронные голоса просто фантастические, и они больше похожи на Alexa, чем на Microsoft Sam. Слова сливаются воедино так, как их произносит человек, а не компьютер, интерпретирующий слоги.

AWS Transcribe – это сервис для расшифровки текста из аудио для распознавания речи. Он работает так же, как AWS Polly, но наоборот: дайте ему аудиофайл, и он (в меру своих возможностей) выведет произносимые слова. Этот сервис не работает в режиме реального времени, поэтому он в основном полезен для расшифровки журналов вызовов или автоматического добавления субтитров к видео.

AWS Lex — это сервис, который объединяет их для создания чат-ботов, таких как Alexa. Lex может расшифровывать устные инструкции, понимать их намерения и может автоматически запускать действия из Lambda на основе данных ему команд. Это очень мощный сервис,

Распознавание изображений

AWS Rekognition – это набор инструментов для распознавания изображений на видео и изображениях. Он может идентифицировать все виды объектов с разным уровнем достоверности, анализировать лица на наличие эмоций, отслеживать нескольких людей в видео и сканировать на наличие неприемлемого контента.

AWS Textract – это инструмент для оптического распознавания символов (OCR), который может считывать документы и выводить содержащуюся в них информацию. Традиционное распознавание символов существует уже некоторое время, но Textract выводит его на новый уровень, используя машинное обучение для автоматического понимания структуры данных, вместо того, чтобы писать собственный код или настраивать алгоритмы для поддержки изменений в структуре страницы. Затем данные можно сохранять и искать с помощью AWS Elasticsearch для последующего анализа.

Перевод

Языковой перевод — это область, в которой процветает машинное обучение, поскольку понимание сложных отношений между словами слишком сложно для идеального программирования в традиционном смысле.

AWS Translate — довольно простой сервис перевода. Вы вводите текст, выбираете язык для перевода, и он дает вам правильный перевод. Он взимает плату за символ в истинном стиле AWS по ставке 15 долларов США за миллион символов.