Как запускать контейнеры Docker Compose с доступом к графическому процессору

Доступ к графическому процессору в Docker позволяет помещать в контейнер ресурсоемкие рабочие нагрузки, такие как приложения машинного обучения. Графические процессоры не доступны автоматически при запуске нового контейнера, но их можно активировать с помощью флага --gpus для docker run или путем добавления дополнительных полей в файл docker-compose.yml.

В этой статье мы покажем, как включить поддержку GPU в Docker Compose. Вам понадобится Docker Compose версии v1.28 или новее, чтобы следовать руководству. Графические процессоры не поддерживаются в Compose версии 1.18 и старше; выпуски между v1.19 и v1.27 используют устаревшую структуру полей, которая обеспечивает меньший контроль.

Подготовка вашей системы

Ваш хост Docker должен быть подготовлен, прежде чем он сможет предоставить доступ к оборудованию вашего графического процессора. Хотя контейнеры используют ядро вашего хоста, они не могут видеть установленные вами системные пакеты. В простом контейнере не будет драйверов устройств, которые взаимодействуют с вашим графическим процессором.

Вы можете активировать поддержку графических процессоров NVIDIA, установив NVIDIA Docker Container Toolkit:

distribution=$(. /etc/os-release;echo $ID$VERSION_ID) 
   && curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - 
   && curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt update
sudo apt install -y nvidia-docker2
sudo systemctl restart docker

Этот пакет объединяет среду выполнения контейнера Docker с интерфейсом к драйверу NVIDIA вашего хоста. Проверка файла /etc/docker/daemon.json подтвердит, что настроенная среда выполнения контейнера была изменена. Инструментарий NVIDIA будет обрабатывать внедрение подключений устройств GPU при запуске новых контейнеров. Затем он будет передан вашей обычной среде выполнения контейнера.

$ cat /etc/docker/daemon.json
{
    "runtimes": {
        "nvidia": {
            "path": "nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
}

Подготовка изображения

Доступ к графическому процессору в Docker также зависит от правильной настройки образа контейнера. Обычно проще всего создать образ на основе варианта nvidia/cuda. Эта начальная точка, предоставленная NVIDIA, поставляется с предварительно настроенной поддержкой CUDA. Установите любые языки программирования, которые вам нужны, затем скопируйте код, зависящий от графического процессора:

FROM nvidia/cuda:11.4.0-base-ubuntu20.04
RUN apt update &&\ 
  apt-get install -y python3 python3-pip &&\
  pip install tensorflow-gpu

COPY tensor.py .
ENTRYPONT ["python3", "tensor.py"]

Вы должны использовать ту же версию CUDA, которая установлена на вашем хосте. Вы можете проверить это, запустив nvidia-smi:

$ nvidia-smi
Tue May 10 19:15:00 2022       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.103.01   Driver Version: 470.103.01   CUDA Version: 11.4     |
|-------------------------------+----------------------+----------------------+
...

Теперь вы можете написать файл Docker Compose, чтобы запустить контейнер с вложением графического процессора.

Доступ к графическим процессорам в Docker Compose

На графические процессоры ссылаются в файле docker-compose.yml через поле deploy.resources.reservations.devices в ваших службах, которым они нужны. Этот механизм позволяет вам идентифицировать графические процессоры, которые вы хотите подключить. Каждое выбранное устройство будет предоставлено вашим контейнерам.

Вот простой пример запуска контейнера с использованием образа nvidia/cuda. Он будет выдавать информацию о вашем графическом процессоре при запуске контейнера.

services:
  app:
    image: nvidia/cuda:11.4.0-base-ubuntu20.04
    command: nvidia-smi
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              capabilities: [gpu]

$ docker compose up
Creating network "scratch_default" with the default driver
Creating scratch_app_1 ... done
Attaching to scratch_app_1
app_1  | Tue May 10 14:21:14 2022       
app_1  | +-----------------------------------------------------------------------------+
app_1  | | NVIDIA-SMI 470.103.01   Driver Version: 470.103.01   CUDA Version: 11.4     |
app_1  | |-------------------------------+----------------------+----------------------+

services:
  app:
    image: nvidia/cuda:11.4.0-base-ubuntu20.04
    command: nvidia-smi
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]

$ nvidia-smi --list-gpus
GPU 0: NVIDIA GeForce GTX 1080 Ti (UUID: GPU-5ba4538b-234f-2c18-6a7a-458d0a7fb348)
GPU 1: NVIDIA GeForce GTX 1080 Ti (UUID: GPU-d5ce9af3-710c-4222-95f8-271db933d438)
GPU 2: NVIDIA GeForce GTX 1080 Ti (UUID: GPU-50d4eb4f-7b08-4f8f-8d20-27d797fb7f19)
GPU 3: NVIDIA GeForce GTX 1080 Ti (UUID: GPU-bed2d40a-c6e7-4547-8d7d-a1576c5247b2)

services:
  app:
    image: nvidia/cuda:11.4.0-base-ubuntu20.04
    command: nvidia-smi
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              device_ids: ["2", "3"]
              capabilities: [gpu]