Как запустить Puppeteer и Headless Chrome в контейнере Docker

Puppeteer — это библиотека Node.js, которая позволяет вам взаимодействовать с веб-браузером Chrome. Последние выпуски также включают поддержку Firefox.

Puppeteer обычно используется для автоматизации тестирования, архивирования данных веб-страниц и создания скриншотов живого веб-контента. Он позволяет вам управлять Chrome через понятный API, предоставляя вам возможность переходить на страницы, нажимать на элементы управления формой и выполнять команды браузера.

Запустить Puppeteer в контейнере Docker может быть сложно, так как для запуска безголового Chrome требуется много зависимостей. Вот как установить все, чтобы вы могли использовать Puppeteer в кластере Kubernetes, в изолированном контейнере на вашей машине разработки или как часть конвейера CI.

Основные требования

Для целей этой статьи мы используем образ на основе Debian. Если вы используете другую базу, вам необходимо соответствующим образом адаптировать отображаемые команды диспетчера пакетов. Официальный образ Node.js является подходящей отправной точкой, что означает, что вам не нужно вручную устанавливать Node.

Puppeteer распространяется через npm, менеджер пакетов Node.js. Он объединяет последнюю сборку Chromium в своем пакете, поэтому теоретически npm install puppeteer заставит вас работать. На практике в чистой среде Docker не будет зависимостей, необходимых для запуска Chrome.

Поскольку обычно это тяжеловесная программа с графическим интерфейсом, Chrome зависит от шрифтов, графики, конфигураций и библиотек управления окнами. Все это необходимо установить в вашем Dockerfile.

На момент написания текущий список зависимостей выглядит так:

FROM node:latest
WORKDIR /puppeteer
RUN apt-get install -y 
    fonts-liberation 
    gconf-service 
    libappindicator1 
    libasound2 
    libatk1.0-0 
    libcairo2 
    libcups2 
    libfontconfig1 
    libgbm-dev 
    libgdk-pixbuf2.0-0 
    libgtk-3-0 
    libicu-dev 
    libjpeg-dev 
    libnspr4 
    libnss3 
    libpango-1.0-0 
    libpangocairo-1.0-0 
    libpng-dev 
    libx11-6 
    libx11-xcb1 
    libxcb1 
    libxcomposite1 
    libxcursor1 
    libxdamage1 
    libxext6 
    libxfixes3 
    libxi6 
    libxrandr2 
    libxrender1 
    libxss1 
    libxtst6 
    xdg-utils

Зависимости устанавливаются вручную, чтобы облегчить использование бинарного файла Chromium, который входит в комплект Puppeteer. Это обеспечивает согласованность между выпусками Puppeteer и позволяет избежать появления новых выпусков Chrome с несовместимостями, которые нарушают работу Puppeteer.

Теперь запустите npm install puppeteer в своем локальном рабочем каталоге. Это создаст файлы package.json и package-lock.json, которые вы сможете использовать. В вашем Dockerfile скопируйте эти файлы в контейнер и используйте npm ci для установки Puppeteer.

# (above section omitted)
COPY package.json .
COPY package-lock.json .
RUN npm ci

Последний шаг — сделать двоичный файл Chromium, входящий в комплект Puppeteer, правильно исполняемым. В противном случае вы столкнетесь с ошибками разрешений всякий раз, когда Puppeteer попытается запустить Chrome.

# (above section omitted)
RUN chmod -R o+rwx node_modules/puppeteer/.local-chromium

Возможно, вы захотите вручную установить определенную версию Chrome в настраиваемых средах. Установка переменной среды PUPPETEER_SKIP_CHROMIUM_DOWNLOAD перед запуском npm ci отключит загрузку собственного браузера Puppeteer во время установки. Это поможет уменьшить итоговое изображение.

На этом этапе вы должны быть готовы создать свой образ:

docker build . -t puppeteer:latest

Это довольно большой процесс сборки, который может занять несколько минут при медленном интернет-соединении.

Использование Puppeteer в Docker

Некоторые особенности относятся к запуску Chrome, когда вы используете Puppeteer в Dockerized среде. Несмотря на установку всех зависимостей, среда по-прежнему отличается от большинства обычных установок Chrome, поэтому требуются дополнительные флаги запуска.

Вот минимальный пример использования Puppeteer внутри вашего контейнера:

const puppeteer = require("puppeteer");
 
const browser = await puppeteer.launch({
    headless: true,
    args: [
        "--disable-gpu",
        "--disable-dev-shm-usage",
        "--disable-setuid-sandbox",
        "--no-sandbox",
    ]
});
 
const page = await browser.newPage();
await page.goto("https://example.com");
const ss = await page.screenshot({path: "/screenshot.png"});
 
await page.close();
await browser.close();