Provision
—— XP

Практика: уменьшить образ в разы

практика~35 минут+400 XP

Скоро приложению понадобится база данных PostgreSQL, а для неё — библиотека psycopg2. Она ставится из исходников, то есть при сборке нужен компилятор. В одноэтапном образе он так и останется внутри.

В этой практике соберём оба варианта рядом и измерим разницу своими руками.

Шаг 1. Новая зависимость

Добавляем библиотеку в список зависимостей.

ubuntu@stand:~$
cd ~/infra/app
nano ~/infra/app/requirements.txt
flask==3.0.3
psycopg2==2.9.9

Шаг 2. Адрес, который ходит в базу

Разработчики добавили в приложение адрес /items: он подключается к базе и считает строки в таблице. Разбирать их код не нужно — просто вставь его перед строкой if __name__. Важно одно: если база недоступна, адрес честно отвечает кодом 503 и словами database unavailable, а не падает.

в ~/infra/app/main.py, перед if __name__
import psycopg2

@app.get("/items")
def items():
    try:
        conn = psycopg2.connect(os.getenv("DATABASE_URL", ""), connect_timeout=2)
    except psycopg2.OperationalError:
        return jsonify(error="database unavailable"), 503
    with conn.cursor() as cur:
        cur.execute("SELECT count(*) FROM visits")
        n = cur.fetchone()[0]
    conn.close()
    return jsonify(visits=n)

Адрес базы приложение берёт из переменной DATABASE_URL. Пока её нет — базу подключим в разделе про Compose.

Шаг 3. Тяжёлый вариант

Сначала соберём образ так, как его пишут, не задумываясь о весе: полный образ Python, в котором уже есть компилятор и заголовки. Скопируем текущий Dockerfile и поменяем в копии одну строку.

ubuntu@stand:~$
cp Dockerfile Dockerfile.fat
ubuntu@stand:~$
sed -i 's/python:3.12-slim/python:3.12/' Dockerfile.fat

Флаг -i правит файл на месте. Собираем копию: флаг -f указывает, какой файл сборки взять.

ubuntu@stand:~$
docker build -f Dockerfile.fat -t provision-app:fat .
ubuntu@stand:~$
[+] Building 58.3s (11/11) FINISHED
 => [1/6] FROM docker.io/library/python:3.12                 31.0s
 => [4/6] RUN pip install --no-cache-dir -r requirements.txt  21.4s
 => => naming to docker.io/library/provision-app:fat

Шаг 4. Сколько весит

Смотрим размер.

ubuntu@stand:~$
docker images provision-app
ubuntu@stand:~$
IMAGE                ID             DISK USAGE   CONTENT SIZE
provision-app:1.0    a2a34da434f4        234MB         51.8MB
provision-app:fat    5110e823d71e       1.63GB          407MB

Так таблицу печатает Docker 29: DISK USAGE — сколько образ занимает на диске в распакованном виде, CONTENT SIZE — сколько весят его сжатые слои, то есть сколько придётся качать из реестра. В старых версиях вместо двух колонок одна, SIZE, и числа в ней другие. Твои числа тоже будут свои — они зависят от версии базового образа и процессора, — важно соотношение.

Больше полутора гигабайт ради приложения в тридцать строк. Почти всё это — компиляторы, заголовки и документация полного образа.

Шаг 5. Два этапа

Теперь переписываем основной Dockerfile на две части. Первая собирает пакеты с компилятором, вторая берёт только результат.

nano ~/infra/app/Dockerfile, первый этап
FROM python:3.12-slim AS builder
RUN apt-get update \
 && apt-get install -y build-essential libpq-dev
COPY requirements.txt .
RUN pip install --no-cache-dir --prefix=/install -r requirements.txt

AS builder даёт этапу имя. --prefix=/install велит pip сложить пакеты в отдельный каталог, чтобы второй этап забрал их одной строкой. Ниже — второй этап:

~/infra/app/Dockerfile, второй этап
FROM python:3.12-slim
COPY --from=builder /install /usr/local
WORKDIR /app
RUN useradd --uid 10001 appuser
COPY . .
USER appuser
HEALTHCHECK --interval=10s CMD python -c "import urllib.request as u; u.urlopen('http://127.0.0.1:8000/health')"
STOPSIGNAL SIGINT
CMD ["python", "main.py"]

Всё, что выше второй строки FROM, — первый этап, всё начиная с неё — второй. Как это работает построчно, разобрано в уроке про многоэтапную сборку. Второй этап начинается с чистого листа и ничего не наследует от первого, поэтому useradd, USER, HEALTHCHECK, STOPSIGNAL и CMD переписаны в нём заново.

Шаг 6. Собрать и запустить

Собираем новую версию с тегом 2.0. В выводе видно оба этапа: builder и безымянный stage-1.

ubuntu@stand:~$
docker build -t provision-app:2.0 .
ubuntu@stand:~$
[+] Building 44.0s (13/13) FINISHED
 => [builder 3/4] RUN pip install --no-cache-dir --prefix=/install ...
 => [stage-1 2/6] COPY --from=builder /install /usr/local
 => => naming to docker.io/library/provision-app:2.0

Запускаем в фоне под коротким именем.

ubuntu@stand:~$
docker run -d --name slim provision-app:2.0

Через пару секунд посмотри, что с ним. Флаг -a у docker ps показывает и остановленные контейнеры.

ubuntu@stand:~$
docker ps -a --filter name=slim
ubuntu@stand:~$
IMAGE               STATUS
provision-app:2.0   Exited (1) 2 seconds ago

Контейнер упал сразу. Причина — в журнале:

ubuntu@stand:~$
docker logs slim
ubuntu@stand:~$
  File "/usr/local/lib/python3.12/site-packages/psycopg2/__init__.py", line 51, in <module>
    from psycopg2._psycopg import (                     # noqa
ImportError: libpq.so.5: cannot open shared object file: No such file or directory

psycopg2 собрался в первом этапе, но для работы ему нужна системная библиотека libpq.so.5 — клиент PostgreSQL. В первом этапе она была в составе libpq-dev, во второй мы перенесли только пакеты Python. Компилятор второму этапу не нужен, а сама библиотека — нужна.

Шаг 7. Библиотека для работы

Допиши во второй этап, сразу после FROM, установку библиотеки:

~/infra/app/Dockerfile, второй этап, после FROM
RUN apt-get update \
 && apt-get install -y libpq5

libpq5 — та же библиотека, но без заголовков для сборки. Удали упавший контейнер (docker rm slim), пересобери и запусти снова — через полминуты docker ps покажет Up 15 seconds (healthy).

Посмотри, сколько весит новый слой. docker history показывает слои образа, --no-trunc — команды целиком, а grep оставит нужную строку.

ubuntu@stand:~$
docker history --no-trunc provision-app:2.0 | grep libpq5
ubuntu@stand:~$
26.2MB   RUN /bin/sh -c apt-get update  && apt-get install -y libpq5 # buildkit

Двадцать шесть мегабайт ради одной библиотеки. apt по умолчанию тянет ещё и «рекомендуемые» пакеты, а скачанный список пакетов остаётся в образе. Обе вещи убирают в той же строке:

~/infra/app/Dockerfile, вместо строки apt-get install
 && apt-get install -y --no-install-recommends libpq5 \
 && rm -rf /var/lib/apt/lists/*

--no-install-recommends ставит только то, без чего библиотека не работает. rm -rf /var/lib/apt/lists/* удаляет список пакетов — обязательно в той же команде RUN: удаление отдельной строкой создаст новый слой, а старый со списком останется в образе. Пересобери и повтори docker history:

ubuntu@stand:~$
4.28MB   RUN /bin/sh -c apt-get update  && apt-get install -y --no-install-recommends libpq5  && rm -rf /var/lib/apt/lists/*

Четыре мегабайта вместо двадцати шести. Удали контейнер: docker rm -f slim.

Шаг 8. Сравнить с тяжёлым

Последняя сборка в шаге 7 — и есть итоговая версия 2.0. Сравниваем размеры.

ubuntu@stand:~$
docker images provision-app
ubuntu@stand:~$
IMAGE                ID             DISK USAGE   CONTENT SIZE
provision-app:1.0    a2a34da434f4        234MB         51.8MB
provision-app:2.0    c56396a73fb5        229MB         50.3MB
provision-app:fat    5110e823d71e       1.63GB          407MB

229 мегабайт против 1,63 гигабайта — в семь раз легче, с той же библиотекой внутри. И почти столько же, сколько версия 1.0 без всякой базы: библиотека и libpq5 добавили считанные мегабайты, а компиляторы в итоговый образ не попали вовсе.

Шаг 9. Где теперь вес

Посмотрим верхние слои нового образа: head -5 оставит первые пять строк.

ubuntu@stand:~$
docker history provision-app:2.0 | head -5
ubuntu@stand:~$
IMAGE          CREATED BY                                      SIZE
c56396a73fb5   CMD ["python" "main.py"]                        0B
<missing>      STOPSIGNAL SIGINT                               0B
<missing>      HEALTHCHECK &{["CMD-SHELL" "python -c "impo…   0B
<missing>      USER appuser                                    0B

Колонки CREATED и COMMENT здесь убраны, чтобы влезло. Слои идут снизу вверх по Dockerfile, сверху — последние инструкции. Те, что только меняют настройки образа, весят 0B. Убери | head -5 — ниже увидишь COPY . ., useradd и слой COPY /install /usr/local с пакетами Python, а слоя с компилятором среди них нет совсем: он остался в первом этапе.

Шаг 10. Проверить, что работает

Уменьшить образ легко — легко и сломать. Запускаем рядом с прежним контейнером, на порту 8011.

ubuntu@stand:~$
docker run -d --name app2 -p 8011:8000 provision-app:2.0

Через полминуты спрашиваем новый адрес.

ubuntu@stand:~$
curl -s localhost:8011/items
ubuntu@stand:~$
{"error":"database unavailable"}

Это хороший ответ. Базы пока нет, и приложение сказало об этом словами. Значит, psycopg2 загрузился: без библиотеки контейнер упал бы при старте, как в шаге 6.

Шаг 11. Компилятора нет

Убедимся, что компилятор не уехал во второй этап. Команда which печатает путь к программе, если она есть.

ubuntu@stand:~$
docker run --rm provision-app:2.0 which gcc

Вывода нет: gcc в образе не найден. В тяжёлом варианте та же команда напечатала бы /usr/bin/gcc.

Шаг 12. Отчёт

Запиши размеры и вывод.

ubuntu@stand:~$
nano ~/devops-lab/reports/docker-size.txt
пример отчёта
fat (python:3.12, один этап)   1.63GB
2.0 (slim, два этапа)          229MB
выигрыш: в 7 раз, gcc в итоговом образе нет
библиотека psycopg2 работает: /items отвечает 503 без базы

Шаг 13. Убрать за собой и зафиксировать

Файл тяжёлой сборки в репозитории не нужен — удаляем его. Сам образ provision-app:fat оставь до сдачи практики: по нему проверяется сравнение.

ubuntu@stand:~$
rm Dockerfile.fat
ubuntu@stand:~$
git -C ~/infra add app
ubuntu@stand:~$
git -C ~/infra commit -m "app: двухэтапная сборка, psycopg2"

После сдачи тяжёлый образ можно удалить: docker image rm provision-app:fat.

Если что-то не работает

Здесь ошибки почти всегда в одной из двух сборок.

Симптом и причина
pg_config executable not found
При сборке нет libpq-dev: в первом этапе пропущена установка заголовков.
Контейнер app2 сразу Exited, в логах libpq.so.5
Во втором этапе нет libpq5 — библиотеке нечего загрузить при старте.
Образ 2.0 всё ещё около гигабайта
Второй FROM начинается не со slim, или build-essential ставится во втором этапе.

Что спросят на собеседовании

  • Как проверить, что в итоговый образ не попали инструменты сборки?
    Посмотреть слои через docker history и запустить в образе which gcc или аналог: в правильно собранном образе компилятора нет.
  • Зачем во втором этапе libpq5, если всё собрано в первом?
    Собранной библиотеке при работе нужна разделяемая библиотека libpq. Заголовки и компилятор не нужны, а она — да.
Практика 04+400 XP

Переписать сборку на два этапа и своими глазами увидеть, во сколько раз уменьшается образ без потери работоспособности.

  • Сборка стала многоэтапной
  • Тяжёлый образ собран для сравнения
  • Новый образ весит сотни мегабайт, а не гигабайт
  • Приложение работает и видит библиотеку базы
  • Компилятора в итоговом образе нет
  • Пользователь по-прежнему не root
Команда сдачи — выполни на своей машине
команда
docker images provision-app --format 'IMG={{.Tag}} {{.Size}}'; echo "STAGES=$(grep -c '^FROM' ~/infra/app/Dockerfile)"; echo "ITEMS=$(curl -s localhost:8011/items)"; echo "USER=$(docker run --rm provision-app:2.0 id -un)"; echo "GCC=$(docker run --rm provision-app:2.0 sh -c 'command -v gcc || echo none')"; cat ~/devops-lab/reports/docker-size.txt

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.