Provision
—— XP

Практика: свой GitLab и конвейер

практика~180 минут+750 XP

Этап 4. Выкат из прошлой практики — пять ручных действий, и каждое можно забыть или перепутать. Здесь они переезжают в конвейер на твоём собственном GitLab, как в разделе 12, только теперь GitLab стоит на отдельной машине проекта — final-ops.

Порядок тот же, что во всём курсе: сначала самое простое, что работает, потом по шагу. GitLab с настройками по умолчанию — и замер, сколько он ест. Конвейер из одной задачи — и её первое падение. Дальше выкат, проверка, откат, правила и стадии проверок, каждая — после того, как без неё что-то сломалось. Файлы, как и раньше, пишешь на рабочей машине и возишь rsync.

Если в первом уроке ты выбрал GitLab на gitlab.com, пропусти шаги 1–4: создай там проект final и начинай с шага 5, заменив адрес на git@gitlab.com:<твой логин>/final.git.

Шаг 1. GitLab в Compose

GitLab поставляется одним образом, внутри которого всё: веб-интерфейс, база, очереди. Описание кладём в ops/gitlab/compose.yaml:

ops/gitlab/compose.yaml
services:
  gitlab:
    image: gitlab/gitlab-ce:<версия>-ce.0
    container_name: gitlab
    restart: unless-stopped
    ports: ["80:80", "2222:22"]
    shm_size: 256m
    environment:
      GITLAB_OMNIBUS_CONFIG: |
        external_url 'http://git.provision.internal'
    volumes:
      - ./config:/etc/gitlab
      - ./data:/var/opt/gitlab

Вместо <версия> подставь свежий тег со страницы образа на Docker Hub — версию закрепляем, как учили в разделе про теги образов. external_url — адрес, по которому GitLab будет сам себя называть в ссылках. Порт 2222 на машине ведёт в SSH внутри контейнера: обычный 22 уже занят настоящим SSH машины, а 2222 ты открыл в группе безопасности. Подробная инструкция — установка GitLab в Docker.

Отвези файлы на final-ops, зайди туда и запусти:

ubuntu@stand:~$
rsync -a ~/final/ final-ops:final/
ubuntu@stand:~$
docker compose -f final/ops/gitlab/compose.yaml up -d
ubuntu@stand:~$
 ✔ Container gitlab  Started

Started ещё не значит «готов»: GitLab поднимается несколько минут. Флаг --format оставляет только имя и состояние.

ubuntu@stand:~$
docker ps --format '{{.Names}} {{.Status}}'
ubuntu@stand:~$
gitlab Up 6 minutes (healthy)

Пока в скобках health: starting, страница будет отвечать ошибкой 502 — это нормально, жди healthy.

Шаг 2. Сколько он ест

Машина у GitLab не резиновая, а на ней ещё будет мониторинг. Команда docker stats показывает, сколько памяти и процессора берёт контейнер; --no-stream — один замер вместо живой таблицы, --format оставляет только память: сколько занято и сколько есть у машины.

ubuntu@stand:~$
docker stats --no-stream --format '{{.MemUsage}}' gitlab
ubuntu@stand:~$
4.486GiB / 7.75GiB

Четыре с половиной гигабайта на одного человека, и это в покое. GitLab по умолчанию рассчитан на сотни пользователей: он запускает по рабочему процессу веб-сервера на каждое ядро, держит большую очередь фоновых задач и свой мониторинг. Для одного человека в документации есть урезанные настройки — допиши их в GITLAB_OMNIBUS_CONFIG под external_url:

ops/gitlab/compose.yaml — в GITLAB_OMNIBUS_CONFIG
        puma['worker_processes'] = 0
        sidekiq['concurrency'] = 10
        prometheus_monitoring['enable'] = false

Три строки отключают лишние процессы веб-сервера, сужают очередь фоновых задач и выключают встроенный мониторинг: свой у нас будет отдельно. Полный список — в статье о работе в ограниченной памяти. Отвези файл и примени той же командой up -d: Compose пересоздаст контейнер, данные в каталогах останутся. Через несколько минут повтори замер.

ubuntu@stand:~$
2.506GiB / 7.75GiB

Вдвое меньше. Адрес здесь http, без шифрования. Это осознанное упрощение для учебного стенда — запиши его в docs/decisions.md вместе с ценой: пароль от GitLab ходит по сети открытым.

Шаг 3. Подкачка

Два с половиной гигабайта в покое — но в первые минуты после старта и во время фоновых миграций GitLab даёт всплески: в замере на запуске доходило до 2,8 ГиБ, а без урезания — до 4,5. Рядом на final-ops в следующем этапе встанет мониторинг. Подкачка — файл на диске, куда система выгружает редко нужную память, когда настоящей не хватает. Медленно, но процесс не убивают. Заведём её на 2 ГБ — в Ansible для этого есть готовая роль geerlingguy.swap, или четыре команды руками на машине. Первая создаёт файл нужного размера:

ubuntu@stand:~$
sudo fallocate -l 2G /swapfile

Флаг -l задаёт длину файла. Дальше права только для root, разметка под подкачку и включение — по команде на шаг:

ubuntu@stand:~$
sudo chmod 600 /swapfile
ubuntu@stand:~$
sudo mkswap /swapfile
ubuntu@stand:~$
sudo swapon /swapfile

Проверим, что система её видит:

ubuntu@stand:~$
free -h
ubuntu@stand:~$
        total   used   free  shared  buff/cache  available
Mem:    7.8Gi  3.6Gi  2.1Gi   2.0Mi       2.1Gi      4.1Gi
Swap:   2.0Gi     0B  2.0Gi

Строка Swap с 2.0Gi в колонке total — подкачка включена. Чтобы она пережила перезагрузку, допиши в /etc/fstab строку /swapfile none swap sw 0 0.

Шаг 4. Первый вход

Пароль пользователя root GitLab придумывает сам и кладёт в файл внутри контейнера:

ubuntu@stand:~$
docker exec gitlab cat /etc/gitlab/initial_root_password
ubuntu@stand:~$
Password: Xk3v...p9Q=

Имя git.provision.internal нужно трём местам. На рабочей машине — для git push: допиши в её /etc/hosts строку с публичным адресом final-ops. В файле hosts ноутбука, где у тебя браузер, — та же строка, как ты делал для сайта. На final-app — для раннера: там строка с внутренним адресом final-ops из output inner_ips, ведь машины видят друг друга по подсети.

/etc/hosts на final-app
10.10.1.12 git.provision.internal

Файл с паролем удаляется сам через сутки, поэтому сразу открой в браузере http://git.provision.internal и смени пароль. Затем создай пустой проект final и добавь в профиль публичный SSH-ключ рабочей машины.

Шаг 5. Отправить репозиторий

Чтобы не писать порт 2222 в каждом адресе, заведи в ~/.ssh/config рабочей машины короткое имя:

~/.ssh/config
Host gitlab
    HostName git.provision.internal
    Port 2222
    User git

Теперь в ~/final подключаем удалённый репозиторий:

ubuntu@stand:~$
git remote add origin gitlab:root/final.git

Если основная ветка у тебя называется master, переименуй её заранее командой git branch -M main. Отправляем историю:

ubuntu@stand:~$
git push -u origin main
ubuntu@stand:~$
To gitlab:root/final.git
 * [new branch]      main -> main
branch 'main' set up to track 'origin/main'.

Флаг -u запоминает связь ветки с удалённой, дальше хватит простого git push. Если команда молча висит — закрыт порт 2222 в группе безопасности final-ops.

Шаг 6. Раннер на final-app

Раннер — программа, которая забирает задачи конвейера и выполняет их, это ты разбирал в разделе CI/CD. Ставим его туда, куда выкатываем, — на final-app. Репозиторий пакетов подключается по официальной инструкции, затем:

ubuntu@stand:~$
sudo apt install gitlab-runner

Исполнитель у нас будет shell: задачи выполняются прямо на машине от пользователя gitlab-runner. Ему нужен доступ к Docker:

ubuntu@stand:~$
sudo usermod -aG docker gitlab-runner

Флаг -aG добавляет пользователя в группу, не выкидывая из прочих. Без этой строки первая же задача упадёт с permission denied while trying to connect to the Docker daemon socket.

Шаг 7. Регистрация

В GitLab открой проект → Settings → CI/CD → Runners → New project runner, поставь тег final-app и создай. Страница покажет токен, начинающийся с glrt-. На final-app:

ubuntu@stand:~$
sudo gitlab-runner register

Команда спросит адрес (http://git.provision.internal), токен, имя и исполнитель — ответь shell. Проверим, что связь есть:

ubuntu@stand:~$
sudo gitlab-runner verify
ubuntu@stand:~$
Verifying runner... is valid    runner=bx4CQ-62Q runner_name=final-app

is valid значит, что GitLab узнал раннер. В интерфейсе рядом с ним загорится зелёная точка. Запиши выбор shell-исполнителя и его цену в журнал решений: такой раннер видит всю машину.

Шаг 8. Конвейер из одной задачи

Описание конвейера — .gitlab-ci.yml в корне репозитория. Начнём с одной задачи: собрать образ и положить в реестр под тегом из хеша коммита.

.gitlab-ci.yml
variables:
  IMAGE: localhost:5000/final/app

default:
  tags: [final-app]

build:
  script:
    - docker build -t $IMAGE:$CI_COMMIT_SHORT_SHA app/
    - docker push $IMAGE:$CI_COMMIT_SHORT_SHA

Раздел default с тегом говорит, что все задачи едут на наш раннер. Переменная CI_COMMIT_SHORT_SHA содержит первые восемь знаков хеша коммита — каждая версия получит своё имя. Зафиксируй и отправь:

ubuntu@stand:~$
git add .gitlab-ci.yml
ubuntu@stand:~$
git commit -m "ci: сборка"
ubuntu@stand:~$
git push

В GitLab открой Build → Pipelines и задачу build. Она упала, не успев начать. Журнал читают снизу вверх: последняя красная строка почти всегда и есть причина.

журнал задачи build
Preparing environment
Running on final-app...
ERROR: Job failed: prepare environment: exit status 1. Check https://docs.gitlab.com/runner/shells/#shell-profile-loading for more information

Это известная грабля shell-исполнителя на Ubuntu, ссылка в ошибке ведёт прямо на неё. Пакет раннера завёл пользователю домашний каталог с файлом ~/.bash_logout, который при выходе пытается очистить экран. Экрана у задачи нет, команда возвращает ошибку — и подготовка падает. На final-app убери файл:

ubuntu@stand:~$
sudo rm /home/gitlab-runner/.bash_logout

В GitLab нажми у задачи Retry. Она пошла дальше — и снова упала, уже на последней строке:

журнал задачи build
Get "http://localhost:5000/v2/": dial tcp 127.0.0.1:5000: connect: connection refused
ERROR: Job failed: exit status 1

Образ собрался, а положить его некуда: реестра ещё нет.

Шаг 9. Реестр образов

Собранные образы нужно где-то хранить, иначе и откатываться будет не на что. Самый простой вариант — маленький реестр прямо на final-app, тот же, что в разделе про реестры. Допиши его третьим сервисом в deploy/compose.yaml:

deploy/compose.yaml — реестр
  registry:
    image: registry:3
    restart: unless-stopped
    ports:
      - "127.0.0.1:5000:5000"
    volumes:
      - registry:/var/lib/registry

Порт снова только на локальном адресе: реестр нужен самой машине. Не забудь объявить том registry внизу файла рядом с pgdata. Отвези файл на final-app тем же rsync, зайди туда и подними только реестр:

ubuntu@stand:~$
docker compose -f final/deploy/compose.yaml up -d registry
ubuntu@stand:~$
 ✔ Container final-registry-1  Started

Имя сервиса в конце команды значит «только этот», остальные контейнеры не трогаются. Зафиксируй deploy/compose.yaml и отправь — новый конвейер станет зелёным. Что лежит в реестре, расскажет его API:

ubuntu@stand:~$
curl -s localhost:5000/v2/final/app/tags/list
ubuntu@stand:~$
{"name":"final/app","tags":["45f1e45c"]}

Тег — начало хеша коммита, который ты отправил.

Шаг 10. Выкат

Вторая задача берёт ровно этот тег и поднимает его на машине. Допиши в конец .gitlab-ci.yml:

.gitlab-ci.yml — выкат
deploy:
  script:
    - export TAG=$CI_COMMIT_SHORT_SHA
    - docker compose -f deploy/compose.yaml up -d

deploy/compose.yaml из прошлой практики берёт тег образа из переменной TAG. Миграцию отдельной строкой запускать не нужно: у app в depends_on стоит migrate с условием service_completed_successfully, и up -d сам выполнит её первой. Упадёт миграция — приложение не тронут.

Пароль базы задача берёт из переменной DB_PASSWORD. Заведи её в Settings → CI/CD → Variables с отметками Masked и Protected — так её увидят только задачи защищённой основной ветки. Значение — тот же пароль, что в deploy/.env из прошлой практики: том базы уже создан с ним, и новый пароль PostgreSQL не примет.

Отправь изменения. Конвейер зелёный, а на final-app работает новый образ:

ubuntu@stand:~$
docker compose -p final ps app
ubuntu@stand:~$
NAME          IMAGE                               STATUS
final-app-1   localhost:5000/final/app:8cb91559   Up 3 seconds (health: starting)

Руками на сервер ты не заходил: это сделал конвейер. Но посмотри на страницу конвейера: обе задачи стоят в одном столбце test. Без явных стадий GitLab кладёт задачи в стадию test по умолчанию, и задачи одной стадии идут одновременно. Сработало потому, что раннер выполняет по одной задаче и build попалась первой. Поставь раннеру concurrent = 4 — и выкат однажды начнётся раньше, чем образ доедет в реестр.

Шаг 11. Стадии

Порядок задают стадии. В самое начало .gitlab-ci.yml:

.gitlab-ci.yml — начало
stages: [build, deploy]

И каждой задаче — её стадию, первой строкой под именем: stage: build у сборки и stage: deploy у выката. Стадии идут по очереди, следующая начинается, только когда вся предыдущая зелёная. Отправь и убедись, что задачи встали в два столбца.

Шаг 12. Зелёный конвейер — не значит живой сайт

Испортим приложение так, как ошибаются на самом деле, — опечаткой. В app/main.py в запросе SELECT count(*) FROM visits убери последнюю букву: FROM visit. Отправь. Конвейер зелёный. А сайт:

ubuntu@stand:~$
curl -s -o /dev/null -w '%{http_code}' localhost:8000/items
ubuntu@stand:~$
500
ubuntu@stand:~$
curl -s -o /dev/null -w '%{http_code}' localhost:8000/health
ubuntu@stand:~$
200

/items ходит в базу и падает: таблицы visit нет. /health в базу не ходит и бодро отвечает «ok». Выкат отработал, контейнер запущен — и конвейер честно сообщил об успехе, потому что ничего больше не проверял. Допиши в выкат последней строкой дымовую проверку — запрос, который ходит в базу:

.gitlab-ci.yml — в конец script у deploy
    - curl -fsS --retry 10 --retry-delay 3 --retry-all-errors localhost:8000/items

Флаг -f делает ответ 500 ошибкой curl, --retry 10 повторяет запрос до десяти раз, --retry-all-errors повторяет и на таких ошибках, а не только на обрыве связи. Приложению нужно несколько секунд на старт, поэтому без повторов проверка падала бы на каждом выкате. --retry-delay 3 — ровно три секунды между попытками. Без него curl ждёт каждый раз вдвое дольше: 1, 2, 4, 8… — и десятая попытка наступает минут через семнадцать. Задача сломанного выката висела бы всё это время.

Отправь. Теперь задача deploy красная:

журнал задачи deploy
curl: (22) The requested URL returned error: 500
ERROR: Job failed: exit status 22

Через тридцать секунд, а не через семнадцать минут. Верни в main.py букву s и отправь — конвейер снова зелёный, и теперь этому можно верить.

Шаг 13. Окружение и откат

Сломанная версия уже на сервере, исправление ещё в работе — такое случается. Нужен быстрый путь назад. Допиши в выкат, под stage:

.gitlab-ci.yml — в deploy
  environment:
    name: production
    url: https://final.provision.internal

environment — то же окружение, что в разделе 12: GitLab записывает каждый выкат, какой коммит и когда, и даёт у прошлых кнопку Rollback. Кнопки when: manual здесь нет намеренно — выкат идёт сам, и это решение из урока про план с ценой в журнале. Отправь, затем сделай ещё один коммит — хотя бы правку README — и дождись выката:

ubuntu@stand:~$
docker compose -p final ps app
ubuntu@stand:~$
NAME          IMAGE                               STATUS
final-app-1   localhost:5000/final/app:e95b5799   Up 5 seconds

Открой Operate → Environments → production: там две записи, свежая сверху. У нижней, прошлой, нажми Rollback environment и подтверди. GitLab перезапустит старую задачу deploy с переменными того конвейера, то есть с прошлым тегом. Образ этой версии лежит в реестре, пересобирать ничего не нужно:

ubuntu@stand:~$
docker compose -p final ps app
ubuntu@stand:~$
NAME          IMAGE                               STATUS
final-app-1   localhost:5000/final/app:ccd0de3f   Up 21 seconds (healthy)

Снова старый тег — откат занял секунды. Запиши время и порядок отката в README. Затем верни последнюю версию тем же Rollback у верхней записи или новым коммитом.

Шаг 14. Выкат только из основной ветки

Попробуй мысль в отдельной ветке: git switch -c try-idea, любая правка, коммит и git push -u origin try-idea. В конвейере ветки задача deploy тоже запустилась — и упала:

журнал задачи deploy в ветке try-idea
Container final-migrate-1 Error service "migrate" didn't complete successfully: exit 2
ERROR: Job failed: exit status 1

Сервер спасла случайность. Переменная DB_PASSWORD защищённая и в незащищённую ветку не попала; миграция пришла к базе без пароля и упала с кодом 2 — «не удалось подключиться». Без этой отметки черновик из ветки уехал бы на сервер. Правило пишут явно. В deploy, под stage:

.gitlab-ci.yml — в deploy
  rules:
    - if: $CI_COMMIT_BRANCH == $CI_DEFAULT_BRANCH

$CI_DEFAULT_BRANCH — основная ветка проекта, у нас main. Отправь в main, затем влей main в try-idea и отправь ветку: в её конвейере теперь одна сборка, задачи deploy нет вовсе. Вернись в main: git switch main.

Шаг 15. Проверить образ до выката

Сломанный образ лучше поймать до того, как он встанет на сервер, — как в разделе 12. Две проверки: дымовая загружает приложение из только что собранного образа, сканер Trivy ищет известные уязвимости. Стадия между сборкой и выкатом:

.gitlab-ci.yml — начало
stages: [build, test, deploy]

Shell-исполнитель не умеет image:, поэтому Trivy запускается своим контейнером с сокетом Docker:

.gitlab-ci.yml — перед deploy
smoke:
  stage: test
  script:
    - docker run --rm $IMAGE:$CI_COMMIT_SHORT_SHA python -c "import main"

scan:
  stage: test
  script:
    - docker run --rm -v /var/run/docker.sock:/var/run/docker.sock
      aquasec/trivy:0.75.0 image --image-src docker --ignore-unfixed
      --severity HIGH,CRITICAL --exit-code 0 $IMAGE:$CI_COMMIT_SHORT_SHA

Флаги Trivy разобраны в разделе 12: брать образ у Docker, прятать дыры без исправления, показывать только серьёзные и пока не ронять задачу. Длинная строка в YAML переносится сама: строки с отступом склеиваются в одну через пробел. В deploy под stage допиши, кого ждать:

.gitlab-ci.yml — в deploy
  needs: [smoke, scan]

needs — выкат стартует, как только готовы обе проверки, и явно назван их результатом. Отправь: четыре задачи, три стадии, все зелёные. В журнале scan — таблица находок по системе и пакетам Python.

Шаг 16. Проверить описание первым

Последняя ошибка — в самом deploy/compose.yaml. Сдвинь в нём строку restart: "no" у migrate на один пробел влево и отправь. Сборка и обе проверки образа зелёные, а выкат падает — после того, как образ собран, просканирован и положен в реестр впустую. Опечатка в отступе ловится за секунду, если проверить файл первым. Стадия в самое начало:

.gitlab-ci.yml — начало
stages: [check, build, test, deploy]
.gitlab-ci.yml — после default
check-compose:
  stage: check
  script:
    - docker compose -f deploy/compose.yaml config -q

config -q молча разбирает файл и падает на ошибке. Отправь: красная только check-compose, остальные задачи пропущены.

журнал задачи check-compose
docker compose -f deploy/compose.yaml config -q
go-yaml load error in parser (while parsing a block mapping) at L4.C3-L25.C4: did not find expected key
ERROR: Job failed: exit status 1

Секунда вместо полминуты, и ничего не собрано зря. Верни отступ и отправь — четыре стадии зелёные, на сервере образ последнего коммита. Вставь команду сдачи в блок ниже.

Что дальше

Выкат теперь идёт сам. Но если ночью приложение упадёт, об этом пока никто не узнает. Следующий этап — мониторинг на final-ops: метрики, панели, журналы и оповещение.

Практика 03+750 XP

Превратить ручной выкат в конвейер на собственном GitLab: коммит собирается в образ с хешем коммита, выкатывается без входа на сервер, проверяется запросом в базу и откатывается кнопкой Rollback.

  • На сервере работает образ последнего коммита
  • В реестре есть хотя бы две версии
  • Сайт жив после выката и видит базу
  • Выкат записывается в окружение
  • Пароль не попал в репозиторий
Команда сдачи — выполни на своей машине
команда
cd ~/final; git log -1 --format=COMMIT=%H; ssh final-app docker compose -p final ps app --format 'IMAGE={{.Image}}'; ssh final-app curl -s localhost:5000/v2/final/app/tags/list; echo; curl -s --cacert tls/ca.crt https://final.provision.internal/items; echo; grep -E 'name: production' .gitlab-ci.yml; echo SECRETS=$(git grep -lE '[0-9a-f]{32}' -- ':!*.lock.hcl' | wc -l)

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.