Provision
—— XP

Практика: сломанный выкат и откат кнопкой

практика~45 минут+525 XP

Выкат работает на хорошей версии. Настоящая проверка — что будет с плохой. Сейчас ты изобразишь ошибку разработчика и сам пропустишь в main версию, которая проходит все проверки и собирается, но не запускается. Так ломаются настоящие выкаты.

Отрабатывать откат надо на стенде, днём и спокойно, а не впервые — ночью на проде.

Шаг 1. Подложить поломку

Представим, что разработчик ошибся так, что этого не заметили ни линтер, ни сборка: добавим за него импорт модуля, которого нет. Ошибка проявится только при запуске.

ubuntu@stand:~$
cd ~/infra
git switch -c demo/broken

>> дописывает строку в конец файла.

ubuntu@stand:~$
echo 'import no_such_module' >> app/main.py
ubuntu@stand:~$
git commit -am "демо: сломанный импорт"
git push -u gitlab demo/broken

Флаг -a сам добавляет изменённые файлы, -m — сообщение, -u — связать ветку.

Шаг 2. Влить, как будто ревью пропустило

Создай merge request. Конвейер зелёный: YAML в порядке, Compose собирается, скрипты чистые. Строчку в Python никто из проверок не читает. Нажми Merge — так и выглядит пропущенная на ревью ошибка.

Это важное наблюдение само по себе: зелёный конвейер говорит только о том, что прошли написанные проверки. Тестов приложения у нас пока нет — значит, и ловить такое нечем. В конце практики мы это исправим.

Шаг 3. Выкатить

Открой конвейер по main. build-image зелёный — образ собрался: сборка складывает файлы, но не запускает код. Нажми ▶ у deploy-stand.

Через минуту задача покраснеет, и весь конвейер вместе с ней — спасибо allow_failure: false.

конец журнала deploy-stand
APP_IMAGE=192.168.1.50:5050/devops/infra/app:7c1e4b2f
 ✘ Container provision-app-1  Error
container provision-app-1 is unhealthy
ERROR: Job failed: exit code 1

Первая строка — версия, которая работала до выката, запомни её тег. Дальше --wait дождался не healthy, а ошибки, и скрипт упал. Без --wait журнал был бы зелёным, а сайт — лежащим.

Шаг 4. Посмотреть на стенд

Конвейер красный, но что с сайтом? Сначала состояние, потом журналы — порядок разбора из раздела 08.

ubuntu@stand:~$
cd ~/infra/stand
docker compose ps app
ubuntu@stand:~$
NAME              STATUS
provision-app-1   Restarting (3) 4 seconds ago

Restarting — контейнер падает и поднимается по кругу. Сайт лежит. Причину скажут журналы:

ubuntu@stand:~$
docker compose logs --tail 3 app
ubuntu@stand:~$
app-1  | [2026-10-02 09:41:07 +0000] [1] [ERROR] Worker (pid:8) was sent SIGTERM!
app-1  | [2026-10-02 09:41:07 +0000] [1] [INFO] Shutting down: Master
app-1  | [2026-10-02 09:41:07 +0000] [1] [INFO] Reason: Worker failed to boot.

Последние строки говорят только «рабочий процесс не поднялся», а почему — не говорят. Причина выше: два рабочих процесса gunicorn печатают трассировку на каждом круге перезапуска, и журнал быстро растёт до сотен строк. Найдём первую строку с ошибкой. Флаг -m1 у grep — остановиться на первом совпадении.

ubuntu@stand:~$
docker compose logs app | grep -m1 Error
ubuntu@stand:~$
app-1  | ModuleNotFoundError: No module named 'no_such_module'

Причина найдена. Но чинить код сейчас — минуты, а сайт лежит прямо сейчас. Сначала откат, потом починка.

Шаг 5. Откатиться кнопкой

Открой Operate → Environments → stand. Сверху красная запись — неудачный выкат. Ниже зелёная — прошлая версия 7c1e4b2f.

У зелёной записи нажми кнопку Rollback environment (круглая стрелка) и подтверди. GitLab перезапустит старую задачу deploy-stand из прошлого конвейера — с её тегом образа. Образ всё ещё лежит в реестре, пересобирать ничего не надо.

конец журнала перезапущенной задачи
APP_IMAGE=192.168.1.50:5050/devops/infra/app:9e4d2a6c
 ✔ Container provision-app-1  Healthy
выкачен 192.168.1.50:5050/devops/infra/app:7c1e4b2f
Job succeeded

Первая строка теперь показывает сломанную версию — откуда уехали. Последняя — куда вернулись. Откат занял меньше минуты.

Учти одну тонкость нашего стенда: старая задача запускает скрипт deploy.sh из рабочей копии ~/infra, а там сейчас выбрана ветка demo/broken. Скрипт в ней не менялся, поэтому откат сработал. На рабочем сервере скрипт приезжает вместе с выкатом из того же коммита, и такой зависимости нет.

Шаг 6. Проверить сайт

Проверь сам, что сайт ответил. Адрес длинный — положим его в переменную шелла. Флаг -s у curl убирает полосу загрузки, --cacert — учебный центр сертификации.

ubuntu@stand:~$
URL=https://stand.provision.internal:8443/api/whoami
ubuntu@stand:~$
curl -s --cacert ~/devops-lab/tls/ca.crt $URL
ubuntu@stand:~$
{"app":"stand","host":"4a1c7e2b9d83","pid":9,"version":"1.0.0"}

В окружении stand верхняя запись снова зелёная, с пометкой, что это повторный выкат старой задачи.

Шаг 7. Починить через merge request

Откат вернул сайт, но в main всё ещё сломанный код. Следующий выкат снова его привезёт — поэтому чиним по-настоящему.

ubuntu@stand:~$
cd ~/infra
git switch main
git pull
ubuntu@stand:~$
git switch -c fix/broken-import

Флаг -i у sed правит файл на месте, /…/d удаляет строку с этим словом.

ubuntu@stand:~$
sed -i '/no_such_module/d' app/main.py
ubuntu@stand:~$
git commit -am "fix: убрать сломанный импорт"

Пока не отправляй ветку: в этот же merge request добавим первую проверку — ту, что не пустила бы такую поломку на стенд.

Шаг 8. Стадия test: образ хотя бы запускается

Поломку пропустили, потому что ни одна задача не запускала код. Добавим стадию test между сборкой и выкатом. В stages впиши test после build:

в начале .gitlab-ci.yml
stages:
  - check
  - build
  - test
  - deploy

Первая задача стадии — дымовая проверка (smoke test): запустить собранный образ и попросить Python загрузить приложение. Тестов на код у нас нет, но «приложение хотя бы загружается» ловит сломанный импорт, опечатку в имени модуля и забытую зависимость.

дописать в .gitlab-ci.yml
smoke:
  stage: test
  image: docker:29-cli
  needs: [build-image]
  variables:
    IMAGE: $CI_REGISTRY_IMAGE/app:$CI_COMMIT_SHORT_SHA
  script:
    - docker run --rm "$IMAGE" python -c "import main"
  rules:
    - if: $CI_COMMIT_BRANCH == $CI_DEFAULT_BRANCH

docker run --rm запускает контейнер из только что собранного образа и удаляет его после. Вместо gunicorn внутри выполняется python -c "import main" — загрузить файл main.py и выйти. На сломанной версии задача упала бы так:

журнал smoke на сломанной версии
  File "/app/main.py", line 4, in <module>
    import no_such_module
ModuleNotFoundError: No module named 'no_such_module'
ERROR: Job failed: exit code 1

Настоящие тесты кода — pytest с базой в services: — пишут разработчики, а DevOps встраивает их задачей в эту же стадию. Начинают обычно именно с такого дымового запуска.

Шаг 9. Выкат ждёт smoke — и в main

Проверка бесполезна, если выкат её не ждёт. В задаче deploy-stand замени строку needs:

в задаче deploy-stand
  needs: [smoke]

Теперь сломанный образ соберётся, smoke покраснеет, и кнопки выката для него просто не будет. Отправляй ветку — исправление и первая проверка едут одним merge request.

ubuntu@stand:~$
git commit -am "ci: smoke перед выкатом"
git push -u gitlab fix/broken-import

Создай MR и влей его. Задачи с правилом $CI_COMMIT_BRANCH == $CI_DEFAULT_BRANCH работают только в main, поэтому проверки увидишь в конвейере main: теперь в нём четыре колонки — check, build, test, deploy. Открой журнал smoke:

конец журнала smoke
docker run --rm "$IMAGE" python -c "import main"
Job succeeded

Пустой вывод между командой и итогом — хороший знак: import main прошёл молча. Нажми ▶ у deploy-stand: исправленный код поедет на стенд.

Шаг 10. Сканер уязвимостей Trivy

Сайт снова на исправном коде, и следующая проверка — уже отдельной веткой. В разделе 07 ты запускал Trivy руками. Теперь он станет задачей конвейера: каждый образ проверяется до выката.

ubuntu@stand:~$
git switch main
git pull
git switch -c ci/trivy
дописать в .gitlab-ci.yml
scan:
  stage: test
  image:
    name: aquasec/trivy:0.75.0
    entrypoint: [""]
  needs: [build-image]
  variables:
    IMAGE: $CI_REGISTRY_IMAGE/app:$CI_COMMIT_SHORT_SHA
  script:
    - trivy image --image-src docker --ignore-unfixed --severity HIGH,CRITICAL --exit-code 0 "$IMAGE"
  rules:
    - if: $CI_COMMIT_BRANCH == $CI_DEFAULT_BRANCH

entrypoint: [""] убирает команду запуска образа: иначе GitLab не сможет выполнить в нём свой script. --image-src docker велит взять образ у Docker стенда через сокет — он там уже лежит после сборки. --ignore-unfixed прячет дыры, для которых ещё нет исправленной версии пакета: их всё равно нечем закрыть. --severity оставляет только серьёзные. --exit-code 0 — пока только отчёт, задача не падает.

Выкат должен ждать и эту проверку. В задаче deploy-stand:

в задаче deploy-stand
  needs: [smoke, scan]
ubuntu@stand:~$
git commit -am "ci: trivy перед выкатом"
git push -u gitlab ci/trivy

Создай MR, влей его и дождись scan в конвейере main:

конец журнала scan
Total: 1 (HIGH: 1, CRITICAL: 0)
Job succeeded

Число у тебя будет своё: базовый образ обновляется, база уязвимостей тоже. Когда команда договорится, что выкатывать с такими находками нельзя, --exit-code 0 меняют на 1 — и найденная дыра краснит конвейер. Когда smoke и scan позеленеют, нажми ▶ у deploy-stand: в окружении появится новая зелёная запись.

Шаг 11. Почему два merge request

Исправление и сканер — разные вещи. Первое возвращает сайт, второе меняет правила игры для всех будущих выкатов и может неожиданно покраснеть на старом пакете в базовом образе. Влитые одним MR, они бы чинились и откатывались вместе. Маленькие MR проще проверить коллеге и проще откатить по отдельности.

Шаг 12. Что осталось вручную

Честный список того, что в нашем выкате всё ещё не автоматизировано.

Что можно добавить потом
Тесты кода
pytest с базой в services: — их пишут вместе с разработчиками, задача встаёт в стадию test рядом со smoke.
Автооткат
При упавшей проверке скрипт сам возвращает прошлый образ. Пока откат — кнопка, и для одного стенда это нормально.
Уведомление
Сообщение в чат с версией и ссылкой на конвейер: снимает вопрос «кто выкатил».

Шаг 13. Сдать

Подожди, пока исправленный выкат закончится, и выполни команду сдачи.

Практика 07+525 XP

Отработать аварию до того, как она случится в проде: узнать сломанный выкат по журналу, откатиться кнопкой окружения, выкатить исправление и поставить проверки, которые не пропустят такую поломку снова.

  • Сломанная версия была в main
  • Исправление влито
  • Конвейер проверяет запуск образа
  • Образ проверяется Trivy
  • На стенде образ из реестра
  • Приложение снова здорово
Команда сдачи — выполни на своей машине
команда
cd ~/infra; git fetch -q gitlab; git log --oneline -12 gitlab/main; echo BROKEN=$(git show gitlab/main:app/main.py | grep -c no_such_module); echo FLASK=$(git show gitlab/main:app/main.py | grep -c Flask); git show gitlab/main:.gitlab-ci.yml | grep -E '^(smoke|scan):|trivy image|import main'; grep APP_IMAGE stand/.env; docker compose -f stand/compose.yaml ps app

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.