Provision
—— XP

Маршрут: истёкший сертификат и красный пайплайн

теория~7 минут+290 XP

Есть две поломки, которые готовятся долго, а случаются мгновенно. Сертификат — файл, который подтверждает подлинность сайта для HTTPS, — живёт ограниченный срок, обычно 90 дней у бесплатного Let's Encrypt. В день окончания браузеры показывают пользователям страшное предупреждение, хотя на сервере ничего не менялось. А красный пайплайн — упавшая сборка в CI/CD из раздела 12 — останавливает все выкаты, и чинить его надо быстро, иначе встанет вся команда.

Обе поломки пугают сильнее, чем того стоят: у каждой свой короткий маршрут. Для сертификата — узнать срок и проверить, что новый файл действительно подхвачен. Для пайплайна — прочитать лог правильно и понять, кто виноват: код, окружение или внешний сервис.

Сертификат: как выглядит поломка

Браузер пишет «Ваше подключение не защищено» и код NET::ERR_CERT_DATE_INVALID. У curl ошибка точнее. Посмотрим на учебном сайте badssl.com, где сертификат просрочен специально; флаги -sSI — без полоски загрузки, но с текстом ошибки, и только заголовки.

ubuntu@stand:~$
curl -sSI https://expired.badssl.com
curl: (60) SSL certificate problem: certificate has expired
More details here: https://curl.se/docs/sslcerts.html

Без -S экран остался бы пустым: -s глушит и сообщения об ошибках, и ты не узнал бы, что случилось. Код 60 — ошибка проверки сертификата, слой TLS. До nginx и приложения запрос не дошёл, их логи смотреть бесполезно.

Срок живого сайта показывает подробный режим curl. Флаг -v печатает ход соединения в поток ошибок, а 2>&1 направляет его в обычный вывод, чтобы grep смог отобрать строку:

ubuntu@stand:~$
curl -vI https://example.ru 2>&1 | grep expire
*  expire date: Dec 30 23:59:59 2026 GMT

Если дата через неделю — пора разбираться, почему не продлевается.

Сертификат: продление

Бесплатные сертификаты продлевает программа certbot — клиент Let's Encrypt. Она ставит таймер systemd, который дважды в сутки проверяет сроки и продлевает всё, чему осталось меньше 30 дней. Список сертификатов и их сроки:

ubuntu@stand:~$
sudo certbot certificates
  Certificate Name: example.ru
    Domains: example.ru www.example.ru
    Expiry Date: 2026-12-30 23:59:59+00:00 (VALID: 89 days)

Проверить, что продление вообще сработает, можно без изменений — флаг --dry-run делает пробный прогон:

ubuntu@stand:~$
sudo certbot renew --dry-run
Congratulations, all simulated renewals succeeded:
  /etc/letsencrypt/live/example.ru/fullchain.pem (success)

Чаще всего пробный прогон падает потому, что закрыт порт 80: Let's Encrypt проверяет владение доменом обычным HTTP-запросом, а файрвол или nginx его не пропускают. На нашем сервере так и будет: в разделе про сервер ufw пропускает только SSH, а правило для 80 мы добавили и тут же удалили. Открывается одной командой — sudo ufw allow 80/tcp.

Есть и коварный случай: certbot всё продлил, файл на диске новый, а сайт отдаёт старый. Причина в том, что nginx читает сертификат один раз, при запуске, и держит в памяти. Нужен nginx -s reload после каждого продления. Если сертификат получен командой certbot --nginx, как в разделе про nginx, certbot перечитывает nginx сам. А вот при других способах получения — например, когда nginx живёт в контейнере, как прокси стенда, — перечитывание добавляют руками флагом --deploy-hook с нужной командой. А чтобы узнавать заранее, в мониторинг из раздела 10 добавляют правило на метрику probe_ssl_earliest_cert_expiry от blackbox-exporter: «осталось меньше 14 дней».

Теперь вторая поломка.

Пайплайн: как читать лог

Задача пайплайна упала, в GitLab она красная. Главная ошибка новичка — читать лог сверху или смотреть только на последнюю строку. Последняя строка — итог, а не причина. Вот лог задачи, которая ставит зависимости Python; флаг -r у pip значит «взять список пакетов из файла»:

ubuntu@stand:~$
pip install -r requirements.txt
ERROR: Could not find a version that satisfies the requirement flask==9.9
ERROR: No matching distribution found for flask==9.9
Cleaning up project directory and file based variables
ERROR: Job failed: exit code 1

Читаем снизу вверх. Job failed: exit code 1 — задача упала, это мы и так знаем. Строкой выше — уборка, не интересно. Ещё выше — первая настоящая ошибка: версии flask==9.9 не существует. Причина найдена, и она в коде проекта, а не в CI.

Почти все причины красного пайплайна укладываются в три группы, и от группы зависит, кому чинить.

Пайплайн: кто виноват

Если понять, к какой группе относится ошибка, станет ясно, что делать: править код, чинить раннер или просто повторить.

Что в логеГруппаЧто делать
тесты упали, нет такой версии пакетакодчинит автор изменения
command not found, exit code 127окружениене тот образ у задачи или не тот раннер
no space left on deviceокружениекончилось место на раннере
переменная пустаяокружениезащищённая переменная на незащищённой ветке
toomanyrequests, timeoutвнешнеелимит Docker Hub или сеть — повторить
job is stuck, no active runnersокружениераннер выключен или теги не совпали

Возьмём вторую строку: command not found в задаче, которая вчера работала. На стенде раннер один и с исполнителем docker, поэтому чаще всего виноват образ: в image: задачи стоит образ, в котором нужной программы нет. В командах побольше бывает несколько раннеров с разными исполнителями — например, ещё shell-раннер, который выполняет команды прямо на своей машине, — и тогда задача может попасть не на тот раннер; помогают теги из раздела про CI/CD.

Кнопку Retry нажимают только для внешних причин: временный сбой сети или лимит скачиваний может пройти сам. Упавшие тесты и отсутствующая команда при повторе упадут точно так же.

Пайплайн: когда виноват раннер

Если группа — окружение, идут к раннеру. На стенде он, как и GitLab, работает контейнером gitlab-runner из ~/gitlab/compose.yaml, поэтому проверяют его командами Docker, а не systemd. Сначала — знает ли его GitLab:

ubuntu@stand:~$
docker exec gitlab-runner gitlab-runner verify
Verifying runner... is valid    runner=t3_AbCdE

is valid — раннер на связи. Тогда — что он пишет о себе. Из каталога ~/gitlab, флаг --tail 50 — пятьдесят последних строк:

ubuntu@stand:~$
docker compose logs --tail 50 runner
gitlab-runner  | Checking for jobs... received   job=41 repo_url=…
gitlab-runner  | ERROR: Job failed: no space left on device

Следующая проверка — место на диске машины командой df -h: образы сборок копятся быстро, и это одна из самых частых причин внезапно красных пайплайнов. Если раннер поставлен пакетом прямо в систему, а не контейнером, те же вопросы задают службе systemd: systemctl status gitlab-runner и journalctl -u gitlab-runner.

Последний приём — воспроизвести задачу у себя: запустить тот же образ, что указан в image: задачи, и выполнить её команды по одной. Если локально в чистом контейнере всё проходит, виноват не код, а окружение раннера.

Словарь урока

Сертификат
Файл, подтверждающий подлинность сайта для HTTPS; действует ограниченный срок. ↩ к тексту
certbot
Программа, которая получает и продлевает бесплатные сертификаты Let's Encrypt. ↩ к тексту
Пробный прогон (dry run)
Проверка действия без изменений: certbot renew --dry-run.
Раннер
Программа на машине, которая выполняет задачи пайплайна GitLab. ↩ к тексту

Что спросят на собеседовании

  • Как узнать, когда истекает сертификат сайта?
    curl -v и строка expire date, либо openssl x509 -enddate для файла на диске. В мониторинге — метрика probe_ssl_earliest_cert_expiry.
  • Сертификат продлён, а сайт отдаёт старый. В чём дело?
    Веб-сервер держит старый в памяти. Нужен reload nginx после продления. С плагином certbot --nginx это происходит само, в остальных случаях команду перечитывания вешают на --deploy-hook.
  • Пайплайн упал. Как будешь разбираться?
    Читать лог снизу вверх до первой ошибки, понять группу: код, окружение раннера или внешний сбой. Повторять только при внешнем.

Что дальше

Маршруты закончились. Дальше — как вести аварию, когда в ней участвует не один человек: роли, уровни серьёзности и общение с бизнесом.

Проверь себя+290 XPдве попытки
1
Сертификат
curl пишет «SSL certificate problem: certificate has expired». На каком слое поломка?
2
Продлили, а не работает
certbot продлил сертификат, а браузер всё ещё видит старый. Почему?
3
Пайплайн
Как читать лог упавшей задачи пайплайна?
4
Пайплайн
Когда кнопка Retry у упавшей задачи — разумный ход?
ответь на все вопросы, чтобы проверить

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.