Есть две поломки, которые готовятся долго, а случаются мгновенно. Сертификат — файл, который подтверждает подлинность сайта для HTTPS, — живёт ограниченный срок, обычно 90 дней у бесплатного Let's Encrypt. В день окончания браузеры показывают пользователям страшное предупреждение, хотя на сервере ничего не менялось. А красный пайплайн — упавшая сборка в CI/CD из раздела 12 — останавливает все выкаты, и чинить его надо быстро, иначе встанет вся команда.
Обе поломки пугают сильнее, чем того стоят: у каждой свой короткий маршрут. Для сертификата — узнать срок и проверить, что новый файл действительно подхвачен. Для пайплайна — прочитать лог правильно и понять, кто виноват: код, окружение или внешний сервис.
Сертификат: как выглядит поломка
Браузер пишет «Ваше подключение не защищено» и код NET::ERR_CERT_DATE_INVALID. У curl ошибка точнее. Посмотрим на учебном сайте badssl.com, где сертификат просрочен специально; флаги -sSI — без полоски загрузки, но с текстом ошибки, и только заголовки.
curl -sSI https://expired.badssl.com curl: (60) SSL certificate problem: certificate has expired More details here: https://curl.se/docs/sslcerts.html
Без -S экран остался бы пустым: -s глушит и сообщения об ошибках, и ты не узнал бы, что случилось. Код 60 — ошибка проверки сертификата, слой TLS. До nginx и приложения запрос не дошёл, их логи смотреть бесполезно.
Срок живого сайта показывает подробный режим curl. Флаг -v печатает ход соединения в поток ошибок, а 2>&1 направляет его в обычный вывод, чтобы grep смог отобрать строку:
curl -vI https://example.ru 2>&1 | grep expire * expire date: Dec 30 23:59:59 2026 GMT
Если дата через неделю — пора разбираться, почему не продлевается.
Сертификат: продление
Бесплатные сертификаты продлевает программа certbot — клиент Let's Encrypt. Она ставит таймер systemd, который дважды в сутки проверяет сроки и продлевает всё, чему осталось меньше 30 дней. Список сертификатов и их сроки:
sudo certbot certificates Certificate Name: example.ru Domains: example.ru www.example.ru Expiry Date: 2026-12-30 23:59:59+00:00 (VALID: 89 days)
Проверить, что продление вообще сработает, можно без изменений — флаг --dry-run делает пробный прогон:
sudo certbot renew --dry-run Congratulations, all simulated renewals succeeded: /etc/letsencrypt/live/example.ru/fullchain.pem (success)
Чаще всего пробный прогон падает потому, что закрыт порт 80: Let's Encrypt проверяет владение доменом обычным HTTP-запросом, а файрвол или nginx его не пропускают. На нашем сервере так и будет: в разделе про сервер ufw пропускает только SSH, а правило для 80 мы добавили и тут же удалили. Открывается одной командой — sudo ufw allow 80/tcp.
Есть и коварный случай: certbot всё продлил, файл на диске новый, а сайт отдаёт старый. Причина в том, что nginx читает сертификат один раз, при запуске, и держит в памяти. Нужен nginx -s reload после каждого продления. Если сертификат получен командой certbot --nginx, как в разделе про nginx, certbot перечитывает nginx сам. А вот при других способах получения — например, когда nginx живёт в контейнере, как прокси стенда, — перечитывание добавляют руками флагом --deploy-hook с нужной командой. А чтобы узнавать заранее, в мониторинг из раздела 10 добавляют правило на метрику probe_ssl_earliest_cert_expiry от blackbox-exporter: «осталось меньше 14 дней».
Теперь вторая поломка.
Пайплайн: как читать лог
Задача пайплайна упала, в GitLab она красная. Главная ошибка новичка — читать лог сверху или смотреть только на последнюю строку. Последняя строка — итог, а не причина. Вот лог задачи, которая ставит зависимости Python; флаг -r у pip значит «взять список пакетов из файла»:
pip install -r requirements.txt ERROR: Could not find a version that satisfies the requirement flask==9.9 ERROR: No matching distribution found for flask==9.9 Cleaning up project directory and file based variables ERROR: Job failed: exit code 1
Читаем снизу вверх. Job failed: exit code 1 — задача упала, это мы и так знаем. Строкой выше — уборка, не интересно. Ещё выше — первая настоящая ошибка: версии flask==9.9 не существует. Причина найдена, и она в коде проекта, а не в CI.
Почти все причины красного пайплайна укладываются в три группы, и от группы зависит, кому чинить.
Пайплайн: кто виноват
Если понять, к какой группе относится ошибка, станет ясно, что делать: править код, чинить раннер или просто повторить.
| Что в логе | Группа | Что делать |
|---|---|---|
| тесты упали, нет такой версии пакета | код | чинит автор изменения |
| command not found, exit code 127 | окружение | не тот образ у задачи или не тот раннер |
| no space left on device | окружение | кончилось место на раннере |
| переменная пустая | окружение | защищённая переменная на незащищённой ветке |
| toomanyrequests, timeout | внешнее | лимит Docker Hub или сеть — повторить |
| job is stuck, no active runners | окружение | раннер выключен или теги не совпали |
Возьмём вторую строку: command not found в задаче, которая вчера работала. На стенде раннер один и с исполнителем docker, поэтому чаще всего виноват образ: в image: задачи стоит образ, в котором нужной программы нет. В командах побольше бывает несколько раннеров с разными исполнителями — например, ещё shell-раннер, который выполняет команды прямо на своей машине, — и тогда задача может попасть не на тот раннер; помогают теги из раздела про CI/CD.
Кнопку Retry нажимают только для внешних причин: временный сбой сети или лимит скачиваний может пройти сам. Упавшие тесты и отсутствующая команда при повторе упадут точно так же.
Пайплайн: когда виноват раннер
Если группа — окружение, идут к раннеру. На стенде он, как и GitLab, работает контейнером gitlab-runner из ~/gitlab/compose.yaml, поэтому проверяют его командами Docker, а не systemd. Сначала — знает ли его GitLab:
docker exec gitlab-runner gitlab-runner verify Verifying runner... is valid runner=t3_AbCdE
is valid — раннер на связи. Тогда — что он пишет о себе. Из каталога ~/gitlab, флаг --tail 50 — пятьдесят последних строк:
docker compose logs --tail 50 runner gitlab-runner | Checking for jobs... received job=41 repo_url=… gitlab-runner | ERROR: Job failed: no space left on device
Следующая проверка — место на диске машины командой df -h: образы сборок копятся быстро, и это одна из самых частых причин внезапно красных пайплайнов. Если раннер поставлен пакетом прямо в систему, а не контейнером, те же вопросы задают службе systemd: systemctl status gitlab-runner и journalctl -u gitlab-runner.
Последний приём — воспроизвести задачу у себя: запустить тот же образ, что указан в image: задачи, и выполнить её команды по одной. Если локально в чистом контейнере всё проходит, виноват не код, а окружение раннера.
Словарь урока
Что спросят на собеседовании
- Как узнать, когда истекает сертификат сайта?curl -v и строка expire date, либо openssl x509 -enddate для файла на диске. В мониторинге — метрика probe_ssl_earliest_cert_expiry.
- Сертификат продлён, а сайт отдаёт старый. В чём дело?Веб-сервер держит старый в памяти. Нужен reload nginx после продления. С плагином certbot --nginx это происходит само, в остальных случаях команду перечитывания вешают на --deploy-hook.
- Пайплайн упал. Как будешь разбираться?Читать лог снизу вверх до первой ошибки, понять группу: код, окружение раннера или внешний сбой. Повторять только при внешнем.
Что дальше
Маршруты закончились. Дальше — как вести аварию, когда в ней участвует не один человек: роли, уровни серьёзности и общение с бизнесом.