Это последний урок раздела и шпаргалка отладки: по одной короткой команде на каждый слой запроса, коды ошибок, которые называют слой сами, и пара слов о программах, которые пригодятся позже. Возвращайся сюда, когда что-то сломалось и непонятно, с чего начать.
Все команды знакомы по своим разделам — здесь они просто собраны по порядку пути запроса. Общая шпаргалка всего курса, от Linux до Kubernetes, будет в последнем уроке итогового проекта; эта — только про поиск поломки.
Быстрая отладка: пять первых команд
Если времени нет совсем, эти пять команд за минуту отвечают, на каком этаже беда. Выполняй их из каталога стенда ~/infra/stand. Сначала две переменные, как в практиках: сертификат, которому доверяем, и адрес стенда. Без --cacert первая команда на нашем самоподписанном стенде упадёт с curl: (60) — и ты пойдёшь чинить TLS, который исправен.
CA=~/devops-lab/tls/ca.crt U=https://stand.provision.internal:8443
Флаг -I у curl — только заголовки, -sS — без полоски загрузки, но с текстом ошибки.
curl -sSI --cacert $CA $U/api/health # код и кто ответил docker compose ps -a # все ли контейнеры живы docker compose logs --tail 20 proxy # что видит прокси df -h # не кончился ли диск free -h # хватает ли памяти
Флаг -a у docker compose ps показывает и упавшие контейнеры, --tail 20 — двадцать последних строк лога, -h у df и free — понятные единицы. По ответу первой команды выбираешь, куда идти дальше: нет ответа — вниз, к имени и порту; 502 — к прокси и приложению; 503 и 500 — к логам приложения и к тому, от чего оно зависит.
Шпаргалка по слоям
Порядок тот же, что на карте из второго урока. Каждая строка — одна программа, максимум один фильтр.
getent hosts stand.provision.internal # DNS: имя → адрес nc -zv stand.provision.internal 8443 # порт открыт? sudo ss -tlnp | grep 8443 # кто слушает порт openssl x509 -enddate -noout -in ~/devops-lab/tls/stand.crt # срок docker compose exec proxy nginx -t # настройки nginx docker compose logs --tail 20 app # почему падает приложение docker compose exec db pg_isready # база жива?
Флаги здесь те же, что в практиках: -z и -v у nc — проверить без данных и напечатать итог; у ss — -t TCP, -l слушающие, -n числа, -p программа; у openssl — -enddate дата окончания, -noout без самого сертификата, -in файл; -t у nginx — проверить настройки, не применяя.
Помни ограничение nginx -t: он проверяет, что настройки написаны правильно, но не что адрес приложения в них верный, — это мы видели в практике с портом 8001.
Машина и контейнеры
Когда слои в порядке, а всё равно плохо, смотрят на ресурсы и на сами контейнеры.
sudo du -xh -d 1 /var | sort -h # кто съел диск docker compose exec proxy wget -qO- app:8000/health # прокси видит app? sudo dmesg -T | grep -i -e oom -e 'out of memory' # убивало ли ядро ps aux --sort=-%cpu | head -5 # кто ест процессор docker stats --no-stream # то же по контейнерам docker inspect -f '{{.State.ExitCode}}' provision-app-1 # код выхода
У wget флаг -q — без служебных сообщений, -O- — ответ на экран. У du флаг -x — не выходить за файловую систему, -d 1 — один уровень; -T у dmesg — понятное время, -i у grep — без учёта регистра, каждое -e — ещё одно искомое выражение; --sort=-%cpu у ps ставит прожорливых сверху; --no-stream у docker stats — один снимок вместо бесконечного обновления; -f у docker inspect достаёт одно поле.
Для кластера из разделов 16–18 — три команды:
kubectl get pods # состояние подов kubectl describe pod app-7c9f8d6b5-x2kqp # события внизу вывода kubectl logs app-7c9f8d6b5-x2kqp --previous # лог прошлого запуска
Флаг --previous — лог предыдущего, упавшего контейнера: при CrashLoopBackOff текущий часто пуст.
Коды, которые называют слой
Три вида чисел встречаются в отладке постоянно. Запомни по одной строке из каждого — остальное найдётся в уроках раздела.
| Код | Откуда | Что значит |
|---|---|---|
| curl (6) | curl | имя не нашлось — DNS |
| curl (7) refused | curl | порт закрыт, машина жива |
| curl (28) timeout | curl | ответа нет — сеть или файрвол |
| curl (60) | curl | сертификат истёк, не на то имя или ему не доверяют — забыт --cacert |
| HTTP 502 / 504 | nginx | приложение не ответило / ответило слишком поздно |
| HTTP 503 | приложение | живо, но не достало зависимость — у нас базу |
| HTTP 500 | приложение | упало внутри — его логи |
| exit 127 | контейнер | команда запуска не найдена |
| exit 137 | контейнер | убит KILL, чаще всего лимит памяти |
Возьмём строку exit 137. Если видишь её у контейнера, дальше не гадай — сразу docker inspect -f '{{.State.OOMKilled}}' с его именем: true подтвердит нехватку памяти.
Есть ещё
Здесь достаточно знать, что такое бывает и когда пригодится. htop — top с цветом и прокруткой, удобнее искать процесс глазами. ncdu — du с интерфейсом: заходишь стрелками в самый толстый каталог. mtr — ping и traceroute в одном окне, показывает, на каком узле по дороге теряются пакеты. lsof — какие файлы и порты держит процесс, им же находят удалённые, но открытые файлы. tcpdump — запись сетевых пакетов, когда надо увидеть, что реально ушло по проводу. strace — системные вызовы процесса: на чём он висит, какой файл не может открыть.
Ставь их по необходимости. Главное в отладке не число программ, а порядок: симптом, слой, одна гипотеза, одна проверка — и журнал, из которого потом получится разбор.
Что дальше
Раздел закончен. Впереди итоговый проект: всё из курса — от Linux до мониторинга и отладки — соберётся в одну систему, которую ты поднимешь, сломаешь и починишь сам.