Provision
—— XP

Инструменты: шпаргалка отладки

теория~6 минут+290 XP

Это последний урок раздела и шпаргалка отладки: по одной короткой команде на каждый слой запроса, коды ошибок, которые называют слой сами, и пара слов о программах, которые пригодятся позже. Возвращайся сюда, когда что-то сломалось и непонятно, с чего начать.

Все команды знакомы по своим разделам — здесь они просто собраны по порядку пути запроса. Общая шпаргалка всего курса, от Linux до Kubernetes, будет в последнем уроке итогового проекта; эта — только про поиск поломки.

Быстрая отладка: пять первых команд

Если времени нет совсем, эти пять команд за минуту отвечают, на каком этаже беда. Выполняй их из каталога стенда ~/infra/stand. Сначала две переменные, как в практиках: сертификат, которому доверяем, и адрес стенда. Без --cacert первая команда на нашем самоподписанном стенде упадёт с curl: (60) — и ты пойдёшь чинить TLS, который исправен.

ubuntu@stand:~$
CA=~/devops-lab/tls/ca.crt
U=https://stand.provision.internal:8443

Флаг -I у curl — только заголовки, -sS — без полоски загрузки, но с текстом ошибки.

ubuntu@stand:~$
curl -sSI --cacert $CA $U/api/health   # код и кто ответил
docker compose ps -a                  # все ли контейнеры живы
docker compose logs --tail 20 proxy    # что видит прокси
df -h                                  # не кончился ли диск
free -h                                # хватает ли памяти

Флаг -a у docker compose ps показывает и упавшие контейнеры, --tail 20 — двадцать последних строк лога, -h у df и free — понятные единицы. По ответу первой команды выбираешь, куда идти дальше: нет ответа — вниз, к имени и порту; 502 — к прокси и приложению; 503 и 500 — к логам приложения и к тому, от чего оно зависит.

Шпаргалка по слоям

Порядок тот же, что на карте из второго урока. Каждая строка — одна программа, максимум один фильтр.

ubuntu@stand:~$
getent hosts stand.provision.internal     # DNS: имя → адрес
nc -zv stand.provision.internal 8443      # порт открыт?
sudo ss -tlnp | grep 8443              # кто слушает порт
openssl x509 -enddate -noout -in ~/devops-lab/tls/stand.crt  # срок
docker compose exec proxy nginx -t     # настройки nginx
docker compose logs --tail 20 app      # почему падает приложение
docker compose exec db pg_isready      # база жива?

Флаги здесь те же, что в практиках: -z и -v у nc — проверить без данных и напечатать итог; у ss — -t TCP, -l слушающие, -n числа, -p программа; у openssl — -enddate дата окончания, -noout без самого сертификата, -in файл; -t у nginx — проверить настройки, не применяя.

Помни ограничение nginx -t: он проверяет, что настройки написаны правильно, но не что адрес приложения в них верный, — это мы видели в практике с портом 8001.

Машина и контейнеры

Когда слои в порядке, а всё равно плохо, смотрят на ресурсы и на сами контейнеры.

ubuntu@stand:~$
sudo du -xh -d 1 /var | sort -h        # кто съел диск
docker compose exec proxy wget -qO- app:8000/health   # прокси видит app?
sudo dmesg -T | grep -i -e oom -e 'out of memory'   # убивало ли ядро
ps aux --sort=-%cpu | head -5          # кто ест процессор
docker stats --no-stream               # то же по контейнерам
docker inspect -f '{{.State.ExitCode}}' provision-app-1   # код выхода

У wget флаг -q — без служебных сообщений, -O- — ответ на экран. У du флаг -x — не выходить за файловую систему, -d 1 — один уровень; -T у dmesg — понятное время, -i у grep — без учёта регистра, каждое -e — ещё одно искомое выражение; --sort=-%cpu у ps ставит прожорливых сверху; --no-stream у docker stats — один снимок вместо бесконечного обновления; -f у docker inspect достаёт одно поле.

Для кластера из разделов 16–18 — три команды:

ubuntu@stand:~$
kubectl get pods                       # состояние подов
kubectl describe pod app-7c9f8d6b5-x2kqp   # события внизу вывода
kubectl logs app-7c9f8d6b5-x2kqp --previous   # лог прошлого запуска

Флаг --previous — лог предыдущего, упавшего контейнера: при CrashLoopBackOff текущий часто пуст.

Коды, которые называют слой

Три вида чисел встречаются в отладке постоянно. Запомни по одной строке из каждого — остальное найдётся в уроках раздела.

КодОткудаЧто значит
curl (6)curlимя не нашлось — DNS
curl (7) refusedcurlпорт закрыт, машина жива
curl (28) timeoutcurlответа нет — сеть или файрвол
curl (60)curlсертификат истёк, не на то имя или ему не доверяют — забыт --cacert
HTTP 502 / 504nginxприложение не ответило / ответило слишком поздно
HTTP 503приложениеживо, но не достало зависимость — у нас базу
HTTP 500приложениеупало внутри — его логи
exit 127контейнеркоманда запуска не найдена
exit 137контейнерубит KILL, чаще всего лимит памяти

Возьмём строку exit 137. Если видишь её у контейнера, дальше не гадай — сразу docker inspect -f '{{.State.OOMKilled}}' с его именем: true подтвердит нехватку памяти.

Есть ещё

Здесь достаточно знать, что такое бывает и когда пригодится. htop — top с цветом и прокруткой, удобнее искать процесс глазами. ncdu — du с интерфейсом: заходишь стрелками в самый толстый каталог. mtr — ping и traceroute в одном окне, показывает, на каком узле по дороге теряются пакеты. lsof — какие файлы и порты держит процесс, им же находят удалённые, но открытые файлы. tcpdump — запись сетевых пакетов, когда надо увидеть, что реально ушло по проводу. strace — системные вызовы процесса: на чём он висит, какой файл не может открыть.

Ставь их по необходимости. Главное в отладке не число программ, а порядок: симптом, слой, одна гипотеза, одна проверка — и журнал, из которого потом получится разбор.

Что дальше

Раздел закончен. Впереди итоговый проект: всё из курса — от Linux до мониторинга и отладки — соберётся в одну систему, которую ты поднимешь, сломаешь и починишь сам.

Проверь себя+290 XPдве попытки
1
Шпаргалка по слоям
Какой командой проверяют, принимает ли PostgreSQL соединения?
2
Есть ещё
Чем удобна программа ncdu?
3
Как пользоваться
Ошибка ничего не подсказывает. В каком порядке идти по шпаргалке?
ответь на все вопросы, чтобы проверить

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.