Provision
—— XP

kubectl: смотреть и разбираться

теория~8 минут+250 XP

Первое сообщение, которое ты получишь от разработчика в работе с кластером, почти наверняка будет таким: «под не работает». Без подробностей: не работает, и всё. Разобраться — твоя задача, и начинать её с перезапуска всего подряд — худший вариант. Этот урок о том, в каком порядке задавать кластеру вопросы, чтобы за пару минут получить конкретную причину.

У kubectl больше сотни команд, но в работе почти всё время уходит на пять: посмотреть список, разобраться с одним объектом, прочитать журнал, зайти внутрь и посмотреть ленту событий. Ими джун разбирается в девяти поломках из десяти. Порядок у них как у врачебного осмотра: общий взгляд, подробная карта одного пациента, расспросы самого больного и только потом анализы изнутри.

В конце урока все пять команд сложатся в короткий порядок отладки, которым потом пользуются каждый день.

Как читается команда

Все команды собираются по одному образцу. Увидев его раз, дальше ты будешь читать их без подсказок.

  kubectl   describe   pod   web   -n provision
             │          │     │         │
             │          │     │         └── где искать
             │          │     └── имя объекта
             │          └── тип: pod, deployment, service
             └── что сделать: get, describe, logs, delete

Порядок всегда такой: что сделать → с каким типом → с каким именем → где. Имя можно опустить, тогда команда относится ко всем объектам типа. Флаг -n можно опустить тоже: ты сделал provision текущим пространством.

get — что вообще есть

Первая и самая частая команда: список объектов одного типа.

ubuntu@stand:~$
kubectl get pods
ubuntu@stand:~$
NAME    READY   STATUS             RESTARTS      AGE
web     1/1     Running            0             4m
crash   0/1     CrashLoopBackOff   5 (30s ago)   3m

Пять колонок, и по ним ставят первый диагноз. READY — дробь «готовых контейнеров из всех»: 1/1 хорошо, 0/1 — запущен, но себя готовым не считает. STATUS — состояние. RESTARTS — сколько раз контейнер перезапускали: у crash их пять, и Running бы тебя обманул, если бы ты смотрел только на статус. AGE в секундах там, где ждал часы, значит, что под недавно пересоздали.

ubuntu@stand:~$
kubectl get pods -o wide
ubuntu@stand:~$
NAME   READY   STATUS    IP           NODE
web    1/1     Running   10.42.1.7    k3d-stand-agent-0

Флаг -o задаёт формат вывода, а wide — «широкий»: добавляет адрес пода и узел. Пригождается, когда надо понять, не собрались ли все копии на одной машине.

Та же команда работает с любым типом: kubectl get deploy, kubectl get svc, kubectl get nodes. А чтобы следить за изменениями, не повторяя её, добавляют флаг -w (от watch): команда не выходит и дописывает строку при каждом изменении, выход — Ctrl+C.

describe — почему оно так

Когда список показал что-то странное, идут сюда. describe печатает про один объект всё, что о нём знает кластер.

ubuntu@stand:~$
kubectl describe pod web
ubuntu@stand:~$
Name:         web
Node:         k3d-stand-agent-0/172.18.0.4
Status:       Pending
...
Events:
  Type     Reason   Age   Message
  Normal   Pulling  40s   Pulling image "nginx:9.9.9"
  Warning  Failed   38s   Failed to pull image: not found
  Warning  BackOff  10s   Back-off pulling image "nginx:9.9.9"

Вывод длинный, читать целиком не нужно. Смотрят в самый низ, в раздел Events: там кластер записал, что делал с этим подом и почему не вышло. Здесь причина названа прямым текстом — образа с тегом 9.9.9 нет.

Это главная команда при «под не запускается». Логов в таком случае ещё нет: контейнер не стартовал, и рассказать о себе ему нечем.

logs — что сказало приложение

Когда контейнер всё-таки запустился, но ведёт себя не так, читают его вывод — тот же поток, что docker logs в разделе 07.

ubuntu@stand:~$
kubectl logs web --tail=3
ubuntu@stand:~$
10.42.0.1 - - "GET / HTTP/1.1" 200 615
10.42.0.1 - - "GET /health HTTP/1.1" 404 153
10.42.0.1 - - "GET / HTTP/1.1" 200 615

Параметр --tail оставляет последние строки, флаг -f следит за новыми, как tail -f. Но главный флаг другой.

ubuntu@stand:~$
kubectl logs crash --previous
ubuntu@stand:~$
sh: can't open 'config.sh': No such file or directory

Если контейнер упал и перезапустился, обычный logs покажет новую попытку — она только началась и почти ничего не успела написать. Причина падения осталась в прошлом запуске, и достаёт её только --previous. Без этого флага разбор падений превращается в гадание.

exec — зайти внутрь

Иногда надо посмотреть своими глазами: что в переменных окружения, лежит ли файл, отвечает ли соседний сервис.

ubuntu@stand:~$
kubectl exec -it web -- sh
ubuntu@stand:~$
# env | grep HOSTNAME
HOSTNAME=web
# exit

Флаги -i и -t вместе дают интерактивный терминал, как у docker exec. Две чёрточки -- отделяют команду для контейнера от аргументов самого kubectl. Внутри — обычная оболочка; выход — exit. В урезанных образах может не быть даже sh, и это не поломка, а так задумано ради безопасности.

События кластера

У каждого пода свои события в describe, но бывает непонятно, на какой под смотреть. Тогда читают общую ленту.

ubuntu@stand:~$
kubectl get events --sort-by=.lastTimestamp
ubuntu@stand:~$
LAST SEEN   TYPE      REASON      OBJECT      MESSAGE
3m          Normal    Scheduled   pod/crash   Successfully assigned to agent-1
2m          Normal    Started     pod/crash   Started container crash
20s         Warning   BackOff     pod/crash   Back-off restarting failed container

Параметр --sort-by упорядочивает строки по полю, здесь по времени, и свежее оказывается внизу. Колонка TYPE делит записи на Normal — так и задумано — и Warning — что-то пошло не так. Начинай с последних Warning. События хранятся около часа, поэтому вчерашнюю аварию здесь уже не найти — для этого есть логи из раздела 11.

Быстрая отладка пода

Пять команд складываются в порядок, которым разбирают любой «не работает». Запомни его как алгоритм, а не как список.

ШагКомандаНа что смотреть
1. Что вообще естьkubectl get podsSTATUS, READY и растущий RESTARTS
2. Почему не стартуетkubectl describe pod имяраздел Events внизу
3. Почему падаетkubectl logs имя --previousпоследние строки прошлого запуска
4. Что вокругkubectl get events --sort-by=.lastTimestampсвежие Warning
5. Посмотреть изнутриkubectl exec -it имя -- shпеременные, файлы, сеть

Первые два шага закрывают большую часть случаев: если под не дошёл до Running, причина почти всегда в событиях. Логи нужны, когда он стартовал и упал, а exec — когда работает, но не так.

Словарь урока

kubectl get
Список объектов типа. Флаг -o wide добавляет адрес и узел, -A — все пространства, -w — следить за изменениями.
kubectl describe
Всё об одном объекте. Главное — раздел Events внизу.
--previous
Флаг logs: журнал прошлого запуска контейнера. Единственный способ увидеть причину падения после перезапуска.
События
Дневник кластера: что он делал с объектами. Normal — штатно, Warning — что-то не вышло. Живут около часа. ↩ к тексту

Что спросят на собеседовании

  • Под не запускается. С чего начнёшь?
    kubectl get pods, чтобы увидеть статус, потом kubectl describe pod и раздел Events: там будет, почему не скачался образ или не нашлось узла.
  • Приложение падает по кругу. Как увидеть причину?
    kubectl logs с флагом --previous: обычный logs покажет новую попытку, а ошибка осталась в прошлой.
  • Чем describe отличается от get?
    get — список и сводка по колонкам, describe — всё про один объект, включая события кластера.

Что дальше

Смотреть научились. В практике ты запустишь под, сломаешь два других двумя разными способами и разберёшь каждый этими командами.

Проверь себя+250 XPдве попытки
1
Как читается команда
В каком порядке идут части команды kubectl describe pod web -n provision?
2
describe
Под висит в Pending. Где искать причину?
3
logs
Под в CrashLoopBackOff, а kubectl logs пуст. Что сделать?
4
get
У пода STATUS Running, но RESTARTS равно 14 и растёт. Что это значит?
5
События
Как читать вывод kubectl get events --sort-by=.lastTimestamp?
ответь на все вопросы, чтобы проверить

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.