Provision
—— XP

Маршрут: перезапуск по кругу, CrashLoopBackOff и Pending

теория~7 минут+290 XP

Первое, что хочется сделать с падающим контейнером, — перезапустить его ещё раз. Не поможет: Docker и Kubernetes уже делают это за тебя, раз за разом, и каждый раз контейнер умирает той же смертью. Причину надо искать в том, как он умер, — в коде выхода, логах прошлого запуска и событиях.

В Docker такой контейнер виден как Restarting в колонке статуса, в Kubernetes — как CrashLoopBackOff, «падение по кругу с паузой». Есть и обратная беда, только в Kubernetes: под не запускается вовсе и висит в состоянии Pending — «ожидает», чаще всего потому, что ему не нашлось подходящего узла. Обе встречаются в первые недели работы с контейнерами постоянно, и в уроке разберёшь, как читать каждую.

Перезапуск по кругу в Docker

Признак виден в docker ps — колонка STATUS. Флаг --filter оставляет контейнеры с подходящим именем.

ubuntu@stand:~$
docker ps --filter name=app
CONTAINER ID   IMAGE                 STATUS                         NAMES
3f9a2c81e4b7   provision-app:1.2.0   Restarting (1) 4 seconds ago   provision-app-1

Restarting (1) — контейнер перезапускается, а в скобках код, с которым он умер в последний раз. Политика restart: unless-stopped из раздела про Compose честно поднимает его снова и снова, но причину это не устраняет.

Дальше — логи. Флаг --tail 20 у docker logs покажет двадцать последних строк, включая строки предыдущих запусков: Docker хранит их вместе.

ubuntu@stand:~$
docker logs --tail 20 provision-app-1
Traceback (most recent call last):
  File "/app/main.py", line 4, in <module>
KeyError: 'DATABASE_URL'

Приложение не нашло переменную окружения DATABASE_URL и упало при старте. Это самая частая причина: при выкате забыли переменную, файл .env или секрет.

Бывает, что лог пуст, — например, не нашлась сама программа запуска. Тогда подсказывает код выхода.

Коды выхода

Число в скобках после Restarting или Exited — код выхода: что процесс сообщил системе, умирая. Ноль значит «всё хорошо», остальное — разные беды.

Два кода из таблицы связаны с сигналами — короткими сообщениями, которые ядро передаёт процессу. TERM — вежливая просьба «заверши работу»: её шлёт docker stop и выкат новой версии, и программа может доделать запросы и выйти сама. KILL — приказ, который процесс не может ни перехватить, ни отложить: ядро просто прекращает его. docker stop ждёт после TERM десять секунд и, если процесс не ушёл, шлёт KILL. Когда процесс убит сигналом, код выхода — 128 плюс номер сигнала: у TERM номер 15, отсюда 143, у KILL номер 9, отсюда 137.

КодЧто значитКуда смотреть
0завершился штатнотак задумано? или его остановили, и он ушёл аккуратно
1ошибка в самой программелоги контейнера
126 и 127команда не запускается или не найденаCMD и ENTRYPOINT в Dockerfile
137убит сигналом KILLлимит памяти, OOMKilled
143убит сигналом TERM — программа его не обработалакто-то остановил: выкат, docker stop

Обрати внимание на первую и последнюю строки. Программа, которая умеет обрабатывать TERM, на docker stop выходит сама и с кодом 0 — так делает gunicorn на стенде, ты увидишь Exited (0) в практике про 502. Код 143 бывает у тех, кто TERM не обработал. Поэтому 0 у сервиса — не всегда загадка: сначала спроси, не останавливали ли его.

Возьмём третью строку. 127 часто появляется после смены базового образа: в новом нет bash или curl, а команда запуска на них опирается. Логов при этом нет вовсе — программа не успела начаться. Проверить можно, запустив образ с оболочкой и поискав нужную программу руками.

Код последнего выхода и число перезапусков можно достать из описания контейнера флагом -f:

ubuntu@stand:~$
docker inspect -f '{{.RestartCount}}' provision-app-1
14

Четырнадцать перезапусков — контейнер давно в цикле. Число растёт с каждой попыткой.

CrashLoopBackOff в Kubernetes

В Kubernetes то же самое называется CrashLoopBackOff. Под создан, образ скачан, контейнер запустился — и упал. kubelet, агент Kubernetes на узле, перезапускает его с растущей паузой: 10 секунд, 20, 40 и так до пяти минут. Отсюда BackOff — «отступ».

ubuntu@stand:~$
kubectl get pods
NAME                   READY   STATUS             RESTARTS      AGE
app-7c9f8d6b5-x2kqp    0/1     CrashLoopBackOff   6 (90s ago)   8m

READY 0/1 — ни один контейнер пода не готов, RESTARTS 6 — шесть перезапусков, последний полторы минуты назад. Логи текущего контейнера часто пусты: он только что стартовал или ждёт паузу. Причину хранит лог прошлого запуска — флаг --previous:

ubuntu@stand:~$
kubectl logs app-7c9f8d6b5-x2kqp --previous
KeyError: 'DATABASE_URL'

Та же ошибка, что в Docker. Если и прошлый лог пуст, открывай описание пода — kubectl describe pod, — там в разделе Last State будут код выхода и причина, например Reason: OOMKilled.

Pending

Pending — под принят кластером, но не запущен ни на одном узле. Контейнер ещё не стартовал, поэтому логов нет совсем, и kubectl logs бесполезен. Причину пишет планировщик — часть Kubernetes, которая выбирает узел для пода, — в событиях пода. Они в самом конце вывода kubectl describe:

ubuntu@stand:~$
kubectl describe pod app-7c9f8d6b5-x2kqp
...
Events:
  Type     Reason            Message
  Warning  FailedScheduling  0/1 nodes are available: 1 Insufficient memory.

Читать так: узлов один, ни один не подошёл, потому что не хватает памяти под запрос пода. Частых причин четыре.

Почему под висит в Pending
Insufficient cpu или memory
В requests пода больше, чем свободно на узлах. Уменьшить requests или добавить узел.
unbound PersistentVolumeClaims
Под ждёт диск, а заявка на том не выполнена: нет подходящего класса хранилища.
node(s) had untolerated taint
Узел помечен «не для всех», а под этой метки не допускает.
didn't match node selector
Под просит узел с меткой, которой нет ни у одного узла.

Похожие состояния — ImagePullBackOff и ErrImagePull: узел не может скачать образ. Почти всегда это опечатка в имени или теге образа либо закрытый реестр без пароля; точный текст ошибки — тоже в событиях. Все события пространства имён по порядку покажет kubectl get events --sort-by=.lastTimestamp.

Словарь урока

Код выхода
Число, которое процесс сообщает системе при завершении: 0 — успех, остальное — ошибка. ↩ к тексту
CrashLoopBackOff
Контейнер в поде падает и перезапускается с растущей паузой. ↩ к тексту
Pending
Под принят кластером, но ещё не запущен ни на одном узле. ↩ к тексту
Событие (event)
Запись Kubernetes о том, что произошло с объектом: не нашлось места, не скачался образ.
kubelet
Агент Kubernetes на каждом узле: запускает контейнеры и перезапускает упавшие. ↩ к тексту

Что спросят на собеседовании

  • Под в CrashLoopBackOff. Твои действия?
    kubectl logs --previous — почему упал прошлый запуск. Если пусто — kubectl describe pod: Last State, код выхода, OOMKilled. Дальше переменные, секреты, команда запуска.
  • Чем Pending отличается от CrashLoopBackOff?
    В Pending контейнер ещё не запускался — смотрят события планировщика. В CrashLoopBackOff запускался и падает — смотрят логи и код выхода.
  • Что значит код выхода 137?
    Процесс убит сигналом KILL. У контейнера чаще всего это лимит памяти, OOMKilled.

Что дальше

В практике устроим три поломки руками: заполним кусок диска, упрёмся в лимит памяти и запустим контейнер, который падает по кругу.

Проверь себя+290 XPдве попытки
1
Коды выхода
Контейнер завершается с кодом 127. Что это обычно значит?
2
CrashLoopBackOff
Под в CrashLoopBackOff, kubectl logs пуст. Что сделать?
3
Pending
Под висит в Pending. Где искать причину?
4
CrashLoopBackOff
Что значит слово BackOff в CrashLoopBackOff?
ответь на все вопросы, чтобы проверить

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.