Первое, что хочется сделать с падающим контейнером, — перезапустить его ещё раз. Не поможет: Docker и Kubernetes уже делают это за тебя, раз за разом, и каждый раз контейнер умирает той же смертью. Причину надо искать в том, как он умер, — в коде выхода, логах прошлого запуска и событиях.
В Docker такой контейнер виден как Restarting в колонке статуса, в Kubernetes — как CrashLoopBackOff, «падение по кругу с паузой». Есть и обратная беда, только в Kubernetes: под не запускается вовсе и висит в состоянии Pending — «ожидает», чаще всего потому, что ему не нашлось подходящего узла. Обе встречаются в первые недели работы с контейнерами постоянно, и в уроке разберёшь, как читать каждую.
Перезапуск по кругу в Docker
Признак виден в docker ps — колонка STATUS. Флаг --filter оставляет контейнеры с подходящим именем.
docker ps --filter name=app CONTAINER ID IMAGE STATUS NAMES 3f9a2c81e4b7 provision-app:1.2.0 Restarting (1) 4 seconds ago provision-app-1
Restarting (1) — контейнер перезапускается, а в скобках код, с которым он умер в последний раз. Политика restart: unless-stopped из раздела про Compose честно поднимает его снова и снова, но причину это не устраняет.
Дальше — логи. Флаг --tail 20 у docker logs покажет двадцать последних строк, включая строки предыдущих запусков: Docker хранит их вместе.
docker logs --tail 20 provision-app-1 Traceback (most recent call last): File "/app/main.py", line 4, in <module> KeyError: 'DATABASE_URL'
Приложение не нашло переменную окружения DATABASE_URL и упало при старте. Это самая частая причина: при выкате забыли переменную, файл .env или секрет.
Бывает, что лог пуст, — например, не нашлась сама программа запуска. Тогда подсказывает код выхода.
Коды выхода
Число в скобках после Restarting или Exited — код выхода: что процесс сообщил системе, умирая. Ноль значит «всё хорошо», остальное — разные беды.
Два кода из таблицы связаны с сигналами — короткими сообщениями, которые ядро передаёт процессу. TERM — вежливая просьба «заверши работу»: её шлёт docker stop и выкат новой версии, и программа может доделать запросы и выйти сама. KILL — приказ, который процесс не может ни перехватить, ни отложить: ядро просто прекращает его. docker stop ждёт после TERM десять секунд и, если процесс не ушёл, шлёт KILL. Когда процесс убит сигналом, код выхода — 128 плюс номер сигнала: у TERM номер 15, отсюда 143, у KILL номер 9, отсюда 137.
| Код | Что значит | Куда смотреть |
|---|---|---|
| 0 | завершился штатно | так задумано? или его остановили, и он ушёл аккуратно |
| 1 | ошибка в самой программе | логи контейнера |
| 126 и 127 | команда не запускается или не найдена | CMD и ENTRYPOINT в Dockerfile |
| 137 | убит сигналом KILL | лимит памяти, OOMKilled |
| 143 | убит сигналом TERM — программа его не обработала | кто-то остановил: выкат, docker stop |
Обрати внимание на первую и последнюю строки. Программа, которая умеет обрабатывать TERM, на docker stop выходит сама и с кодом 0 — так делает gunicorn на стенде, ты увидишь Exited (0) в практике про 502. Код 143 бывает у тех, кто TERM не обработал. Поэтому 0 у сервиса — не всегда загадка: сначала спроси, не останавливали ли его.
Возьмём третью строку. 127 часто появляется после смены базового образа: в новом нет bash или curl, а команда запуска на них опирается. Логов при этом нет вовсе — программа не успела начаться. Проверить можно, запустив образ с оболочкой и поискав нужную программу руками.
Код последнего выхода и число перезапусков можно достать из описания контейнера флагом -f:
docker inspect -f '{{.RestartCount}}' provision-app-1 14
Четырнадцать перезапусков — контейнер давно в цикле. Число растёт с каждой попыткой.
CrashLoopBackOff в Kubernetes
В Kubernetes то же самое называется CrashLoopBackOff. Под создан, образ скачан, контейнер запустился — и упал. kubelet, агент Kubernetes на узле, перезапускает его с растущей паузой: 10 секунд, 20, 40 и так до пяти минут. Отсюда BackOff — «отступ».
kubectl get pods NAME READY STATUS RESTARTS AGE app-7c9f8d6b5-x2kqp 0/1 CrashLoopBackOff 6 (90s ago) 8m
READY 0/1 — ни один контейнер пода не готов, RESTARTS 6 — шесть перезапусков, последний полторы минуты назад. Логи текущего контейнера часто пусты: он только что стартовал или ждёт паузу. Причину хранит лог прошлого запуска — флаг --previous:
kubectl logs app-7c9f8d6b5-x2kqp --previous KeyError: 'DATABASE_URL'
Та же ошибка, что в Docker. Если и прошлый лог пуст, открывай описание пода — kubectl describe pod, — там в разделе Last State будут код выхода и причина, например Reason: OOMKilled.
Pending
Pending — под принят кластером, но не запущен ни на одном узле. Контейнер ещё не стартовал, поэтому логов нет совсем, и kubectl logs бесполезен. Причину пишет планировщик — часть Kubernetes, которая выбирает узел для пода, — в событиях пода. Они в самом конце вывода kubectl describe:
kubectl describe pod app-7c9f8d6b5-x2kqp ... Events: Type Reason Message Warning FailedScheduling 0/1 nodes are available: 1 Insufficient memory.
Читать так: узлов один, ни один не подошёл, потому что не хватает памяти под запрос пода. Частых причин четыре.
Похожие состояния — ImagePullBackOff и ErrImagePull: узел не может скачать образ. Почти всегда это опечатка в имени или теге образа либо закрытый реестр без пароля; точный текст ошибки — тоже в событиях. Все события пространства имён по порядку покажет kubectl get events --sort-by=.lastTimestamp.
Словарь урока
Что спросят на собеседовании
- Под в CrashLoopBackOff. Твои действия?kubectl logs --previous — почему упал прошлый запуск. Если пусто — kubectl describe pod: Last State, код выхода, OOMKilled. Дальше переменные, секреты, команда запуска.
- Чем Pending отличается от CrashLoopBackOff?В Pending контейнер ещё не запускался — смотрят события планировщика. В CrashLoopBackOff запускался и падает — смотрят логи и код выхода.
- Что значит код выхода 137?Процесс убит сигналом KILL. У контейнера чаще всего это лимит памяти, OOMKilled.
Что дальше
В практике устроим три поломки руками: заполним кусок диска, упрёмся в лимит памяти и запустим контейнер, который падает по кругу.