Этот раздел — про отладку — поиск причины, когда что-то сломалось. Все предыдущие разделы учили собирать и запускать: Linux, сети, nginx, Docker, базы, мониторинг, CI/CD, Kubernetes. Здесь ничего нового собирать не будем. Будем учиться главному навыку дежурного — по фразе «сайт не работает» за десять минут найти, где именно и почему.
Хороший врач не назначает томографию человеку с насморком. Он расспрашивает: что болит, с какого дня, что ел, — и по ответам отсекает целые группы болезней одним вопросом. Новичок в инфраструктуре поступает наоборот: перезапускает всё подряд и надеется, что пройдёт.
Методика из этого урока делает то же, что врач: превращает отладку из угадывания в последовательность шагов. Шагов пять, и они одинаковы для сайта, пайплайна и кластера, — опытный инженер отличается не числом известных команд, а порядком, в котором он их применяет.
Пять шагов
Вся отладка укладывается в короткий цикл. Его повторяют, пока не дойдут до причины.
| Шаг | Что делаешь | Пример |
|---|---|---|
| Симптом | записываешь точно, что видно | curl отвечает 502, с 14:05, у всех |
| Слой | решаешь, где может быть поломка | 502 — между nginx и приложением |
| Гипотеза | одна догадка | контейнер приложения не работает |
| Проверка | одна короткая команда | docker compose ps |
| Вывод | подтвердилось или нет | app в состоянии exited — да |
Посмотри на последнюю строку: вывод либо подтверждает гипотезу, и ты идёшь глубже — почему контейнер остановился, — либо опровергает, и ты берёшь следующую. Опровергнутая гипотеза — тоже результат: целый слой больше не надо проверять.
Начинается всё с первого шага, и его чаще всего делают плохо.
Точный симптом
«Не работает» — не симптом. Симптом — то, что можно проверить командой и повторить. Перед любым поиском ответь себе на четыре вопроса: что именно видно (код ответа, текст ошибки), с какого времени, у кого (у всех или у одного пользователя) и где (одна страница или весь сайт).
Ответ «502 на все страницы с 14:05 у всех» уже почти называет слой. Ответ «у одного клиента не открывается главная» ведёт совсем в другую сторону — к его сети, его DNS или его браузеру.
Сразу за симптомом идёт вопрос, который экономит больше всего времени.
Что менялось
Большинство аварий случается не на ровном месте, а после изменения. Выкатили новую версию, поправили настройку nginx, истёк сертификат, закончился диск, который заполнялся месяц. Поэтому вторым вопросом спрашивают: что менялось перед тем, как сломалось?
Ответ часто виден одной командой. Колонка CREATED у docker ps показывает, какой контейнер пересоздан недавно:
docker ps CONTAINER ID IMAGE CREATED STATUS NAMES 3f9a2c81e4b7 provision-app:1.2.0 12 minutes ago Up 12 minutes provision-app-1 b81c0d2e7a44 postgres:17 3 days ago Up 3 days provision-db-1
Приложение пересоздано двенадцать минут назад, а база стоит три дня. Если ошибки начались двенадцать минут назад — первая гипотеза очевидна. История правок инфраструктуры лежит в Git, флаг --oneline печатает по строке на коммит:
git -C ~/infra log --oneline -3 a1c9e02 nginx: таймаут апстрима 3s 7d2b4f1 stand: версия приложения 1.2.0 e05a8c3 monitoring: правило StandDown
Флаг -C запускает Git в указанном каталоге, а -3 оставляет три последних коммита. Обрати внимание: вопрос «что менялось» — про систему, а не «кто трогал». Это пригодится в уроке про разбор инцидентов.
Когда изменение найдено, хочется поправить всё сразу. Вот здесь главная ловушка.
Одна гипотеза — одна проверка
Новичок, увидев проблему, меняет три вещи подряд: перезапускает контейнер, правит таймаут и чистит кеш. Сайт заработал — но что из трёх помогло, неизвестно. Причина не найдена, две лишние правки остались в системе, и через неделю всё повторится.
Правило простое: одна догадка, одна короткая команда для проверки, одна правка за раз. Команда должна отвечать «да» или «нет»: docker compose ps — работает ли контейнер, curl -I — какой код ответа. Длинная цепочка из пяти команд через трубы отвечает на пять вопросов сразу, и при ошибке непонятно, какое звено упало.
Если не знаешь, с чего начать, помогают два чек-листа из раздела про мониторинг. USE — для ресурсов машины: загрузка, насыщение, ошибки процессора, памяти, диска, сети. RED — для сервиса: частота запросов, доля ошибок, время ответа. Пройти по ним — пять минут, и узкое место обычно находится само.
Есть ещё одно правило, которое важнее поиска причины.
Сначала восстановить
Пока ты ищешь причину, пользователи видят ошибку. Поэтому в бою сначала восстанавливают работу самым быстрым безопасным способом — откатывают выкат, возвращают старую настройку, переключают на резерв, — а причину ищут потом, без спешки.
Чтобы было что искать, всё записывают по ходу: время, команду, что она показала. Это и есть хронология инцидента, из неё потом пишется разбор. И важно не стереть следы: перезапуск «на всякий случай» убивает процесс вместе с его состоянием, а пересоздание контейнера — вместе с его логами.
Словарь урока
Что спросят на собеседовании
- Тебе пишут: сайт не работает. Твои действия?Уточнить симптом: что видно, с какого времени, у всех ли. Спросить, что менялось. Дальше идти по слоям запроса от имени до базы, проверяя по одной гипотезе.
- Зачем откатывать, если причина ещё не найдена?Чтобы пользователи перестали страдать. Причину ищут потом, по записанным следам.
- Почему нельзя просто перезапустить всё?Перезапуск стирает состояние, по которому ищется причина, и не гарантирует, что поломка не вернётся.
Что дальше
Шаг «слой» требует знать, из каких слоёв состоит запрос. Этому посвящён следующий урок — карта пути запроса от имени до базы.