«У нас ничего не менялось» — честный ответ разработчиков, когда сервис вдруг начал падать или тормозить. Код тот же, настройки те же, а причина ниже: кончился ресурс машины — место на диске, оперативная память или время процессора. В логах nginx и приложения такая поломка часто не видна вовсе.
У каждой из трёх бед свой симптом, и каждая проверяется одной-двумя короткими командами. По сути это чек-лист USE из раздела про мониторинг — загрузка, насыщение, ошибки, — только применённый руками. Подробная шпаргалка по всем утилитам Linux есть в статье RUVDS на Хабре, а нам хватит шести команд.
Диск
Заполненный диск выглядит по-разному: база перестаёт принимать записи, Docker не может собрать образ, а в логе приложения появляется No space left on device. Первая команда всегда одна — сколько занято на каждой файловой системе. Флаг -h печатает размеры в гигабайтах, а не в блоках.
df -h Filesystem Size Used Avail Use% Mounted on /dev/sda2 39G 39G 0 100% / /dev/sda1 974M 180M 727M 20% /boot
Смотри на колонку Use%: на корне / 100%, свободно ноль. Теперь вопрос — чем занято. du считает размер каталогов; флаг -x не выходит за пределы этой файловой системы, -h — понятные единицы, -d 1 — только первый уровень вложенности. sort -h упорядочит строки по размеру.
sudo du -xh -d 1 /var | sort -h 120M /var/cache 2.1G /var/log 31G /var/lib 33G /var
Больше всех /var/lib. Повтори ту же команду для него — и так спускайся, пока не найдёшь виновника. Три самых частых:
Последняя строка — ловушка: du такой файл уже не видит, а df продолжает показывать 100%. Помогает перезапуск процесса, который держит файл. Бывает и редкий случай — место есть, но кончились иноды, записи о файлах; его показывает df -i, обычно виноваты миллионы мелких файлов в одном каталоге.
Диск: как освободить
Нашёл виновника — дальше надо освободить место, не сломав сервис. У каждого из трёх случаев свой безопасный приём.
Docker. Команда docker system prune удаляет остановленные контейнеры, образы без имени и кеш сборки — всё, чем никто не пользуется. Перед удалением она перечислит, что уберёт, и спросит подтверждение. Тома с данными она не трогает.
docker system prune WARNING! This will remove: - all stopped containers - all networks not used by at least one container - all dangling images - unused build cache Are you sure you want to continue? [y/N] y Total reclaimed space: 2.7GB
Журнал systemd. Его ужимают до заданного размера: флаг --vacuum-size удаляет старые архивные файлы журнала, пока не останется, сколько сказано.
sudo journalctl --vacuum-size=200M Vacuuming done, freed 1.4G of archived journals from /var/log/journal/4f1c….
Выше итоговой строки команда перечислит удалённые файлы; главное — сколько освобождено.
Живой лог, в который процесс прямо сейчас пишет. Его не удаляют, а обнуляют: truncate -s 0 делает размер файла нулевым, файл остаётся на месте, и процесс продолжает писать в него же. Удаление через rm здесь и создаёт ловушку с открытым файлом из таблицы выше.
sudo truncate -s 0 /var/log/app/big.logС диском разобрались. Память ломается тише, но опаснее.
Память
Когда памяти не хватает всем, ядро Linux выбирает процесс и убивает его, чтобы спасти остальных. Этот механизм называется OOM killer (out of memory — память кончилась). Для сервиса это выглядит как внезапное падение без единой строки ошибки в его собственном логе.
Сначала общая картина. Флаг -h у free — понятные единицы:
free -h total used free shared buff/cache available Mem: 3.8Gi 3.5Gi 112Mi 12Mi 240Mi 180Mi Swap: 0B 0B 0B
Смотри на available — сколько реально можно отдать программам. Колонка free почти всегда маленькая: Linux держит свободную память под кеш и отдаёт её по требованию. Здесь available всего 180 мегабайт из 3,8 гигабайта — машина на грани.
Убил ли уже кого-то OOM killer, расскажет журнал ядра. Флаг -T у dmesg печатает понятное время, -i у grep не различает большие и маленькие буквы, а каждое -e добавляет ещё одно искомое выражение. Искать одно oom мало: в главной строке, Out of memory: Killed process, этих трёх букв подряд нет.
sudo dmesg -T | grep -i -e oom -e 'out of memory' [Thu Oct 1 12:14:09 2026] python3 invoked oom-killer: gfp_mask=0xcc0(GFP_KERNEL), order=0 [Thu Oct 1 12:14:09 2026] oom-kill:constraint=CONSTRAINT_NONE,task=python3,pid=4127 [Thu Oct 1 12:14:09 2026] Out of memory: Killed process 4127 (python3) total-vm:912340kB
Ядро убило процесс python3 в 12:14. Если поломка началась в 12:14 — причина найдена. Если процесс убит внутри контейнера с лимитом памяти, строка начинается иначе — Memory cgroup out of memory: Killed process, — и наш поиск поймает её тоже.
В Docker то же случается внутри одного контейнера, если ему задан лимит памяти. Контейнер завершается с кодом 137, а признак виден в его описании:
docker inspect -f '{{.State.OOMKilled}}' provision-app-1 true
Флаг -f у docker inspect достаёт из длинного описания одно поле. true — контейнер упёрся в лимит и был убит.
Процессор ломается иначе, чем диск и память: сервис не падает, а просто становится медленным, и это легко списать на сеть.
Процессор
Занятый процессор выглядит как «всё тормозит»: страницы открываются по пять секунд, команды в терминале отвечают с задержкой. Первая команда — uptime:
uptime 12:20:41 up 3 days, 2:11, 1 user, load average: 7.92, 6.40, 3.15
Три числа в конце — средняя нагрузка за 1, 5 и 15 минут: сколько задач в среднем хотели процессор. Сама по себе она ничего не значит, её сравнивают с числом ядер, которое печатает nproc. Два ядра и нагрузка 7,9 — очередь вчетверо длиннее, чем машина успевает разбирать. И растёт: за 15 минут было 3,15.
В нагрузку входят и процессы, которые ждут диск. Поэтому бывает высокая нагрузка при свободном процессоре: в top это видно по большому числу wa (wait, ожидание ввода-вывода) в строке %Cpu, а у самих процессов в колонке STAT стоит буква D — «ждёт диск, прервать нельзя». Тогда ищут не прожорливый процесс, а медленный диск или тяжёлый запрос к базе.
Кто ест процессор, покажет ps. В разделе про Linux мы смотрели процессы деревом — ps -axuf. Здесь дерево не нужно, нужен порядок: флаги aux — все процессы всех пользователей с подробностями (так же, как -axu, просто старая запись без дефиса), --sort=-%cpu — сверху самые прожорливые, head -5 оставит пять строк:
ps aux --sort=-%cpu | head -5 USER PID %CPU %MEM COMMAND root 4511 98.7 0.1 md5sum /dev/zero 999 2210 12.4 6.2 postgres: provision provision 172.20.0.4(41822) SELECT root 1187 3.1 2.4 /bin/prometheus --config.file=/etc/prometheus/prometheus.yml
Колонка %CPU — доля одного ядра: 98,7 значит, что md5sum целиком занял одно ядро. Для контейнеров то же покажет docker stats --no-stream — снимок без обновления, по строке на контейнер. А если процесс не ест процессор, но всё равно медленный, смотри на базу: вторая строка здесь — долгий запрос SELECT, и это уже маршрут из раздела про базы данных.
Словарь урока
Что спросят на собеседовании
- df показывает 100%, а du не находит больших файлов. Что происходит?Скорее всего, удалённый файл держит открытым процесс. lsof +L1 его покажет; место освободится после перезапуска процесса.
- Как понять, что процесс убит из-за нехватки памяти?В dmesg строка Out of memory: Killed process, у контейнера — код 137 и OOMKilled: true в docker inspect.
- Лог занял весь диск, процесс в него пишет. Как освободить место?Обнулить файл через truncate -s 0, а не удалять: после rm место не освободится, пока процесс держит файл открытым.
- Высокий load average — это всегда процессор?Нет. В него входят и процессы, ждущие диска. Поэтому смотрят ps и docker stats, а при спокойном процессоре — диск и базу.
Что дальше
Следующий маршрут — про контейнеры и поды, которые не могут стартовать: перезапуск по кругу, CrashLoopBackOff и Pending.