Provision
—— XP

Маршрут: диск, память, процессор

теория~9 минут+290 XP

«У нас ничего не менялось» — честный ответ разработчиков, когда сервис вдруг начал падать или тормозить. Код тот же, настройки те же, а причина ниже: кончился ресурс машины — место на диске, оперативная память или время процессора. В логах nginx и приложения такая поломка часто не видна вовсе.

У каждой из трёх бед свой симптом, и каждая проверяется одной-двумя короткими командами. По сути это чек-лист USE из раздела про мониторинг — загрузка, насыщение, ошибки, — только применённый руками. Подробная шпаргалка по всем утилитам Linux есть в статье RUVDS на Хабре, а нам хватит шести команд.

Диск

Заполненный диск выглядит по-разному: база перестаёт принимать записи, Docker не может собрать образ, а в логе приложения появляется No space left on device. Первая команда всегда одна — сколько занято на каждой файловой системе. Флаг -h печатает размеры в гигабайтах, а не в блоках.

ubuntu@stand:~$
df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda2        39G   39G     0 100% /
/dev/sda1       974M  180M  727M  20% /boot

Смотри на колонку Use%: на корне / 100%, свободно ноль. Теперь вопрос — чем занято. du считает размер каталогов; флаг -x не выходит за пределы этой файловой системы, -h — понятные единицы, -d 1 — только первый уровень вложенности. sort -h упорядочит строки по размеру.

ubuntu@stand:~$
sudo du -xh -d 1 /var | sort -h
120M    /var/cache
2.1G    /var/log
31G     /var/lib
33G     /var

Больше всех /var/lib. Повтори ту же команду для него — и так спускайся, пока не найдёшь виновника. Три самых частых:

Кто обычно съедает диск
Docker
Старые образы, остановленные контейнеры, кеш сборки — /var/lib/docker. Сколько именно, покажет docker system df.
Журналы
Логи в /var/log и журнал systemd. Его размер показывает journalctl --disk-usage.
Удалённый, но открытый файл
Лог удалили, а процесс всё ещё пишет в него — место не освобождается, пока процесс жив. Найти: sudo lsof +L1.

Последняя строка — ловушка: du такой файл уже не видит, а df продолжает показывать 100%. Помогает перезапуск процесса, который держит файл. Бывает и редкий случай — место есть, но кончились иноды, записи о файлах; его показывает df -i, обычно виноваты миллионы мелких файлов в одном каталоге.

Диск: как освободить

Нашёл виновника — дальше надо освободить место, не сломав сервис. У каждого из трёх случаев свой безопасный приём.

Docker. Команда docker system prune удаляет остановленные контейнеры, образы без имени и кеш сборки — всё, чем никто не пользуется. Перед удалением она перечислит, что уберёт, и спросит подтверждение. Тома с данными она не трогает.

ubuntu@stand:~$
docker system prune
WARNING! This will remove:
  - all stopped containers
  - all networks not used by at least one container
  - all dangling images
  - unused build cache

Are you sure you want to continue? [y/N] y
Total reclaimed space: 2.7GB

Журнал systemd. Его ужимают до заданного размера: флаг --vacuum-size удаляет старые архивные файлы журнала, пока не останется, сколько сказано.

ubuntu@stand:~$
sudo journalctl --vacuum-size=200M
Vacuuming done, freed 1.4G of archived journals from /var/log/journal/4f1c….

Выше итоговой строки команда перечислит удалённые файлы; главное — сколько освобождено.

Живой лог, в который процесс прямо сейчас пишет. Его не удаляют, а обнуляют: truncate -s 0 делает размер файла нулевым, файл остаётся на месте, и процесс продолжает писать в него же. Удаление через rm здесь и создаёт ловушку с открытым файлом из таблицы выше.

ubuntu@stand:~$
sudo truncate -s 0 /var/log/app/big.log

С диском разобрались. Память ломается тише, но опаснее.

Память

Когда памяти не хватает всем, ядро Linux выбирает процесс и убивает его, чтобы спасти остальных. Этот механизм называется OOM killer (out of memory — память кончилась). Для сервиса это выглядит как внезапное падение без единой строки ошибки в его собственном логе.

Сначала общая картина. Флаг -h у free — понятные единицы:

ubuntu@stand:~$
free -h
               total        used        free      shared  buff/cache   available
Mem:           3.8Gi       3.5Gi       112Mi        12Mi       240Mi       180Mi
Swap:             0B          0B          0B

Смотри на available — сколько реально можно отдать программам. Колонка free почти всегда маленькая: Linux держит свободную память под кеш и отдаёт её по требованию. Здесь available всего 180 мегабайт из 3,8 гигабайта — машина на грани.

Убил ли уже кого-то OOM killer, расскажет журнал ядра. Флаг -T у dmesg печатает понятное время, -i у grep не различает большие и маленькие буквы, а каждое -e добавляет ещё одно искомое выражение. Искать одно oom мало: в главной строке, Out of memory: Killed process, этих трёх букв подряд нет.

ubuntu@stand:~$
sudo dmesg -T | grep -i -e oom -e 'out of memory'
[Thu Oct  1 12:14:09 2026] python3 invoked oom-killer: gfp_mask=0xcc0(GFP_KERNEL), order=0
[Thu Oct  1 12:14:09 2026] oom-kill:constraint=CONSTRAINT_NONE,task=python3,pid=4127
[Thu Oct  1 12:14:09 2026] Out of memory: Killed process 4127 (python3) total-vm:912340kB

Ядро убило процесс python3 в 12:14. Если поломка началась в 12:14 — причина найдена. Если процесс убит внутри контейнера с лимитом памяти, строка начинается иначе — Memory cgroup out of memory: Killed process, — и наш поиск поймает её тоже.

В Docker то же случается внутри одного контейнера, если ему задан лимит памяти. Контейнер завершается с кодом 137, а признак виден в его описании:

ubuntu@stand:~$
docker inspect -f '{{.State.OOMKilled}}' provision-app-1
true

Флаг -f у docker inspect достаёт из длинного описания одно поле. true — контейнер упёрся в лимит и был убит.

Процессор ломается иначе, чем диск и память: сервис не падает, а просто становится медленным, и это легко списать на сеть.

Процессор

Занятый процессор выглядит как «всё тормозит»: страницы открываются по пять секунд, команды в терминале отвечают с задержкой. Первая команда — uptime:

ubuntu@stand:~$
uptime
 12:20:41 up 3 days,  2:11,  1 user,  load average: 7.92, 6.40, 3.15

Три числа в конце — средняя нагрузка за 1, 5 и 15 минут: сколько задач в среднем хотели процессор. Сама по себе она ничего не значит, её сравнивают с числом ядер, которое печатает nproc. Два ядра и нагрузка 7,9 — очередь вчетверо длиннее, чем машина успевает разбирать. И растёт: за 15 минут было 3,15.

В нагрузку входят и процессы, которые ждут диск. Поэтому бывает высокая нагрузка при свободном процессоре: в top это видно по большому числу wa (wait, ожидание ввода-вывода) в строке %Cpu, а у самих процессов в колонке STAT стоит буква D — «ждёт диск, прервать нельзя». Тогда ищут не прожорливый процесс, а медленный диск или тяжёлый запрос к базе.

Кто ест процессор, покажет ps. В разделе про Linux мы смотрели процессы деревом — ps -axuf. Здесь дерево не нужно, нужен порядок: флаги aux — все процессы всех пользователей с подробностями (так же, как -axu, просто старая запись без дефиса), --sort=-%cpu — сверху самые прожорливые, head -5 оставит пять строк:

ubuntu@stand:~$
ps aux --sort=-%cpu | head -5
USER   PID %CPU %MEM COMMAND
root  4511 98.7  0.1 md5sum /dev/zero
999   2210 12.4  6.2 postgres: provision provision 172.20.0.4(41822) SELECT
root  1187  3.1  2.4 /bin/prometheus --config.file=/etc/prometheus/prometheus.yml

Колонка %CPU — доля одного ядра: 98,7 значит, что md5sum целиком занял одно ядро. Для контейнеров то же покажет docker stats --no-stream — снимок без обновления, по строке на контейнер. А если процесс не ест процессор, но всё равно медленный, смотри на базу: вторая строка здесь — долгий запрос SELECT, и это уже маршрут из раздела про базы данных.

Словарь урока

OOM killer
Механизм ядра: когда кончается память, убивает процесс, чтобы спасти остальные. ↩ к тексту
Код 137
Процесс убит сигналом KILL; у контейнеров чаще всего — из-за лимита памяти.
load average
Сколько задач в среднем хотели процессор за 1, 5 и 15 минут. Сравнивают с числом ядер.
Инод
Запись о файле в файловой системе. Могут кончиться раньше места, если файлов миллионы.

Что спросят на собеседовании

  • df показывает 100%, а du не находит больших файлов. Что происходит?
    Скорее всего, удалённый файл держит открытым процесс. lsof +L1 его покажет; место освободится после перезапуска процесса.
  • Как понять, что процесс убит из-за нехватки памяти?
    В dmesg строка Out of memory: Killed process, у контейнера — код 137 и OOMKilled: true в docker inspect.
  • Лог занял весь диск, процесс в него пишет. Как освободить место?
    Обнулить файл через truncate -s 0, а не удалять: после rm место не освободится, пока процесс держит файл открытым.
  • Высокий load average — это всегда процессор?
    Нет. В него входят и процессы, ждущие диска. Поэтому смотрят ps и docker stats, а при спокойном процессоре — диск и базу.

Что дальше

Следующий маршрут — про контейнеры и поды, которые не могут стартовать: перезапуск по кругу, CrashLoopBackOff и Pending.

Проверь себя+290 XPдве попытки
1
Диск
Приложение пишет «No space left on device». Какую команду выполнить первой?
2
Память
Контейнер завершился с кодом 137. Что проверить?
3
Память
Какую колонку free -h смотреть, чтобы понять, хватает ли памяти?
4
Процессор
load average 8.0 на машине с двумя ядрами означает…
ответь на все вопросы, чтобы проверить

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.