Provision
—— XP

Что творится на сервере: процессы, память, диск

теория~9 минут+110 XP

Отладка сервера начинается не с логов и не с графиков, а с трёх вопросов: что запущено, хватает ли памяти и есть ли место на диске. На каждый вопрос есть одна короткая команда, и опытный инженер набирает их по памяти, едва зайдя на машину.

Это как врач, который первым делом меряет температуру, давление и пульс. Диагноз ещё не поставлен, но за минуту понятно, где искать: жар — одно, давление — другое.

Шесть команд этого урока — та самая температура и давление сервера. ps -axuf, top, free -h, df -h, du -sh и kill пригодятся во всех следующих разделах, от Docker до Kubernetes.

ps -axuf — все процессы деревом

Процесс — запущенная программа: веб-сервер, база, твоя оболочка. ps (process status) печатает их список. Флаги: -a и -x — все процессы, включая службы без терминала; -u — подробные колонки; -f — рисовать дерево, кто кого запустил. Строго говоря, это флаги старого стиля BSD, которые пишут без дефиса (ps axuf); ps в Ubuntu понимает и форму с дефисом и рисует то же дерево, а в статьях встретишь обе.

ubuntu@stand:~$
ps -axuf
USER   PID %CPU %MEM   RSS TTY   STAT COMMAND
root     1  0.0  0.6 12876 ?     Ss   /sbin/init
root   842  0.0  0.3  6208 ?     Ss   sshd: /usr/sbin/sshd
anton 2016  0.0  0.1  4608 pts/0 Ss    \_ -bash
anton 2199  0.0  0.1  3456 pts/0 R+       \_ ps -axuf

Здесь вывод сокращён до главных колонок. PID — номер процесса, по нему к процессу обращаются. USER — от чьего имени он работает. %CPU и %MEM — доля процессора и памяти. RSS — сколько памяти он реально занимает, в килобайтах. STAT — состояние: S спит и ждёт работы (норма), R работает, D — непрерываемое ожидание, обычно диска или сетевого хранилища (много таких — беда с вводом-выводом), Z — зомби, завершился, но не убран.

Процессов на сервере сотни, и чаще нужен один.

ubuntu@stand:~$
ps -axuf | grep nginx
root     1180  0.0  0.1  nginx: master process
www-data 1187  0.0  0.2   \_ nginx: worker process
anton    2240  0.0  0.0  grep nginx

Последняя строка — сам grep, он тоже процесс. Если она единственная, искомой программы нет. Флаг -f здесь виден в деле: рабочий процесс nginx висит под главным.

Дерево процессов с корнем systemd под номером 1. Подсвеченная ветка ведёт через sshd, вашу сессию и оболочку к набранной команде ps -axuf. Рядом ветки nginx и postgres со своими рабочими процессами. Пунктирная стрелка показывает, что осиротевшие процессы переходят к первому.
Твоя команда висит под оболочкой, та под сессией, сессия под службой SSH, и всё вместе под первым процессом. Неожиданный bash под веб-сервером — так выглядит след взлома.

ps — снимок на одно мгновение. Чтобы видеть, кто ест процессор прямо сейчас, нужна живая картина.

top — живая картина

top перерисовывает список каждые три секунды и сортирует по нагрузке на процессор. Выход — q.

ubuntu@stand:~$
top
top - 11:40:02 up 3 days,  2 users,  load average: 1.02, 0.85, 0.40
%Cpu(s): 50.2 us,  0.7 sy, 49.1 id,  0.0 wa
MiB Mem :   3911.2 total,    210.4 free,   2140.7 used
  PID USER   %CPU %MEM COMMAND
 3301 anton  99.3  0.1 md5sum
  842 root    0.3  0.3 sshd

Смотри на три места. load average — сколько процессов в среднем работали или ждали своей очереди за 1, 5 и 15 минут; сравнивают с числом ядер (его печатает nproc). На двух ядрах 2 — полная загрузка, 7 — очередь. В load входят и процессы в состоянии D, поэтому высокий load при простаивающем процессоре — признак беды с диском, а не с программами. us — доля процессора, занятая программами, id — сколько он простаивает, wa — сколько ждёт диск. Здесь md5sum занял одно ядро из двух целиком: в таблице у него 99%, а в строке %Cpu(s) — половина, потому что она считает среднее по всем ядрам. Ну а первая строка таблицы — виновник.

Удобная замена top — htop: тот же список, но цветной и с полосками по каждому ядру; в Ubuntu Server он уже установлен. Виновник найден — его можно остановить.

kill — остановить процесс

Говорить с работающей программой напрямую нельзя: у неё нет окна, куда написать «закройся». Поэтому в Linux есть сигналы — короткие сообщения процессу от системы или от человека. У каждого сигнала есть имя и номер, и программа заранее решает, как на какой отвечать. Весь список печатает kill с флагом -l (list):

ubuntu@stand:~$
kill -l
 1) SIGHUP   2) SIGINT   3) SIGQUIT  4) SIGILL   5) SIGTRAP
 6) SIGABRT  7) SIGBUS   8) SIGFPE   9) SIGKILL 10) SIGUSR1
11) SIGSEGV 12) SIGUSR2 13) SIGPIPE 14) SIGALRM 15) SIGTERM

Это начало: всего сигналов больше шестидесяти, но в работе нужны пять.

СигналНомерЧто значит
SIGTERM15вежливо: заверши работу. Его kill шлёт по умолчанию
SIGKILL9убить без разговоров. Перехватить нельзя
SIGHUP1многие службы перечитывают конфиг, например nginx
SIGINT2то, что шлёт Ctrl+C в терминале
SIGTSTP20то, что шлёт Ctrl+Z: приостановить

Разберём первые две строки. kill посылает процессу сигнал, и без флага это SIGTERM: программа может его перехватить, дописать файлы и выйти аккуратно, если автор это предусмотрел; если нет — она просто завершается. Флаг -9 шлёт SIGKILL: его перехватить нельзя, ядро обрывает процесс мгновенно, и недописанное теряется.

ubuntu@stand:~$
kill 3301                         # вежливо: завершись
kill -9 3301                      # грубо: только если первый не помог

Правило отсюда одно: сначала TERM, подожди несколько секунд, и только если процесс всё ещё в ps — KILL. Ctrl+C, которым ты останавливаешь зависшую команду, — тот же разговор сигналами, только SIGINT. Остальные сигналы и как программы их ловят — подробнее в Wiki.

Службы так не останавливают: их процессы ведёт systemd, и останавливать их нужно через него — командой systemctl stop. Как systemd поднимает упавшую службу, увидишь сам в практике про свою службу. Процессор разобран, следом память.

free -h — память

free показывает память; флаг -h (human) печатает её в гигабайтах, а не в байтах.

ubuntu@stand:~$
free -h
               total   used   free  shared  buff/cache  available
Mem:           3.8Gi  1.4Gi  180Mi   12Mi       2.3Gi      2.1Gi
Swap:          2.0Gi    0B   2.0Gi

Главная колонка — available: столько памяти программы реально могут получить. Колонка free почти всегда маленькая, и это норма: Linux занимает свободное место кешем (buff/cache) и отдаёт по первому требованию. Swap — запасная память на диске; если она заполняется, сервер начинает тормозить. Когда память кончается совсем, ядро убивает самый прожорливый процесс — в логах это Out of memory: Killed process. Осталось место на диске.

df -h и du -sh — диск

df (disk free) показывает, сколько занято на каждом диске. Флаг -h — те же человеческие единицы.

ubuntu@stand:~$
df -h /
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda2        20G   19G  640M  97% /

97% — тревога: когда место кончится, перестанут писаться логи и база. Чтобы найти виновника, нужна du (disk usage) с флагами -s (итог по каталогу) и -h.

ubuntu@stand:~$
sudo du -sh /var/*
1.1G    /var/cache
14G     /var/log
2.0G    /var/lib

Виноват /var/log — дальше той же командой спускаются глубже: sudo du -sh /var/log/*. Внутренности дисков — разделы, lsblk, монтирование через /etc/fstab — понадобятся, когда будешь подключать новый диск; здесь достаточно знать, что такое есть.

Словарь урока

процесс
Запущенная программа со своим номером PID, памятью и правами. ↩ к тексту
load average
Сколько процессов в среднем работали, ждали процессора или ждали диск (состояние D) за 1, 5 и 15 минут. Сравнивается с числом ядер. ↩ к тексту
сигнал
Короткое сообщение процессу от системы или человека. У каждого есть имя и номер; список печатает kill -l. ↩ к тексту
SIGTERM и SIGKILL
15 — просьба завершиться, программа успевает убрать за собой. 9 — убийство без разговоров, перехватить нельзя.
SIGHUP
Сигнал 1. Многие службы, например nginx, по нему перечитывают конфиг без остановки.
SIGINT
Сигнал 2, его шлёт Ctrl+C: прервать команду в терминале. ↩ к тексту
available
Память, которую программы реально могут получить, включая освобождаемый кеш. ↩ к тексту
swap
Запасная память на диске. Медленная: когда она в ходу, сервер тормозит. ↩ к тексту

Что спросят на собеседовании

  • Сервер тормозит. С каких команд начнёшь?
    top — кто ест процессор и что с load average; free -h — хватает ли памяти; df -h — есть ли место на диске. Потом логи виновника.
  • Что такое процесс-зомби и опасен ли он?
    Завершившийся процесс, чей код возврата не забрал родитель. Ресурсов не ест; опасно, если копятся сотнями — лечат перезапуском родителя.
  • Чем df отличается от du?
    df показывает занятость дисков целиком, du — сколько занимает конкретный каталог.

Что дальше

Следом практика: нагрузишь учебный сервер, найдёшь виновника этими командами и уберёшь лишний файл с диска.

Проверь себя+110 XPдве попытки
1
ps -axuf — все процессы деревом
В выводе `ps -axuf | grep nginx` одна строка — сам `grep nginx`. Что это значит?
2
top — живая картина
На сервере 2 ядра, load average `7.80 7.10 6.50`. Что это значит?
3
kill — остановить процесс
Почему сначала пробуют `kill PID`, а `kill -9` — только потом?
4
free -h — память
В `free -h` колонка free почти ноль, а available — 2,1 ГБ. Это проблема?
5
df -h и du -sh — диск
df показывает, что диск заполнен на 98%. Чем найти, какой каталог виноват?
ответь на все вопросы, чтобы проверить

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.