Отладка сервера начинается не с логов и не с графиков, а с трёх вопросов: что запущено, хватает ли памяти и есть ли место на диске. На каждый вопрос есть одна короткая команда, и опытный инженер набирает их по памяти, едва зайдя на машину.
Это как врач, который первым делом меряет температуру, давление и пульс. Диагноз ещё не поставлен, но за минуту понятно, где искать: жар — одно, давление — другое.
Шесть команд этого урока — та самая температура и давление сервера. ps -axuf, top, free -h, df -h, du -sh и kill пригодятся во всех следующих разделах, от Docker до Kubernetes.
ps -axuf — все процессы деревом
Процесс — запущенная программа: веб-сервер, база, твоя оболочка. ps (process status) печатает их список. Флаги: -a и -x — все процессы, включая службы без терминала; -u — подробные колонки; -f — рисовать дерево, кто кого запустил. Строго говоря, это флаги старого стиля BSD, которые пишут без дефиса (ps axuf); ps в Ubuntu понимает и форму с дефисом и рисует то же дерево, а в статьях встретишь обе.
ps -axuf USER PID %CPU %MEM RSS TTY STAT COMMAND root 1 0.0 0.6 12876 ? Ss /sbin/init root 842 0.0 0.3 6208 ? Ss sshd: /usr/sbin/sshd anton 2016 0.0 0.1 4608 pts/0 Ss \_ -bash anton 2199 0.0 0.1 3456 pts/0 R+ \_ ps -axuf
Здесь вывод сокращён до главных колонок. PID — номер процесса, по нему к процессу обращаются. USER — от чьего имени он работает. %CPU и %MEM — доля процессора и памяти. RSS — сколько памяти он реально занимает, в килобайтах. STAT — состояние: S спит и ждёт работы (норма), R работает, D — непрерываемое ожидание, обычно диска или сетевого хранилища (много таких — беда с вводом-выводом), Z — зомби, завершился, но не убран.
Процессов на сервере сотни, и чаще нужен один.
ps -axuf | grep nginx root 1180 0.0 0.1 nginx: master process www-data 1187 0.0 0.2 \_ nginx: worker process anton 2240 0.0 0.0 grep nginx
Последняя строка — сам grep, он тоже процесс. Если она единственная, искомой программы нет. Флаг -f здесь виден в деле: рабочий процесс nginx висит под главным.
ps — снимок на одно мгновение. Чтобы видеть, кто ест процессор прямо сейчас, нужна живая картина.
top — живая картина
top перерисовывает список каждые три секунды и сортирует по нагрузке на процессор. Выход — q.
top top - 11:40:02 up 3 days, 2 users, load average: 1.02, 0.85, 0.40 %Cpu(s): 50.2 us, 0.7 sy, 49.1 id, 0.0 wa MiB Mem : 3911.2 total, 210.4 free, 2140.7 used PID USER %CPU %MEM COMMAND 3301 anton 99.3 0.1 md5sum 842 root 0.3 0.3 sshd
Смотри на три места. load average — сколько процессов в среднем работали или ждали своей очереди за 1, 5 и 15 минут; сравнивают с числом ядер (его печатает nproc). На двух ядрах 2 — полная загрузка, 7 — очередь. В load входят и процессы в состоянии D, поэтому высокий load при простаивающем процессоре — признак беды с диском, а не с программами. us — доля процессора, занятая программами, id — сколько он простаивает, wa — сколько ждёт диск. Здесь md5sum занял одно ядро из двух целиком: в таблице у него 99%, а в строке %Cpu(s) — половина, потому что она считает среднее по всем ядрам. Ну а первая строка таблицы — виновник.
Удобная замена top — htop: тот же список, но цветной и с полосками по каждому ядру; в Ubuntu Server он уже установлен. Виновник найден — его можно остановить.
kill — остановить процесс
Говорить с работающей программой напрямую нельзя: у неё нет окна, куда написать «закройся». Поэтому в Linux есть сигналы — короткие сообщения процессу от системы или от человека. У каждого сигнала есть имя и номер, и программа заранее решает, как на какой отвечать. Весь список печатает kill с флагом -l (list):
kill -l 1) SIGHUP 2) SIGINT 3) SIGQUIT 4) SIGILL 5) SIGTRAP 6) SIGABRT 7) SIGBUS 8) SIGFPE 9) SIGKILL 10) SIGUSR1 11) SIGSEGV 12) SIGUSR2 13) SIGPIPE 14) SIGALRM 15) SIGTERM
Это начало: всего сигналов больше шестидесяти, но в работе нужны пять.
| Сигнал | Номер | Что значит |
|---|---|---|
| SIGTERM | 15 | вежливо: заверши работу. Его kill шлёт по умолчанию |
| SIGKILL | 9 | убить без разговоров. Перехватить нельзя |
| SIGHUP | 1 | многие службы перечитывают конфиг, например nginx |
| SIGINT | 2 | то, что шлёт Ctrl+C в терминале |
| SIGTSTP | 20 | то, что шлёт Ctrl+Z: приостановить |
Разберём первые две строки. kill посылает процессу сигнал, и без флага это SIGTERM: программа может его перехватить, дописать файлы и выйти аккуратно, если автор это предусмотрел; если нет — она просто завершается. Флаг -9 шлёт SIGKILL: его перехватить нельзя, ядро обрывает процесс мгновенно, и недописанное теряется.
kill 3301 # вежливо: завершись kill -9 3301 # грубо: только если первый не помог
Правило отсюда одно: сначала TERM, подожди несколько секунд, и только если процесс всё ещё в ps — KILL. Ctrl+C, которым ты останавливаешь зависшую команду, — тот же разговор сигналами, только SIGINT. Остальные сигналы и как программы их ловят — подробнее в Wiki.
Службы так не останавливают: их процессы ведёт systemd, и останавливать их нужно через него — командой systemctl stop. Как systemd поднимает упавшую службу, увидишь сам в практике про свою службу. Процессор разобран, следом память.
free -h — память
free показывает память; флаг -h (human) печатает её в гигабайтах, а не в байтах.
free -h total used free shared buff/cache available Mem: 3.8Gi 1.4Gi 180Mi 12Mi 2.3Gi 2.1Gi Swap: 2.0Gi 0B 2.0Gi
Главная колонка — available: столько памяти программы реально могут получить. Колонка free почти всегда маленькая, и это норма: Linux занимает свободное место кешем (buff/cache) и отдаёт по первому требованию. Swap — запасная память на диске; если она заполняется, сервер начинает тормозить. Когда память кончается совсем, ядро убивает самый прожорливый процесс — в логах это Out of memory: Killed process. Осталось место на диске.
df -h и du -sh — диск
df (disk free) показывает, сколько занято на каждом диске. Флаг -h — те же человеческие единицы.
df -h / Filesystem Size Used Avail Use% Mounted on /dev/sda2 20G 19G 640M 97% /
97% — тревога: когда место кончится, перестанут писаться логи и база. Чтобы найти виновника, нужна du (disk usage) с флагами -s (итог по каталогу) и -h.
sudo du -sh /var/* 1.1G /var/cache 14G /var/log 2.0G /var/lib
Виноват /var/log — дальше той же командой спускаются глубже: sudo du -sh /var/log/*. Внутренности дисков — разделы, lsblk, монтирование через /etc/fstab — понадобятся, когда будешь подключать новый диск; здесь достаточно знать, что такое есть.
Словарь урока
Что спросят на собеседовании
- Сервер тормозит. С каких команд начнёшь?top — кто ест процессор и что с load average; free -h — хватает ли памяти; df -h — есть ли место на диске. Потом логи виновника.
- Что такое процесс-зомби и опасен ли он?Завершившийся процесс, чей код возврата не забрал родитель. Ресурсов не ест; опасно, если копятся сотнями — лечат перезапуском родителя.
- Чем df отличается от du?df показывает занятость дисков целиком, du — сколько занимает конкретный каталог.
Что дальше
Следом практика: нагрузишь учебный сервер, найдёшь виновника этими командами и уберёшь лишний файл с диска.