Этап 7. Система построена, теперь её экзамен. Аварию ты устроишь себе сам — по таймеру, чтобы она пришла, когда ты занят другим, — поймаешь по алерту, найдёшь причину и напишешь разбор по шаблону из раздела «Отладка и инциденты».
Авария взята из жизни, она входит в любую подборку «как упал прод»: забытый отладочный журнал съедает диск. В ней есть ловушка, на которой спотыкаются почти все в первый раз, — и ради неё урок и написан.
Шаг 1. Снимок перед аварией
Авария настоящая: диск final-app заполнится до конца, и что-то на машине может упасть. Сделай снимок машины в облаке или в программе виртуализации — как в первой практике курса. Если что-то пойдёт не так, вернёшься к нему за минуту.
Шаг 2. Вредитель
Лучше всего, если следующие два шага сделает друг, а ты не будешь смотреть. Если ты один — сделай их и честно займись чем-то другим. Вредитель — короткий скрипт /opt/chatty, который пишет мусор в журнал по 20 МБ в секунду:
sudo nano /opt/chatty#!/bin/sh while true; do head -c 20M /dev/zero sleep 1 done >> /var/log/chatty.log
Это единственный файл проекта, который пишется прямо на машине: вредитель не должен попасть в репозиторий. Обрати внимание, где стоит >>: после всего цикла. Значит, файл открывается один раз и остаётся открытым, пока цикл крутится. Это и есть будущая ловушка. Сделай файл исполняемым:
sudo chmod +x /opt/chattyШаг 3. Таймер
systemd-run запускает команду как временный сервис, а флаг --on-active откладывает запуск. Флаг --unit даёт сервису имя:
sudo systemd-run --on-active=15m --unit=chatty /opt/chattyRunning timer as unit: chatty.timer Will run service as unit: chatty.service
Через 15 минут запустится chatty.service. Теперь закрой терминал и займись чем угодно. Дальше действуй так, будто не знаешь, что случилось.
Шаг 4. Сигнал
Через пятнадцать-двадцать минут сработает правило о диске. На final-ops загляни в лог получателя — так же, как в прошлой практике:
docker logs final-ops-alert-echo-1 | grep -c DiskAlmostFull1Не ноль — правило сработало и оповещение дошло. Если подключал Telegram, там придёт [FIRING:1] DiskAlmostFull.
С этой секунды заводи заметки: время и что сделал, одной строкой. Из них потом соберётся хронология разбора. Первая строка — во сколько пришёл сигнал. Вторая — уровень серьёзности, как в уроке про процесс инцидента раздела 20: сайт пока работает, но через полчаса ляжет, значит, это не мелочь. И первое правило дежурного оттуда же: сначала посмотреть, потом чинить.
Шаг 5. Сколько осталось
Заходим на машину и смотрим, насколько всё плохо:
ssh final-appdf -h /Filesystem Size Used Avail Use% Mounted on /dev/sda1 20G 19G 870M 96% /
Флаг -h — размеры в гигабайтах. Use% 96 и Avail меньше гигабайта. Повтори команду через десять секунд: если Avail уменьшается, диск ест что-то прямо сейчас, и времени мало.
Шаг 6. Где именно
du считает, сколько занимают каталоги. Начинаем с корня и спускаемся туда, где больше всего:
sudo du -xh --max-depth=1 / | sort -h1.9G /usr 2.4G /var/lib 16G /var 19G /
Флаг -x не даёт du уходить в другие разделы, -h — понятные единицы, --max-depth=1 — только первый уровень. sort -h сортирует такие размеры правильно, самый большой внизу. Виноват /var, но не /var/lib, где живёт Docker. Спускаемся:
ls -lhS /var/log | head -n 4total 16G -rw-r--r-- 1 root root 14G Oct 1 15:41 chatty.log -rw-r----- 1 syslog adm 1.2M Oct 1 15:40 syslog
Флаг -S сортирует по размеру, большие сверху. Файл chatty.log на 14 ГБ — вот он.
Шаг 7. Кто пишет
Прежде чем удалять, узнай, кто пишет файл, — иначе он появится снова. Любимая команда быстрой отладки из раздела про процессы:
ps -axuf | grep -A1 chattyroot 4127 ... /bin/sh /opt/chatty root 4980 ... \_ head -c 20M /dev/zero
-axuf — все процессы деревом с владельцами, -A1 у grep показывает ещё строку после совпадения, то есть дочерний процесс. Пишет скрипт /opt/chatty с номером процесса 4127, а head — его ребёнок, который меняется каждую секунду. Запиши в заметки.
Шаг 8. Ловушка
Первое желание — удалить файл. Сделай это и посмотри на диск:
sudo rm /var/log/chatty.logdf -h /Filesystem Size Used Avail Use% Mounted on /dev/sda1 20G 20G 0 100% /
Места не прибавилось — стало только хуже. Причина в том, что rm убирает имя файла, а не сам файл: пока процесс держит его открытым, данные остаются на диске и растут дальше, просто без имени. Такие файлы показывает lsof с флагом +L1 — «файлы, у которых не осталось ни одного имени»:
sudo lsof +L1COMMAND PID USER FD TYPE SIZE/OFF NLINK NAME sh 4127 root 1w REG 15032385536 0 /var/log/chatty.log (deleted)
(deleted) в конце и NLINK 0 — тот самый файл, 15 ГБ, удалённый, но живой. Освободит место только остановка процесса.
Шаг 9. Остановить виновника
Процесс — это сервис systemd, значит, и останавливаем его через systemd, а не kill: так он не вернётся.
sudo systemctl stop chatty.servicedf -h /Filesystem Size Used Avail Use% Mounted on /dev/sda1 20G 4.6G 15G 24% /
24% — место вернулось сразу, как только процесс закрыл файл. Время — в заметки. Но авария не кончилась на диске.
Шаг 10. Что задело
Пока места не было, всё, что пыталось писать, получало ошибку. Проверь сервисы приложения:
docker compose -p final psNAME SERVICE STATUS final-app-1 app Up 3 hours (unhealthy) final-db-1 db Restarting (1) 10 seconds ago
База перезапускается. Её журнал скажет почему — флаг --tail оставляет последние строки:
docker compose -p final logs db --tail 3PANIC: could not write to file "pg_wal/xlogtemp.31": No space left on device LOG: database system was interrupted; last known up at 15:38:02 UTC LOG: database system is ready to accept connections
PANIC — база упала, когда не смогла записать журнал транзакций, а последняя строка говорит, что после освобождения места она поднялась сама. Если у тебя база не успела ничего записать, такого в журнале не будет — это тоже нормальный исход.
Шаг 11. Проверить, что всё вернулось
Починено не то, что «вроде работает», а то, что проверено. С рабочей машины:
curl --cacert ca.crt https://final.provision.internal/items{"visits":0}Команду запускай из ~/final/tls, как в практике про nginx. Проверяем /items, потому что он ходит в базу: /health ответил бы «ok» и при лежащей базе. В течение пяти минут получатель получит resolved по диску и, если сайт падал, по SiteDown — столько Alertmanager ждёт до повторной отправки группы. И ещё одно: ночная копия могла не сняться, пока не было места, — запусти скрипт бэкапа руками и проверь, что он отработал. Удали /opt/chatty и откатись к снимку, если на машине осталось что-то странное.
Шаг 12. Разбор
Разбор пишется в тот же день, пока заметки свежие. Шаблон — из раздела 20; если его нет под рукой, вот обязательные разделы. Файл docs/postmortem-01.md:
# Диск final-app заполнился, база упала — 01.10.2026 ## Что случилось ## Влияние ## Хронология - 15:21 запустился chatty.service - 15:36 сигнал DiskAlmostFull - 15:44 удалён файл, место не вернулось - 15:47 сервис остановлен, диск 24% ## Причина ## Что помогло и что мешало ## Что меняем
Каркас даёт четыре отметки времени, а в хронологии их должно быть не меньше шести: допиши свои из заметок — когда смотрел df, когда нашёл файл, когда проверил сайт.
В «Причине» не останавливайся на «удалили файл не так»: спроси «почему» ещё два-три раза. Почему один журнал может съесть весь диск? Потому что у него нет ротации и предела. В «Что меняем» — задачи, а не пожелания. Три хороших кандидата, все на знакомых инструментах:
- logrotate — стандартная программа Ubuntu, которая по расписанию переименовывает, сжимает и удаляет старые журналы; правило для
/var/log/*.logкладётся файлом в/etc/logrotate.d/ролью Ansible; - предел журналов Docker — файл
/etc/docker/daemon.jsonсmax-sizeиmax-file, тоже ролью; без него журнал контейнера растёт так же бесконечно; - правило «диск кончится через четыре часа» на функции
predict_linear, которая по наклону метрики за последний час предсказывает её значение через заданное время, — подробности в документации Prometheus.
Разбор — без поиска виноватых: ошибка в системе, которая позволила одному процессу съесть диск, а не в человеке.
Зафиксируй разбор коммитом и вставь команду сдачи в блок ниже.
Что дальше
Проект готов и пережил аварию. Осталось сделать так, чтобы его можно было показать: README, схема, рассказ на две минуты. Об этом следующий урок.