Provision
—— XP

Практика: учебный инцидент

практика~90 минут+750 XP

Этап 7. Система построена, теперь её экзамен. Аварию ты устроишь себе сам — по таймеру, чтобы она пришла, когда ты занят другим, — поймаешь по алерту, найдёшь причину и напишешь разбор по шаблону из раздела «Отладка и инциденты».

Авария взята из жизни, она входит в любую подборку «как упал прод»: забытый отладочный журнал съедает диск. В ней есть ловушка, на которой спотыкаются почти все в первый раз, — и ради неё урок и написан.

Шаг 1. Снимок перед аварией

Авария настоящая: диск final-app заполнится до конца, и что-то на машине может упасть. Сделай снимок машины в облаке или в программе виртуализации — как в первой практике курса. Если что-то пойдёт не так, вернёшься к нему за минуту.

Шаг 2. Вредитель

Лучше всего, если следующие два шага сделает друг, а ты не будешь смотреть. Если ты один — сделай их и честно займись чем-то другим. Вредитель — короткий скрипт /opt/chatty, который пишет мусор в журнал по 20 МБ в секунду:

ubuntu@stand:~$
sudo nano /opt/chatty
/opt/chatty
#!/bin/sh
while true; do
  head -c 20M /dev/zero
  sleep 1
done >> /var/log/chatty.log

Это единственный файл проекта, который пишется прямо на машине: вредитель не должен попасть в репозиторий. Обрати внимание, где стоит >>: после всего цикла. Значит, файл открывается один раз и остаётся открытым, пока цикл крутится. Это и есть будущая ловушка. Сделай файл исполняемым:

ubuntu@stand:~$
sudo chmod +x /opt/chatty

Шаг 3. Таймер

systemd-run запускает команду как временный сервис, а флаг --on-active откладывает запуск. Флаг --unit даёт сервису имя:

ubuntu@stand:~$
sudo systemd-run --on-active=15m --unit=chatty /opt/chatty
ubuntu@stand:~$
Running timer as unit: chatty.timer
Will run service as unit: chatty.service

Через 15 минут запустится chatty.service. Теперь закрой терминал и займись чем угодно. Дальше действуй так, будто не знаешь, что случилось.

Шаг 4. Сигнал

Через пятнадцать-двадцать минут сработает правило о диске. На final-ops загляни в лог получателя — так же, как в прошлой практике:

ubuntu@stand:~$
docker logs final-ops-alert-echo-1 | grep -c DiskAlmostFull
ubuntu@stand:~$
1

Не ноль — правило сработало и оповещение дошло. Если подключал Telegram, там придёт [FIRING:1] DiskAlmostFull.

С этой секунды заводи заметки: время и что сделал, одной строкой. Из них потом соберётся хронология разбора. Первая строка — во сколько пришёл сигнал. Вторая — уровень серьёзности, как в уроке про процесс инцидента раздела 20: сайт пока работает, но через полчаса ляжет, значит, это не мелочь. И первое правило дежурного оттуда же: сначала посмотреть, потом чинить.

Шаг 5. Сколько осталось

Заходим на машину и смотрим, насколько всё плохо:

ubuntu@stand:~$
ssh final-app
ubuntu@stand:~$
df -h /
ubuntu@stand:~$
Filesystem  Size  Used Avail Use% Mounted on
/dev/sda1    20G   19G  870M  96% /

Флаг -h — размеры в гигабайтах. Use% 96 и Avail меньше гигабайта. Повтори команду через десять секунд: если Avail уменьшается, диск ест что-то прямо сейчас, и времени мало.

Шаг 6. Где именно

du считает, сколько занимают каталоги. Начинаем с корня и спускаемся туда, где больше всего:

ubuntu@stand:~$
sudo du -xh --max-depth=1 / | sort -h
ubuntu@stand:~$
1.9G    /usr
2.4G    /var/lib
16G     /var
19G     /

Флаг -x не даёт du уходить в другие разделы, -h — понятные единицы, --max-depth=1 — только первый уровень. sort -h сортирует такие размеры правильно, самый большой внизу. Виноват /var, но не /var/lib, где живёт Docker. Спускаемся:

ubuntu@stand:~$
ls -lhS /var/log | head -n 4
ubuntu@stand:~$
total 16G
-rw-r--r-- 1 root root  14G Oct  1 15:41 chatty.log
-rw-r----- 1 syslog adm 1.2M Oct  1 15:40 syslog

Флаг -S сортирует по размеру, большие сверху. Файл chatty.log на 14 ГБ — вот он.

Шаг 7. Кто пишет

Прежде чем удалять, узнай, кто пишет файл, — иначе он появится снова. Любимая команда быстрой отладки из раздела про процессы:

ubuntu@stand:~$
ps -axuf | grep -A1 chatty
ubuntu@stand:~$
root   4127  ... /bin/sh /opt/chatty
root   4980  ...  \_ head -c 20M /dev/zero

-axuf — все процессы деревом с владельцами, -A1 у grep показывает ещё строку после совпадения, то есть дочерний процесс. Пишет скрипт /opt/chatty с номером процесса 4127, а head — его ребёнок, который меняется каждую секунду. Запиши в заметки.

Шаг 8. Ловушка

Первое желание — удалить файл. Сделай это и посмотри на диск:

ubuntu@stand:~$
sudo rm /var/log/chatty.log
ubuntu@stand:~$
df -h /
ubuntu@stand:~$
Filesystem  Size  Used Avail Use% Mounted on
/dev/sda1    20G   20G     0 100% /

Места не прибавилось — стало только хуже. Причина в том, что rm убирает имя файла, а не сам файл: пока процесс держит его открытым, данные остаются на диске и растут дальше, просто без имени. Такие файлы показывает lsof с флагом +L1 — «файлы, у которых не осталось ни одного имени»:

ubuntu@stand:~$
sudo lsof +L1
ubuntu@stand:~$
COMMAND  PID USER  FD  TYPE  SIZE/OFF NLINK NAME
sh      4127 root  1w  REG   15032385536   0 /var/log/chatty.log (deleted)

(deleted) в конце и NLINK 0 — тот самый файл, 15 ГБ, удалённый, но живой. Освободит место только остановка процесса.

Шаг 9. Остановить виновника

Процесс — это сервис systemd, значит, и останавливаем его через systemd, а не kill: так он не вернётся.

ubuntu@stand:~$
sudo systemctl stop chatty.service
ubuntu@stand:~$
df -h /
ubuntu@stand:~$
Filesystem  Size  Used Avail Use% Mounted on
/dev/sda1    20G  4.6G   15G  24% /

24% — место вернулось сразу, как только процесс закрыл файл. Время — в заметки. Но авария не кончилась на диске.

Шаг 10. Что задело

Пока места не было, всё, что пыталось писать, получало ошибку. Проверь сервисы приложения:

ubuntu@stand:~$
docker compose -p final ps
ubuntu@stand:~$
NAME          SERVICE   STATUS
final-app-1   app       Up 3 hours (unhealthy)
final-db-1    db        Restarting (1) 10 seconds ago

База перезапускается. Её журнал скажет почему — флаг --tail оставляет последние строки:

ubuntu@stand:~$
docker compose -p final logs db --tail 3
ubuntu@stand:~$
PANIC:  could not write to file "pg_wal/xlogtemp.31": No space left on device
LOG:  database system was interrupted; last known up at 15:38:02 UTC
LOG:  database system is ready to accept connections

PANIC — база упала, когда не смогла записать журнал транзакций, а последняя строка говорит, что после освобождения места она поднялась сама. Если у тебя база не успела ничего записать, такого в журнале не будет — это тоже нормальный исход.

Шаг 11. Проверить, что всё вернулось

Починено не то, что «вроде работает», а то, что проверено. С рабочей машины:

ubuntu@stand:~$
curl --cacert ca.crt https://final.provision.internal/items
ubuntu@stand:~$
{"visits":0}

Команду запускай из ~/final/tls, как в практике про nginx. Проверяем /items, потому что он ходит в базу: /health ответил бы «ok» и при лежащей базе. В течение пяти минут получатель получит resolved по диску и, если сайт падал, по SiteDown — столько Alertmanager ждёт до повторной отправки группы. И ещё одно: ночная копия могла не сняться, пока не было места, — запусти скрипт бэкапа руками и проверь, что он отработал. Удали /opt/chatty и откатись к снимку, если на машине осталось что-то странное.

Шаг 12. Разбор

Разбор пишется в тот же день, пока заметки свежие. Шаблон — из раздела 20; если его нет под рукой, вот обязательные разделы. Файл docs/postmortem-01.md:

docs/postmortem-01.md — каркас
# Диск final-app заполнился, база упала — 01.10.2026
## Что случилось
## Влияние
## Хронология
- 15:21 запустился chatty.service
- 15:36 сигнал DiskAlmostFull
- 15:44 удалён файл, место не вернулось
- 15:47 сервис остановлен, диск 24%
## Причина
## Что помогло и что мешало
## Что меняем

Каркас даёт четыре отметки времени, а в хронологии их должно быть не меньше шести: допиши свои из заметок — когда смотрел df, когда нашёл файл, когда проверил сайт.

В «Причине» не останавливайся на «удалили файл не так»: спроси «почему» ещё два-три раза. Почему один журнал может съесть весь диск? Потому что у него нет ротации и предела. В «Что меняем» — задачи, а не пожелания. Три хороших кандидата, все на знакомых инструментах:

  • logrotate — стандартная программа Ubuntu, которая по расписанию переименовывает, сжимает и удаляет старые журналы; правило для /var/log/*.log кладётся файлом в /etc/logrotate.d/ ролью Ansible;
  • предел журналов Docker — файл /etc/docker/daemon.json с max-size и max-file, тоже ролью; без него журнал контейнера растёт так же бесконечно;
  • правило «диск кончится через четыре часа» на функции predict_linear, которая по наклону метрики за последний час предсказывает её значение через заданное время, — подробности в документации Prometheus.

Разбор — без поиска виноватых: ошибка в системе, которая позволила одному процессу съесть диск, а не в человеке.

Зафиксируй разбор коммитом и вставь команду сдачи в блок ниже.

Что дальше

Проект готов и пережил аварию. Осталось сделать так, чтобы его можно было показать: README, схема, рассказ на две минуты. Об этом следующий урок.

Практика 06+750 XP

Пройти аварию целиком, как на дежурстве: сигнал, разбор по слоям, починка, проверка и письменный разбор с хронологией и задачами на будущее.

  • Место на диске вернулось
  • Виновник остановлен
  • Авария действительно была
  • Сайт снова отвечает
  • В разборе есть хронология
  • В разборе есть причина
  • В разборе есть что меняем
  • Хронология подробная
Команда сдачи — выполни на своей машине
команда
ssh final-app df -h /; echo RUNNING=$(ssh final-app pgrep -c -x chatty); echo STARTED=$(ssh final-app sudo -n journalctl -u chatty.service --no-pager | grep -c 'Started chatty'); curl -s --cacert ~/final/tls/ca.crt https://final.provision.internal/items; echo; grep -E '^## ' ~/final/docs/postmortem-01.md; grep -cE '^- [0-9]{1,2}:[0-9]{2}' ~/final/docs/postmortem-01.md

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.