Provision
—— XP

Поломки: диск, память, перезапуск

практика~30 минут+725 XP

В уроках мы разобрали три беды: место на диске, память и контейнер, который падает по кругу. Сейчас устроим каждую своими руками — безопасно, в домашнем каталоге и в учебных контейнерах, стенд не пострадает.

Каждую находку записывай строкой в ~/devops-lab/reports/breakages.txt. Формат строк указан прямо в шагах — по нему проверяется сдача.

Шаг 1. Норма диска

Запомни, сколько свободно сейчас. Флаг -h — размеры в гигабайтах.

ubuntu@stand:~$
df -h /
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda2        39G   17G   20G  46% /

У тебя числа будут свои. Запомни колонку Avail.

Шаг 2. Занять место

fallocate мгновенно создаёт файл нужного размера, ничего в него не записывая. Флаг -l задаёт длину — два гигабайта.

ubuntu@stand:~$
fallocate -l 2G ~/ballast.img

Повтори df -h / — в Avail станет на два гигабайта меньше. Представь, что не знаешь, откуда они взялись: так это и выглядит в аварии.

Шаг 3. Найти пожирателя

Ищем, какой каталог потолстел. Флаги du: -x — не выходить за эту файловую систему, -h — понятные единицы, -d 1 — только первый уровень. sort -h поставит самое большое в конец.

Нужен sudo: в домашнем каталоге с раздела про CI/CD лежит ~/gitlab, и данные GitLab принадлежат root. Без sudo ты получишь ворох строк Permission denied, а размер ~/gitlab окажется занижен.

ubuntu@stand:~$
sudo du -xh -d 1 ~ | sort -h
12K     /home/anton/.ssh
84M     /home/anton/infra
120M    /home/anton/devops-lab
5.8G    /home/anton/gitlab
8.0G    /home/anton

Большой ~/gitlab здесь ожидаем — это данные GitLab, мы знаем, откуда они. Теперь сложи каталоги: вместе около 6 гигабайт, а весь домашний — 8. Разница в 2 гигабайта не лежит ни в одном вложенном каталоге, значит, это файл прямо в домашнем. Так и ищут на настоящем сервере: известное большое вычитают, неизвестное остаётся. Флаг -h у ls тоже печатает понятные размеры:

ubuntu@stand:~$
ls -lh ~ | sort -k5 -h
drwxr-xr-x 3 anton anton 4.0K Oct  1 10:02 infra
drwxr-xr-x 5 anton anton 4.0K Sep 27 18:40 gitlab
-rw-r--r-- 1 anton anton 2.0G Oct  1 12:31 ballast.img

-l у ls — подробный список, -k5 у sort — сортировать по пятой колонке, размеру. У каталогов ls показывает 4.0K — это место под сам список имён, а не под содержимое. Виновник в последней строке. Запиши: Диск: ~/ballast.img 2G.

Шаг 4. Освободить и проверить другие места

Удаляем балласт:

ubuntu@stand:~$
rm ~/ballast.img

Заодно посмотрим два места, которые в жизни съедают диск чаще всего. Журнал systemd:

ubuntu@stand:~$
journalctl --disk-usage
Archived and active journals take up 184.0M in the file system.

И Docker — образы, контейнеры, тома, кеш сборки:

ubuntu@stand:~$
docker system df
TYPE            TOTAL     ACTIVE    SIZE      RECLAIMABLE
Images          14        7         3.9GB     1.6GB (41%)
Containers      9         8         12MB      0B (0%)
Local Volumes   5         4         620MB     48MB (7%)
Build Cache     38        0         1.1GB     1.1GB

Колонка RECLAIMABLE — сколько можно освободить безопасно: образы и кеш, которыми никто не пользуется. Освобождают это командой docker system prune, а журнал — journalctl --vacuum-size, обе разобраны в уроке про ресурсы. Здесь не чистим: на стенде живут GitLab и мониторинг, и пусть их образы останутся.

Шаг 5. Упереться в память

Запустим контейнер с лимитом памяти 64 мегабайта (флаг -m) и программой, которая ест память без остановки: tail ищет конец строки в бесконечном потоке нулей и копит всё прочитанное.

ubuntu@stand:~$
docker run --name hog -m 64m alpine tail /dev/zero

Через пару секунд команда вернёт приглашение, ничего не напечатав. Контейнер умер молча — именно так OOM и выглядит снаружи.

Шаг 6. Как он умер

Флаг -a у docker ps покажет и остановленные контейнеры.

ubuntu@stand:~$
docker ps -a --filter name=hog
CONTAINER ID   IMAGE    COMMAND            STATUS                       NAMES
a71c9e3f2b04   alpine   "tail /dev/zero"   Exited (137) 8 seconds ago   hog

Код 137 — убит сигналом KILL. Подтвердим, что виновата память; флаг -f достаёт одно поле из описания:

ubuntu@stand:~$
docker inspect -f '{{.State.OOMKilled}}' hog
true

Запиши: Память: 137, OOMKilled true. Логи docker logs hog будут пустыми — сам процесс не успел ничего сказать, его убило ядро.

Шаг 7. Убрать

Флаг -f у docker rm нужен только для работающих контейнеров, этот уже остановлен.

ubuntu@stand:~$
docker rm hog
hog

Шаг 8. Контейнер, который падает по кругу

Программа false ничего не делает и завершается с кодом 1 — идеальный пример сломанного сервиса. Политика --restart always будет поднимать её снова и снова, а -d запустит в фоне.

ubuntu@stand:~$
docker run -d --name crashy --restart always alpine false
5e2d8b1c7f9a3e6d4b2c8f1a7e3d9b5c2f8a6e4d1b7c3f9a5e2d8b6c4f1a7e3d

Шаг 9. Симптом

Посмотрим на него через несколько секунд.

ubuntu@stand:~$
docker ps --filter name=crashy
CONTAINER ID   IMAGE    COMMAND   STATUS                         NAMES
5e2d8b1c7f9a   alpine   "false"   Restarting (1) 2 seconds ago   crashy

Restarting (1) — падает с кодом 1 и поднимается снова. Сколько раз уже:

ubuntu@stand:~$
docker inspect -f '{{.RestartCount}}' crashy
7

Подожди минуту и повтори — число вырастет, а паузы между попытками станут длиннее: Docker, как и Kubernetes, отступает.

Шаг 10. Логи пусты

Первое желание — посмотреть логи:

ubuntu@stand:~$
docker logs crashy

Ничего. Программа упала, не сказав ни слова, — так бывает, когда не хватает переменной, файла или прав, а приложение не пишет ошибку. Подсказка тогда в описании: какая команда запускается и с каким кодом умирает. Флаг -f выведет команду запуска:

ubuntu@stand:~$
docker inspect -f '{{.Config.Cmd}}' crashy
[false]

Команда false и код 1 — причина найдена. Запиши: Перезапуск: код 1, RestartCount 7 — со своим числом.

Шаг 11. Убрать

Контейнер работает в цикле, поэтому нужен -f: он остановит и удалит.

ubuntu@stand:~$
docker rm -f crashy
crashy

Шаг 12. То же в Kubernetes

Если кластер из раздела 16 ещё жив, повтори поломку там — команды короткие. kubectl run создаёт один под, флаг --image задаёт образ, а всё после двух дефисов — команда контейнера.

ubuntu@stand:~$
kubectl run crashy --image=alpine -- false

Через минуту kubectl get pods покажет CrashLoopBackOff, а kubectl describe pod crashy в разделе Last State — Exit Code: 1. Удали под командой kubectl delete pod crashy. Кластера нет — пропусти шаг, в отчёт он не входит.

Что дальше

Беды машины и контейнеров разобраны. Остались две, которые ломают работу внезапно, хотя готовились месяцами: истёкший сертификат и красный пайплайн.

Практика 03+725 XP

Узнавать в лицо три беды машины и контейнера — заполненный диск, OOM и перезапуск по кругу — и находить причину одной-двумя командами.

  • Найден пожиратель места
  • Записан признак OOM
  • Записан перезапуск по кругу
  • Балласт удалён
  • Учебные контейнеры убраны
Команда сдачи — выполни на своей машине
команда
cat ~/devops-lab/reports/breakages.txt; echo ---; echo "BALLAST=$(test -e ~/ballast.img && echo yes || echo no)"; docker ps -a --filter name=hog --filter name=crashy --format 'LEFT={{.Names}}'

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.