В уроках мы разобрали три беды: место на диске, память и контейнер, который падает по кругу. Сейчас устроим каждую своими руками — безопасно, в домашнем каталоге и в учебных контейнерах, стенд не пострадает.
Каждую находку записывай строкой в ~/devops-lab/reports/breakages.txt. Формат строк указан прямо в шагах — по нему проверяется сдача.
Шаг 1. Норма диска
Запомни, сколько свободно сейчас. Флаг -h — размеры в гигабайтах.
df -h / Filesystem Size Used Avail Use% Mounted on /dev/sda2 39G 17G 20G 46% /
У тебя числа будут свои. Запомни колонку Avail.
Шаг 2. Занять место
fallocate мгновенно создаёт файл нужного размера, ничего в него не записывая. Флаг -l задаёт длину — два гигабайта.
fallocate -l 2G ~/ballast.imgПовтори df -h / — в Avail станет на два гигабайта меньше. Представь, что не знаешь, откуда они взялись: так это и выглядит в аварии.
Шаг 3. Найти пожирателя
Ищем, какой каталог потолстел. Флаги du: -x — не выходить за эту файловую систему, -h — понятные единицы, -d 1 — только первый уровень. sort -h поставит самое большое в конец.
Нужен sudo: в домашнем каталоге с раздела про CI/CD лежит ~/gitlab, и данные GitLab принадлежат root. Без sudo ты получишь ворох строк Permission denied, а размер ~/gitlab окажется занижен.
sudo du -xh -d 1 ~ | sort -h 12K /home/anton/.ssh 84M /home/anton/infra 120M /home/anton/devops-lab 5.8G /home/anton/gitlab 8.0G /home/anton
Большой ~/gitlab здесь ожидаем — это данные GitLab, мы знаем, откуда они. Теперь сложи каталоги: вместе около 6 гигабайт, а весь домашний — 8. Разница в 2 гигабайта не лежит ни в одном вложенном каталоге, значит, это файл прямо в домашнем. Так и ищут на настоящем сервере: известное большое вычитают, неизвестное остаётся. Флаг -h у ls тоже печатает понятные размеры:
ls -lh ~ | sort -k5 -h drwxr-xr-x 3 anton anton 4.0K Oct 1 10:02 infra drwxr-xr-x 5 anton anton 4.0K Sep 27 18:40 gitlab -rw-r--r-- 1 anton anton 2.0G Oct 1 12:31 ballast.img
-l у ls — подробный список, -k5 у sort — сортировать по пятой колонке, размеру. У каталогов ls показывает 4.0K — это место под сам список имён, а не под содержимое. Виновник в последней строке. Запиши: Диск: ~/ballast.img 2G.
Шаг 4. Освободить и проверить другие места
Удаляем балласт:
rm ~/ballast.imgЗаодно посмотрим два места, которые в жизни съедают диск чаще всего. Журнал systemd:
journalctl --disk-usage Archived and active journals take up 184.0M in the file system.
И Docker — образы, контейнеры, тома, кеш сборки:
docker system df TYPE TOTAL ACTIVE SIZE RECLAIMABLE Images 14 7 3.9GB 1.6GB (41%) Containers 9 8 12MB 0B (0%) Local Volumes 5 4 620MB 48MB (7%) Build Cache 38 0 1.1GB 1.1GB
Колонка RECLAIMABLE — сколько можно освободить безопасно: образы и кеш, которыми никто не пользуется. Освобождают это командой docker system prune, а журнал — journalctl --vacuum-size, обе разобраны в уроке про ресурсы. Здесь не чистим: на стенде живут GitLab и мониторинг, и пусть их образы останутся.
Шаг 5. Упереться в память
Запустим контейнер с лимитом памяти 64 мегабайта (флаг -m) и программой, которая ест память без остановки: tail ищет конец строки в бесконечном потоке нулей и копит всё прочитанное.
docker run --name hog -m 64m alpine tail /dev/zeroЧерез пару секунд команда вернёт приглашение, ничего не напечатав. Контейнер умер молча — именно так OOM и выглядит снаружи.
Шаг 6. Как он умер
Флаг -a у docker ps покажет и остановленные контейнеры.
docker ps -a --filter name=hog CONTAINER ID IMAGE COMMAND STATUS NAMES a71c9e3f2b04 alpine "tail /dev/zero" Exited (137) 8 seconds ago hog
Код 137 — убит сигналом KILL. Подтвердим, что виновата память; флаг -f достаёт одно поле из описания:
docker inspect -f '{{.State.OOMKilled}}' hog true
Запиши: Память: 137, OOMKilled true. Логи docker logs hog будут пустыми — сам процесс не успел ничего сказать, его убило ядро.
Шаг 7. Убрать
Флаг -f у docker rm нужен только для работающих контейнеров, этот уже остановлен.
docker rm hog hog
Шаг 8. Контейнер, который падает по кругу
Программа false ничего не делает и завершается с кодом 1 — идеальный пример сломанного сервиса. Политика --restart always будет поднимать её снова и снова, а -d запустит в фоне.
docker run -d --name crashy --restart always alpine false 5e2d8b1c7f9a3e6d4b2c8f1a7e3d9b5c2f8a6e4d1b7c3f9a5e2d8b6c4f1a7e3d
Шаг 9. Симптом
Посмотрим на него через несколько секунд.
docker ps --filter name=crashy CONTAINER ID IMAGE COMMAND STATUS NAMES 5e2d8b1c7f9a alpine "false" Restarting (1) 2 seconds ago crashy
Restarting (1) — падает с кодом 1 и поднимается снова. Сколько раз уже:
docker inspect -f '{{.RestartCount}}' crashy 7
Подожди минуту и повтори — число вырастет, а паузы между попытками станут длиннее: Docker, как и Kubernetes, отступает.
Шаг 10. Логи пусты
Первое желание — посмотреть логи:
docker logs crashyНичего. Программа упала, не сказав ни слова, — так бывает, когда не хватает переменной, файла или прав, а приложение не пишет ошибку. Подсказка тогда в описании: какая команда запускается и с каким кодом умирает. Флаг -f выведет команду запуска:
docker inspect -f '{{.Config.Cmd}}' crashy [false]
Команда false и код 1 — причина найдена. Запиши: Перезапуск: код 1, RestartCount 7 — со своим числом.
Шаг 11. Убрать
Контейнер работает в цикле, поэтому нужен -f: он остановит и удалит.
docker rm -f crashy crashy
Шаг 12. То же в Kubernetes
Если кластер из раздела 16 ещё жив, повтори поломку там — команды короткие. kubectl run создаёт один под, флаг --image задаёт образ, а всё после двух дефисов — команда контейнера.
kubectl run crashy --image=alpine -- falseЧерез минуту kubectl get pods покажет CrashLoopBackOff, а kubectl describe pod crashy в разделе Last State — Exit Code: 1. Удали под командой kubectl delete pod crashy. Кластера нет — пропусти шаг, в отчёт он не входит.
Что дальше
Беды машины и контейнеров разобраны. Остались две, которые ломают работу внезапно, хотя готовились месяцами: истёкший сертификат и красный пайплайн.