Provision
—— XP

Практика: OOMKilled и автомасштабирование

практика~25 минут+675 XP

В теории всё звучало гладко: лимит памяти убивает, HPA считает от запроса. Сейчас ты увидишь и то, и другое на своём кластере stand из раздела 16 — чтобы потом узнавать эти картины с первого взгляда.

Работать будем в отдельном пространстве имён lab: так стенд из прошлых разделов останется нетронутым.

Шаг 1. Пространство имён

Создай пространство имён для опытов.

ubuntu@stand:~$
kubectl create namespace lab
ubuntu@stand:~$
namespace/lab created

Чтобы не писать -n lab в каждой команде, сделай его текущим. Флаг --current значит «поменять текущий контекст», --namespace — какое пространство имён в нём считать умолчанием.

ubuntu@stand:~$
kubectl config set-context --current --namespace=lab
ubuntu@stand:~$
Context "k3d-stand" modified.

Шаг 2. Сборщик метрик

Проверь, что кластер знает потребление ресурсов. В k3s сборщик метрик встроен.

ubuntu@stand:~$
kubectl top nodes
ubuntu@stand:~$
NAME                 CPU(cores)   CPU(%)   MEMORY(bytes)   MEMORY(%)
k3d-stand-agent-0    54m          2%       159Mi           4%
k3d-stand-agent-1    48m          2%       201Mi           5%
k3d-stand-server-0   123m         6%       675Mi           17%

Колонки читаются просто: сколько процессора в миллиядрах и памяти занято сейчас и какая это доля от узла. Если вместо таблицы видишь Metrics API not available, сборщика нет — поставь его по ссылке из теории.

Шаг 3. Под, который съест память

Файлы опытов этого раздела будут лежать в отдельном каталоге ~/lab — это черновики, в репозиторий ~/infra они не идут. Заведи его.

ubuntu@stand:~$
mkdir -p ~/lab

Теперь опишем под, который заведомо попросит больше, чем ему разрешено: 250 МБ памяти при лимите 100. Идея взята из официального руководства, только вместо образа polinux/stress, который собран лишь под обычные процессоры amd64, возьмём busybox — он есть и для arm64.

nano ~/lab/oom.yaml
apiVersion: v1
kind: Pod
metadata:
  name: oom
spec:
  containers:
    - name: hog
      image: busybox
      resources:
        limits:
          memory: 100Mi
      command: ["sh", "-c", "head -c 250m /dev/zero | tail"]

Строка command — сама нагрузка. head -c 250m /dev/zero выдаёт 250 мегабайт нулей, а tail ищет в них последние строки. Переводов строки в нулях нет, поэтому tail вынужден держать в памяти всё целиком — и упирается в лимит.

Шаг 4. Запустить и посмотреть

Примени файл. Флаг -f указывает, из какого файла брать описание.

ubuntu@stand:~$
kubectl apply -f ~/lab/oom.yaml
ubuntu@stand:~$
pod/oom created

Подожди полминуты и посмотри на под.

ubuntu@stand:~$
kubectl get pod oom
ubuntu@stand:~$
NAME   READY   STATUS             RESTARTS      AGE
oom    0/1     CrashLoopBackOff   2 (15s ago)   40s

CrashLoopBackOff значит «контейнер падает, и кластер перезапускает его со всё большей паузой». Сам по себе этот статус причину не называет — это только симптом. Повтори команду — иногда в колонке на миг мелькнёт и сама причина, OOMKilled, но полагаться на это нельзя: следующая попытка снова покажет CrashLoopBackOff.

Шаг 5. Найти причину

Причина записана в прошлом состоянии контейнера.

ubuntu@stand:~$
kubectl describe pod oom | grep -A3 "Last State"
ubuntu@stand:~$
    Last State:     Terminated
      Reason:       OOMKilled
      Exit Code:    137

Вот она, картина, которую стоит запомнить: перезапуски, пустые логи, OOMKilled и код 137. Лечение зависит от причины — либо лимит занижен, либо приложение течёт. Поднимать лимит, не разобравшись, значит отложить ту же аварию на неделю.

Под oom пока не удаляй — его проверит команда сдачи.

Шаг 6. Нагрузка на процессор

Теперь нужна нагрузка, которую HPA заметит. Возьмём крошечный образ busybox и заставим его бесконечно считать контрольную сумму нулей: процессор занят, на экран ничего не пишется.

ubuntu@stand:~$
kubectl create deploy burn --image=busybox -- sum /dev/zero

Флаг --image задаёт образ, а всё после двух дефисов -- — команда, которую запустить в контейнере.

ubuntu@stand:~$
deployment.apps/burn created

Шаг 7. HPA без запросов

Создай HPA до того, как задал запросы, — чтобы увидеть ловушку из теории.

ubuntu@stand:~$
kubectl autoscale deploy burn --cpu=50% --max=4
ubuntu@stand:~$
horizontalpodautoscaler.autoscaling/burn autoscaled

Через минуту посмотри на него.

ubuntu@stand:~$
kubectl get hpa burn
ubuntu@stand:~$
NAME   REFERENCE         TARGETS              MINPODS   MAXPODS   REPLICAS
burn   Deployment/burn   cpu: <unknown>/50%   1         4         1

<unknown> в целях: процессор пода загружен полностью, но процент считать не от чего. Подов по-прежнему один.

Шаг 8. Задать запрос и лимит

Задай поду запрос процессора. Флаг --requests задаёт запрос.

ubuntu@stand:~$
kubectl set resources deploy burn --requests=cpu=100m
ubuntu@stand:~$
deployment.apps/burn resource requirements updated

И лимит, чтобы опыт не съел весь твой ноутбук. Флаг --limits задаёт потолок.

ubuntu@stand:~$
kubectl set resources deploy burn --limits=cpu=200m
ubuntu@stand:~$
deployment.apps/burn resource requirements updated

Шаг 9. Смотреть, как растёт

Флаг -w (watch) не завершает команду, а печатает новую строку при каждом изменении. Выход — Ctrl+C.

ubuntu@stand:~$
kubectl get hpa burn -w
ubuntu@stand:~$
NAME   REFERENCE         TARGETS         MINPODS   MAXPODS   REPLICAS
burn   Deployment/burn   cpu: 200%/50%   1         4         1
burn   Deployment/burn   cpu: 200%/50%   1         4         4

200% — каждый под упёрся в лимит 200m, а это вдвое больше запроса. Цель 50%, поэтому HPA сразу просит максимум, четыре пода. Нагрузка здесь искусственная: каждый под съедает свой лимит, сколько их ни добавляй, поэтому ниже 200% цифра не опустится.

Шаг 10. Посмотреть на поды

Проверь, сколько реально едят новые поды.

ubuntu@stand:~$
kubectl top pods
ubuntu@stand:~$
NAME                    CPU(cores)   MEMORY(bytes)
burn-6b7c9d5f4-2xk4p    200m         0Mi
burn-6b7c9d5f4-7hj9m    199m         0Mi
burn-6b7c9d5f4-qw3zr    200m         0Mi
burn-6b7c9d5f4-zt8mn    200m         0Mi

Каждый ровно на своём лимите. Сейчас отправь команду сдачи из блока ниже.

Шаг 11. Убрать за собой

После сдачи удали нагрузку и под с памятью, иначе они будут греть процессор.

ubuntu@stand:~$
kubectl delete deploy burn
kubectl delete hpa burn
kubectl delete pod oom
ubuntu@stand:~$
deployment.apps "burn" deleted
horizontalpodautoscaler.autoscaling "burn" deleted
pod "oom" deleted

Что дальше

Ты видел, как кластер убивает и как он масштабирует. Следующий вопрос — как выкатывать новые версии, не роняя сервис, и как откатываться.

Практика 01+675 XP

Узнавать OOMKilled за секунду и понимать, почему HPA без запросов не работает, а с запросами растёт.

  • Сборщик метрик отвечает
  • Под убит по памяти
  • У нагрузки есть запрос процессора
  • HPA добавил поды
Команда сдачи — выполни на своей машине
команда
echo "METRICS=$(kubectl top nodes --no-headers 2>/dev/null | wc -l)"; echo "OOM=$(kubectl -n lab get pod oom -o jsonpath='{.status.containerStatuses[0].lastState.terminated.reason}' 2>/dev/null)"; echo "REQ=$(kubectl -n lab get deploy burn -o jsonpath='{.spec.template.spec.containers[0].resources.requests.cpu}' 2>/dev/null)"; echo "HPA=$(kubectl -n lab get hpa burn -o jsonpath='{.status.currentReplicas}' 2>/dev/null)"

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.