Provision
—— XP

Автомасштабирование: HPA

теория~5 минут+270 XP

Днём в будни на сервис приходит в несколько раз больше запросов, чем ночью. Держать пять подов круглые сутки — платить за машины, которые полдня простаивают. Держать два — получить очередь и таймауты в час пик. А подкручивать число копий руками каждый вечер никто не станет.

Поэтому в проде число копий меняет не человек, а сам кластер, и называется это автомасштабированием. В Kubernetes за него отвечает объект HorizontalPodAutoscaler, коротко HPA: он смотрит на загрузку подов и добавляет или убирает копии в пределах, которые ты задал. В уроке разберёшь, как HPA считает нужное число подов, почему без запросов из прошлого урока он слепнет и в каких случаях новые копии только вредят.

Как HPA считает

HPA раз в 15 секунд спрашивает у сборщика метрик, сколько процессора съели поды, и сравнивает со своей целью. Цель задаётся в процентах, и здесь главная ловушка раздела: процент считается от запроса пода, а не от лимита и не от мощности узла.

Пример на цифрах. Запрос 100m, цель 50%. Значит, HPA начнёт добавлять поды, когда под в среднем съест больше 50 миллиядер — это почти ничего. Выглядит как «HPA сошёл с ума и расплодил десять подов на пустом месте», а причина — заниженный запрос.

Вторая половина ловушки: если запросов нет, HPA не работает вовсе. Считать процент не от чего, и в колонке целей висит <unknown>.

Сборщик метрик — программа metrics-server. В k3s, на котором стоит твой кластер stand, он встроен; в другом кластере его ставят отдельно одним манифестом из репозитория проекта.

Заниженный запрос или забытый metrics-server заметны только в выводе самого HPA, поэтому читать этот вывод надо уметь с первого дня.

Создать и прочитать

Простой HPA создаётся одной командой, без файла:

ubuntu@stand:~$
kubectl autoscale deploy web --cpu=50% --max=5
ubuntu@stand:~$
horizontalpodautoscaler.autoscaling/web autoscaled

Флаг --cpu=50% — цель загрузки в процентах от запроса (старая запись --cpu-percent=50 ещё работает, но kubectl 1.36 предупреждает, что она устарела), --max — сколько подов разрешено максимум. Минимум по умолчанию один, его меняют флагом --min.

ubuntu@stand:~$
kubectl get hpa
ubuntu@stand:~$
NAME   REFERENCE        TARGETS        MINPODS   MAXPODS   REPLICAS
web    Deployment/web   cpu: 82%/50%   1         5         2

Читать так: TARGETS — текущая загрузка и цель через дробь. 82% больше 50%, поэтому REPLICAS уже выросло до двух и будет расти, пока среднее не опустится к цели или пока не упрётся в MAXPODS.

В проде HPA описывают файлом рядом с Deployment. Главное в нём — те же три вещи:

кусок hpa.yaml
  minReplicas: 2
  maxReplicas: 10
  metrics:
    - type: Resource
      resource:
        name: cpu
        target: { type: Utilization, averageUtilization: 70 }

Полный пример с разбором — в официальном руководстве по HPA.

Но число копий — не универсальное лекарство: бывает нагрузка, при которой каждый новый под ухудшает дело.

Где HPA не поможет

HPA добавляет копии приложения, но не добавляет базе данных скорости. Если всё упёрлось в медленную базу, новые поды откроют к ней ещё больше соединений и сделают хуже.

Убирает поды HPA медленно, по умолчанию выжидая пять минут. Это намеренно: короткий всплеск не должен превращаться в качели «добавил — убрал — добавил».

И ещё одна частая ошибка: число копий задано и в Deployment, и в HPA. Тогда при каждом выкате Deployment возвращает своё число, а HPA — своё. Когда включён HPA, поле replicas в Deployment или в значениях Helm-чарта не указывают.

Есть ещё два вида масштабирования, о которых достаточно знать. VPA подбирает поду запросы по наблюдению, чаще в режиме «только рекомендации». Cluster Autoscaler добавляет узлы, когда подам некуда встать, — это работает в облаке, где машину можно заказать по API, о чём был раздел 14.

Словарь урока

HPA
HorizontalPodAutoscaler — объект, который меняет число подов по нагрузке в пределах от min до max. ↩ к тексту
metrics-server
Сборщик текущего потребления процессора и памяти. Без него не работают kubectl top и HPA. ↩ к тексту
Цель загрузки
Процент от запроса пода, к которому HPA подгоняет среднее потребление. ↩ к тексту
Cluster Autoscaler
Программа, которая добавляет и убирает узлы кластера в облаке. ↩ к тексту

Что спросят на собеседовании

  • HPA ничего не делает. Почему?
    Чаще всего у подов нет запросов или в кластере не работает metrics-server. Ещё вариант — replicas задан одновременно в Deployment и в HPA.
  • Чем HPA отличается от Cluster Autoscaler?
    HPA меняет число подов, Cluster Autoscaler — число узлов. Обычно работают в паре: HPA просит подов, им не хватает места, автоскейлер заказывает машину.

Что дальше

Теории хватит. В практике ты увидишь OOMKilled своими глазами и заставишь HPA расти под искусственной нагрузкой.

Проверь себя+270 XPдве попытки
1
От чего процент
От чего HPA считает целевую загрузку процессора?
2
unknown
В выводе kubectl get hpa в колонке TARGETS стоит <unknown>/50%. Что проверить первым?
3
Три вида
Что добавляет Cluster Autoscaler?
ответь на все вопросы, чтобы проверить

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.