Provision
—— XP

Выкат, откат и обслуживание узла

теория~5 минут+270 XP

Самые дорогие минуты неудачного выката — не те, когда новая версия падает, а следующие, пока команда вспоминает, какая версия была до неё и как её вернуть. Вторая беда приходит позже: всё выкатилось хорошо, а через неделю узел ушёл на обслуживание, и вместе с ним разом пропали все копии сервиса, за который ты отвечаешь.

Этот урок про выкат — замену работающей версии приложения новой — и откат, возврат к прошлой, когда новая оказалась плохой. В разделе 16 ты уже менял образ и возвращал его командой kubectl rollout undo. В проде добавляются две вещи: выкатывают обычно через Helm, у которого своя история версий, а узлы кластера время от времени уходят на обслуживание вместе с твоими подами. Разберёшь, как откатиться за минуту и как не дать обслуживанию узла уронить сервис.

Что уже знаешь

Коротко повторим раздел 16. Deployment меняет поды порциями: поднимает новый, ждёт, пока проба готовности скажет «я готов», и только потом гасит старый. Порцию задают maxSurge (сколько подов можно добавить сверх нормы) и maxUnavailable (сколько можно потерять).

Без пробы готовности всё это не работает: кластер считает под готовым сразу после старта и пускает на него запросы, пока приложение ещё грузится. Поэтому проба — первое, что проверяют в описании перед выкатом в прод.

Только rollout undo знает лишь историю Deployment. Если релиз выкатывал Helm, откатывать надо через него — иначе Helm и кластер разойдутся во мнении, что сейчас выкачено.

Откат через Helm

Каждый helm upgrade создаёт новую ревизию релиза — пронумерованную запись «что и с какими значениями выкатили». Список ревизий — это и есть история выкатов.

ubuntu@stand:~$
helm history web
ubuntu@stand:~$
REVISION  STATUS      CHART      DESCRIPTION
1         superseded  web-0.1.0  Install complete
2         failed      web-0.1.0  Upgrade "web" failed

Читать так: ревизия 1 работала и была заменена (superseded), ревизия 2 не взлетела (failed). Вернуться к первой:

ubuntu@stand:~$
helm rollback web 1
ubuntu@stand:~$
Rollback was a success! Happy Helming!

Откат не стирает историю: появится ревизия 3 с содержимым первой. Так всегда видно, кто, когда и куда откатывал.

В конвейере ждать человека не хочется, поэтому helm upgrade запускают с флагом --rollback-on-failure: Helm сам дождётся готовности подов и при неудаче вернёт прошлую ревизию. В Helm 3 этот флаг назывался --atomic, и в старых статьях ты встретишь именно его — в Helm 4 он ещё работает, но выдаёт предупреждение.

Откат спасает от плохой версии. Но поды умирают и тогда, когда версия хорошая, — например, при обслуживании узла.

Обслуживание узла и бюджет отказов

Узлам ставят обновления ядра, их перезагружают, переносят. Перед этим узел осушают: командой kubectl drain запрещают ставить на него новые поды и выселяют текущие на соседей.

Опасность в том, что выселение идёт без оглядки на приложение. Если все три копии случайно стоят на одном узле, после drain сервис ляжет целиком. От этого защищает бюджет отказов — объект PodDisruptionBudget, коротко PDB.

кусок pdb.yaml
spec:
  minAvailable: 2          # не меньше двух живых подов
  selector:
    matchLabels:
      app: web

С таким бюджетом drain выселяет поды по одному и ждёт, пока выселенный поднимется на другом узле. Если выселение нарушит бюджет, команда честно ждёт и пишет Cannot evict pod as it would violate the pod's disruption budget.

Обрати внимание на ловушку: бюджет minAvailable: 1 у приложения с одной копией делает узел невыводимым вовсе. drain будет ждать вечно, и администратор кластера придёт к тебе с вопросами.

Бюджет действует только на плановые выселения. Если узел сгорел, поды пропали без спроса, и бюджет тут ни при чём.

Есть ещё правила размещения — topologySpreadConstraints и podAntiAffinity. Они просят планировщик разнести копии по разным узлам или зонам, чтобы одна авария не уносила все копии разом. Здесь нам достаточно знать, что такое есть; пример — в документации Kubernetes.

Словарь урока

Ревизия
Пронумерованная запись Helm о выкате: чарт, значения, статус. По номеру ревизии делают откат. ↩ к тексту
helm rollback
Откат релиза к указанной ревизии. Создаёт новую ревизию, историю не стирает.
drain
Осушение узла: запрет новых подов и выселение текущих перед обслуживанием.
PodDisruptionBudget
Сколько подов приложения должно оставаться живыми при плановых выселениях. ↩ к тексту

Что спросят на собеседовании

  • Выкатили плохую версию через Helm. Как вернуть?
    helm history, чтобы найти последнюю рабочую ревизию, и helm rollback на неё. В конвейере — флаг rollback-on-failure, чтобы откат был автоматическим.
  • Зачем нужен PodDisruptionBudget?
    Чтобы плановое обслуживание узлов не выселило слишком много копий сразу. Он не защищает от аварии узла.
  • drain завис и не завершается. Почему?
    Скорее всего, выселение нарушило бы бюджет отказов: например, minAvailable 1 при одной копии. Смотреть вывод drain и kubectl get pdb.

Что дальше

В практике ты выкатишь заведомо сломанную версию через Helm, откатишься и выведешь узел на обслуживание, не уронив сервис.

Проверь себя+270 XPдве попытки
1
Откат
Что делает команда helm rollback web 1?
2
Бюджет отказов
От чего защищает PodDisruptionBudget?
3
Обслуживание узла
Что делает kubectl drain?
4
Автооткат
Зачем в конвейере helm upgrade запускают с флагом --rollback-on-failure?
ответь на все вопросы, чтобы проверить

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.