Самые дорогие минуты неудачного выката — не те, когда новая версия падает, а следующие, пока команда вспоминает, какая версия была до неё и как её вернуть. Вторая беда приходит позже: всё выкатилось хорошо, а через неделю узел ушёл на обслуживание, и вместе с ним разом пропали все копии сервиса, за который ты отвечаешь.
Этот урок про выкат — замену работающей версии приложения новой — и откат, возврат к прошлой, когда новая оказалась плохой. В разделе 16 ты уже менял образ и возвращал его командой kubectl rollout undo. В проде добавляются две вещи: выкатывают обычно через Helm, у которого своя история версий, а узлы кластера время от времени уходят на обслуживание вместе с твоими подами. Разберёшь, как откатиться за минуту и как не дать обслуживанию узла уронить сервис.
Что уже знаешь
Коротко повторим раздел 16. Deployment меняет поды порциями: поднимает новый, ждёт, пока проба готовности скажет «я готов», и только потом гасит старый. Порцию задают maxSurge (сколько подов можно добавить сверх нормы) и maxUnavailable (сколько можно потерять).
Без пробы готовности всё это не работает: кластер считает под готовым сразу после старта и пускает на него запросы, пока приложение ещё грузится. Поэтому проба — первое, что проверяют в описании перед выкатом в прод.
Только rollout undo знает лишь историю Deployment. Если релиз выкатывал Helm, откатывать надо через него — иначе Helm и кластер разойдутся во мнении, что сейчас выкачено.
Откат через Helm
Каждый helm upgrade создаёт новую ревизию релиза — пронумерованную запись «что и с какими значениями выкатили». Список ревизий — это и есть история выкатов.
helm history webREVISION STATUS CHART DESCRIPTION 1 superseded web-0.1.0 Install complete 2 failed web-0.1.0 Upgrade "web" failed
Читать так: ревизия 1 работала и была заменена (superseded), ревизия 2 не взлетела (failed). Вернуться к первой:
helm rollback web 1Rollback was a success! Happy Helming!Откат не стирает историю: появится ревизия 3 с содержимым первой. Так всегда видно, кто, когда и куда откатывал.
В конвейере ждать человека не хочется, поэтому helm upgrade запускают с флагом --rollback-on-failure: Helm сам дождётся готовности подов и при неудаче вернёт прошлую ревизию. В Helm 3 этот флаг назывался --atomic, и в старых статьях ты встретишь именно его — в Helm 4 он ещё работает, но выдаёт предупреждение.
Откат спасает от плохой версии. Но поды умирают и тогда, когда версия хорошая, — например, при обслуживании узла.
Обслуживание узла и бюджет отказов
Узлам ставят обновления ядра, их перезагружают, переносят. Перед этим узел осушают: командой kubectl drain запрещают ставить на него новые поды и выселяют текущие на соседей.
Опасность в том, что выселение идёт без оглядки на приложение. Если все три копии случайно стоят на одном узле, после drain сервис ляжет целиком. От этого защищает бюджет отказов — объект PodDisruptionBudget, коротко PDB.
spec: minAvailable: 2 # не меньше двух живых подов selector: matchLabels: app: web
С таким бюджетом drain выселяет поды по одному и ждёт, пока выселенный поднимется на другом узле. Если выселение нарушит бюджет, команда честно ждёт и пишет Cannot evict pod as it would violate the pod's disruption budget.
Обрати внимание на ловушку: бюджет minAvailable: 1 у приложения с одной копией делает узел невыводимым вовсе. drain будет ждать вечно, и администратор кластера придёт к тебе с вопросами.
Бюджет действует только на плановые выселения. Если узел сгорел, поды пропали без спроса, и бюджет тут ни при чём.
Есть ещё правила размещения — topologySpreadConstraints и podAntiAffinity. Они просят планировщик разнести копии по разным узлам или зонам, чтобы одна авария не уносила все копии разом. Здесь нам достаточно знать, что такое есть; пример — в документации Kubernetes.
Словарь урока
Что спросят на собеседовании
- Выкатили плохую версию через Helm. Как вернуть?helm history, чтобы найти последнюю рабочую ревизию, и helm rollback на неё. В конвейере — флаг rollback-on-failure, чтобы откат был автоматическим.
- Зачем нужен PodDisruptionBudget?Чтобы плановое обслуживание узлов не выселило слишком много копий сразу. Он не защищает от аварии узла.
- drain завис и не завершается. Почему?Скорее всего, выселение нарушило бы бюджет отказов: например, minAvailable 1 при одной копии. Смотреть вывод drain и kubectl get pdb.
Что дальше
В практике ты выкатишь заведомо сломанную версию через Helm, откатишься и выведешь узел на обслуживание, не уронив сервис.