В теории откат выглядел как одна команда. На деле самое неприятное в плохом выкате — понять, что он плохой: Helm с удовольствием напишет «deployed» про версию, которая не запустилась. Сейчас ты пройдёшь это руками.
Работаем в пространстве имён lab из прошлой практики, приложение — учебный чарт, который Helm умеет создавать сам.
Шаг 1. Учебный чарт
Команда helm create генерирует готовый чарт с веб-сервером nginx внутри — то, что нужно для опытов.
cd ~/lab helm create web
Creating webОткрой web/values.yaml в nano и поменяй число копий: найди строку replicaCount: 1 и поставь 3. Три копии нужны, чтобы было что выселять.
Шаг 2. Установить
helm install web ./webNAME: web NAMESPACE: lab STATUS: deployed REVISION: 1
Шаг 3. Где стоят поды
Флаг -o wide добавляет к списку колонки, среди них NODE — узел, на котором работает под.
kubectl get pods -o wideNAME READY STATUS NODE web-5d8c7b9f6d-4kq2x 1/1 Running k3d-stand-agent-0 web-5d8c7b9f6d-9xw7l 1/1 Running k3d-stand-agent-1 web-5d8c7b9f6d-tz5rp 1/1 Running k3d-stand-agent-0
Запомни узел, где стоят две копии из трёх, — в нашем примере k3d-stand-agent-0. Его ты и выведешь на обслуживание.
Шаг 4. Плохой выкат
Выкатим версию nginx, которой не существует. Флаг --set подменяет одно значение чарта прямо из командной строки.
helm upgrade web ./web --set image.tag=9.99Release "web" has been upgraded. Happy Helming! STATUS: deployed REVISION: 2
Обрати внимание: deployed. Helm по умолчанию не ждёт, запустились ли поды, — он отправил описание в кластер и доволен.
Шаг 5. Что на самом деле
Посмотри на поды.
kubectl get podsNAME READY STATUS RESTARTS web-5d8c7b9f6d-4kq2x 1/1 Running 0 web-5d8c7b9f6d-9xw7l 1/1 Running 0 web-5d8c7b9f6d-tz5rp 1/1 Running 0 web-7f4b6c8d9e-m2v8n 0/1 ImagePullBackOff 0
Новый под не может скачать образ (ImagePullBackOff), а три старых живы. Это работа порционного обновления из раздела 16: пока новый под не готов, старые не гасят, и сервис продолжает отвечать.
Шаг 6. История
Найди последнюю рабочую ревизию.
helm history webREVISION STATUS DESCRIPTION 1 superseded Install complete 2 deployed Upgrade complete
Helm считает вторую ревизию рабочей — он ведь не проверял. Рабочая на самом деле первая.
Шаг 7. Откат руками
Верни первую ревизию.
helm rollback web 1Rollback was a success! Happy Helming!Проверь поды той же командой kubectl get pods: под с ImagePullBackOff исчез, остались три рабочих. В истории теперь три ревизии, третья — копия первой.
На стенде курса всё то же самое, меняются только имена: релиз provision в пространстве имён provision, история — helm -n provision history provision. Учебный web мы ломаем вместо него, чтобы не трогать стенд из разделов 16–17. Правда, в шаге 10 стенд всё-таки заденет — и это будет самый полезный момент практики.
Шаг 8. Автоматический откат
Чтобы Helm сам ждал готовности и сам откатывал, нужен флаг --rollback-on-failure. Сломанное значение положим в отдельный файл — так команда короче. В nano создай ~/lab/bad.yaml:
image: tag: "9.99"
Флаг -f берёт значения из файла поверх values.yaml.
helm upgrade web ./web -f bad.yaml --rollback-on-failureHelm будет ждать до пяти минут — это его таймаут по умолчанию. Ждать необязательно: допиши в конец той же команды --timeout 1m, и Helm сдастся через минуту; в конвейере таймаут так и задают. Потом:
level=WARN msg="upgrade failed" name=web error="resource Deployment/lab/web not ready. status: InProgress, message: Updated: 1/3 context deadline exceeded" Error: UPGRADE FAILED: release web failed, and has been rolled back due to rollback-on-failure being set: resource Deployment/lab/web not ready. status: InProgress, message: Updated: 1/3 context deadline exceeded
Читай с конца: context deadline exceeded — время вышло; Updated: 1/3 — из трёх подов новой версии готов не стал ни один, обновлён только первый; has been rolled back — Helm вернул прошлую ревизию сам. В helm history web появятся две строки: failed у неудачного выката и deployed с пометкой Rollback to 3. Если у тебя Helm 3, флаг называется --atomic, а результат тот же.
Шаг 9. Бюджет отказов
Теперь защитим сервис от обслуживания узла. Создай ~/lab/pdb.yaml:
apiVersion: policy/v1 kind: PodDisruptionBudget metadata: name: web spec: minAvailable: 2 selector: matchLabels: app.kubernetes.io/name: web
Метку app.kubernetes.io/name: web чарт ставит своим подам сам, по ней бюджет их и находит.
kubectl apply -f pdb.yamlpoddisruptionbudget.policy/web createdШаг 10. Вывести узел
Имя узла длинное, сохрани его в переменную — подставь своё из шага 3.
N=k3d-stand-agent-0Флаг --ignore-daemonsets разрешает оставить на узле служебные поды, которые обязаны быть на каждом узле. Флаг --delete-emptydir-data разрешает выселить поды с временными каталогами — в k3s такой есть у сборщика метрик.
kubectl drain $N --ignore-daemonsets --delete-emptydir-datanode/k3d-stand-agent-0 cordoned evicting pod lab/web-5d8c7b9f6d-tz5rp evicting pod lab/web-5d8c7b9f6d-4kq2x error when evicting pods/"web-5d8c7b9f6d-4kq2x" (will retry after 5s): Cannot evict pod as it would violate the pod's disruption budget. pod/web-5d8c7b9f6d-tz5rp evicted pod/web-5d8c7b9f6d-4kq2x evicted node/k3d-stand-agent-0 drained
Вот бюджет в работе: второй под выселили не сразу, а только когда первый поднялся на другом узле. Живых копий всё время было не меньше двух. В списке выселенных могут оказаться и чужие поды — служебный local-path-provisioner и база стенда, если она жила на этом узле.
Шаг 11. Что стало с базой стенда
Посмотри на базу стенда из раздела 17. Флаг -o wide покажет, на каком она узле.
kubectl -n provision get pods -o wide | grep dbprovision-provision-db-0 0/1 Pending 0 6s <none> <none>Если база жила на выведенном узле, она теперь Pending, и стенд не отвечает. Причину назовут события пространства.
kubectl -n provision get events | grep db-036s Normal Killing pod/provision-provision-db-0 Stopping container postgres 5s Warning FailedScheduling pod/provision-provision-db-0 0/3 nodes are available: 1 node(s) were unschedulable, 2 node(s) didn't match PersistentVolume's node affinity. …
Читай по частям: один узел закрыт (unschedulable — это твой drain), а два других «не подходят под привязку тома к узлу». Хранилище local-path кладёт данные в каталог на диске конкретного узла, поэтому и под базы может жить только там. Бюджет отказов тут не поможет: у базы одна копия, и переехать ей некуда. В настоящем кластере базу кладут на сетевой диск, который переподключается к любому узлу, или держат несколько копий. Если твоя база стоит на другом узле и Running — тебе повезло, но запомни картину.
Шаг 12. Вернуть узел
Обслуживание закончено, узел снова принимает поды. Команда uncordon снимает запрет.
kubectl uncordon $Nnode/k3d-stand-agent-0 uncordonedПоды сами обратно не переедут — кластер не двигает работающее без причины. А база стенда, если висела в Pending, через несколько секунд поднимется: её узел снова открыт. Сейчас отправь команду сдачи.
Что дальше
Выкат и обслуживание под контролем. Следующая тема — кто вообще имеет право что-то делать в кластере: люди, конвейер и само приложение.