Provision
—— XP

Практика: плохой выкат, откат и вывод узла

практика~30 минут+675 XP

В теории откат выглядел как одна команда. На деле самое неприятное в плохом выкате — понять, что он плохой: Helm с удовольствием напишет «deployed» про версию, которая не запустилась. Сейчас ты пройдёшь это руками.

Работаем в пространстве имён lab из прошлой практики, приложение — учебный чарт, который Helm умеет создавать сам.

Шаг 1. Учебный чарт

Команда helm create генерирует готовый чарт с веб-сервером nginx внутри — то, что нужно для опытов.

ubuntu@stand:~$
cd ~/lab
helm create web
ubuntu@stand:~$
Creating web

Открой web/values.yaml в nano и поменяй число копий: найди строку replicaCount: 1 и поставь 3. Три копии нужны, чтобы было что выселять.

Шаг 2. Установить

Установи релиз с именем web из каталога ./web.

ubuntu@stand:~$
helm install web ./web
ubuntu@stand:~$
NAME: web
NAMESPACE: lab
STATUS: deployed
REVISION: 1

Шаг 3. Где стоят поды

Флаг -o wide добавляет к списку колонки, среди них NODE — узел, на котором работает под.

ubuntu@stand:~$
kubectl get pods -o wide
ubuntu@stand:~$
NAME                   READY   STATUS    NODE
web-5d8c7b9f6d-4kq2x   1/1     Running   k3d-stand-agent-0
web-5d8c7b9f6d-9xw7l   1/1     Running   k3d-stand-agent-1
web-5d8c7b9f6d-tz5rp   1/1     Running   k3d-stand-agent-0

Запомни узел, где стоят две копии из трёх, — в нашем примере k3d-stand-agent-0. Его ты и выведешь на обслуживание.

Шаг 4. Плохой выкат

Выкатим версию nginx, которой не существует. Флаг --set подменяет одно значение чарта прямо из командной строки.

ubuntu@stand:~$
helm upgrade web ./web --set image.tag=9.99
ubuntu@stand:~$
Release "web" has been upgraded. Happy Helming!
STATUS: deployed
REVISION: 2

Обрати внимание: deployed. Helm по умолчанию не ждёт, запустились ли поды, — он отправил описание в кластер и доволен.

Шаг 5. Что на самом деле

Посмотри на поды.

ubuntu@stand:~$
kubectl get pods
ubuntu@stand:~$
NAME                   READY   STATUS             RESTARTS
web-5d8c7b9f6d-4kq2x   1/1     Running            0
web-5d8c7b9f6d-9xw7l   1/1     Running            0
web-5d8c7b9f6d-tz5rp   1/1     Running            0
web-7f4b6c8d9e-m2v8n   0/1     ImagePullBackOff   0

Новый под не может скачать образ (ImagePullBackOff), а три старых живы. Это работа порционного обновления из раздела 16: пока новый под не готов, старые не гасят, и сервис продолжает отвечать.

Шаг 6. История

Найди последнюю рабочую ревизию.

ubuntu@stand:~$
helm history web
ubuntu@stand:~$
REVISION  STATUS      DESCRIPTION
1         superseded  Install complete
2         deployed    Upgrade complete

Helm считает вторую ревизию рабочей — он ведь не проверял. Рабочая на самом деле первая.

Шаг 7. Откат руками

Верни первую ревизию.

ubuntu@stand:~$
helm rollback web 1
ubuntu@stand:~$
Rollback was a success! Happy Helming!

Проверь поды той же командой kubectl get pods: под с ImagePullBackOff исчез, остались три рабочих. В истории теперь три ревизии, третья — копия первой.

На стенде курса всё то же самое, меняются только имена: релиз provision в пространстве имён provision, история — helm -n provision history provision. Учебный web мы ломаем вместо него, чтобы не трогать стенд из разделов 16–17. Правда, в шаге 10 стенд всё-таки заденет — и это будет самый полезный момент практики.

Шаг 8. Автоматический откат

Чтобы Helm сам ждал готовности и сам откатывал, нужен флаг --rollback-on-failure. Сломанное значение положим в отдельный файл — так команда короче. В nano создай ~/lab/bad.yaml:

~/lab/bad.yaml
image:
  tag: "9.99"

Флаг -f берёт значения из файла поверх values.yaml.

ubuntu@stand:~$
helm upgrade web ./web -f bad.yaml --rollback-on-failure

Helm будет ждать до пяти минут — это его таймаут по умолчанию. Ждать необязательно: допиши в конец той же команды --timeout 1m, и Helm сдастся через минуту; в конвейере таймаут так и задают. Потом:

ubuntu@stand:~$
level=WARN msg="upgrade failed" name=web error="resource Deployment/lab/web not ready. status: InProgress, message: Updated: 1/3
context deadline exceeded"
Error: UPGRADE FAILED: release web failed, and has been rolled back due to rollback-on-failure being set: resource Deployment/lab/web not ready. status: InProgress, message: Updated: 1/3
context deadline exceeded

Читай с конца: context deadline exceeded — время вышло; Updated: 1/3 — из трёх подов новой версии готов не стал ни один, обновлён только первый; has been rolled back — Helm вернул прошлую ревизию сам. В helm history web появятся две строки: failed у неудачного выката и deployed с пометкой Rollback to 3. Если у тебя Helm 3, флаг называется --atomic, а результат тот же.

Шаг 9. Бюджет отказов

Теперь защитим сервис от обслуживания узла. Создай ~/lab/pdb.yaml:

~/lab/pdb.yaml
apiVersion: policy/v1
kind: PodDisruptionBudget
metadata:
  name: web
spec:
  minAvailable: 2
  selector:
    matchLabels:
      app.kubernetes.io/name: web

Метку app.kubernetes.io/name: web чарт ставит своим подам сам, по ней бюджет их и находит.

ubuntu@stand:~$
kubectl apply -f pdb.yaml
ubuntu@stand:~$
poddisruptionbudget.policy/web created

Шаг 10. Вывести узел

Имя узла длинное, сохрани его в переменную — подставь своё из шага 3.

ubuntu@stand:~$
N=k3d-stand-agent-0

Флаг --ignore-daemonsets разрешает оставить на узле служебные поды, которые обязаны быть на каждом узле. Флаг --delete-emptydir-data разрешает выселить поды с временными каталогами — в k3s такой есть у сборщика метрик.

ubuntu@stand:~$
kubectl drain $N --ignore-daemonsets --delete-emptydir-data
ubuntu@stand:~$
node/k3d-stand-agent-0 cordoned
evicting pod lab/web-5d8c7b9f6d-tz5rp
evicting pod lab/web-5d8c7b9f6d-4kq2x
error when evicting pods/"web-5d8c7b9f6d-4kq2x" (will retry after 5s):
  Cannot evict pod as it would violate the pod's disruption budget.
pod/web-5d8c7b9f6d-tz5rp evicted
pod/web-5d8c7b9f6d-4kq2x evicted
node/k3d-stand-agent-0 drained

Вот бюджет в работе: второй под выселили не сразу, а только когда первый поднялся на другом узле. Живых копий всё время было не меньше двух. В списке выселенных могут оказаться и чужие поды — служебный local-path-provisioner и база стенда, если она жила на этом узле.

Шаг 11. Что стало с базой стенда

Посмотри на базу стенда из раздела 17. Флаг -o wide покажет, на каком она узле.

ubuntu@stand:~$
kubectl -n provision get pods -o wide | grep db
ubuntu@stand:~$
provision-provision-db-0   0/1   Pending   0   6s   <none>   <none>

Если база жила на выведенном узле, она теперь Pending, и стенд не отвечает. Причину назовут события пространства.

ubuntu@stand:~$
kubectl -n provision get events | grep db-0
ubuntu@stand:~$
36s   Normal    Killing            pod/provision-provision-db-0   Stopping container postgres
5s    Warning   FailedScheduling   pod/provision-provision-db-0   0/3 nodes are available: 1 node(s) were unschedulable, 2 node(s) didn't match PersistentVolume's node affinity. …

Читай по частям: один узел закрыт (unschedulable — это твой drain), а два других «не подходят под привязку тома к узлу». Хранилище local-path кладёт данные в каталог на диске конкретного узла, поэтому и под базы может жить только там. Бюджет отказов тут не поможет: у базы одна копия, и переехать ей некуда. В настоящем кластере базу кладут на сетевой диск, который переподключается к любому узлу, или держат несколько копий. Если твоя база стоит на другом узле и Running — тебе повезло, но запомни картину.

Шаг 12. Вернуть узел

Обслуживание закончено, узел снова принимает поды. Команда uncordon снимает запрет.

ubuntu@stand:~$
kubectl uncordon $N
ubuntu@stand:~$
node/k3d-stand-agent-0 uncordoned

Поды сами обратно не переедут — кластер не двигает работающее без причины. А база стенда, если висела в Pending, через несколько секунд поднимется: её узел снова открыт. Сейчас отправь команду сдачи.

Что дальше

Выкат и обслуживание под контролем. Следующая тема — кто вообще имеет право что-то делать в кластере: люди, конвейер и само приложение.

Практика 02+675 XP

Откатывать релиз Helm за минуту и выводить узел на обслуживание, не роняя сервис.

  • В истории есть выкаты и откаты
  • Релиз в рабочем состоянии
  • Сломанной версии не осталось
  • Три копии готовы
  • Есть бюджет отказов
  • Узел возвращён в работу
Команда сдачи — выполни на своей машине
команда
echo "REVS=$(helm -n lab history web 2>/dev/null | tail -n +2 | wc -l)"; echo "LAST=$(helm -n lab status web 2>/dev/null | grep STATUS)"; echo "IMAGE=$(kubectl -n lab get deploy web -o jsonpath='{.spec.template.spec.containers[0].image}' 2>/dev/null)"; echo "READY=$(kubectl -n lab get deploy web -o jsonpath='{.status.readyReplicas}' 2>/dev/null)"; echo "PDB=$(kubectl -n lab get pdb web -o jsonpath='{.spec.minAvailable}' 2>/dev/null)"; echo "CORDONED=$(kubectl get nodes 2>/dev/null | grep -c SchedulingDisabled)"

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.