Provision
—— XP

Практика: Deployment стенда

практика~40 минут+625 XP

До сих пор поды создавались командой и исчезали навсегда. Теперь приложение стенда — тот самый образ, который ты собрал в разделе 07 и запускал через Compose в разделе 08, — переедет в кластер так, как это делают в работе: файлом, который лежит в git и применяется командой kubectl apply.

Начнём с Deployment на одну копию — двадцать строк, которые уже работают. Потом будем добавлять по одной вещи и смотреть, что она меняет: число копий, переменную, пробы, ресурсы. В конце сломаем обновление и откатим его.

Файлы раздела будут жить в ~/infra/k8s/base/, и у каждого номер в начале имени. Зачем номера, станет ясно в миссии, а пока просто держи порядок: Deployment получает номер 30.

Шаг 1. Каталог для описаний

Заведи каталог внутри репозитория ~/infra, где уже лежат плейбуки и описания Terraform из прошлых разделов. Флаг -p создаёт и промежуточные каталоги и молчит, если они уже есть.

ubuntu@stand:~$
mkdir -p ~/infra/k8s/base
ubuntu@stand:~$
cd ~/infra/k8s/base

Шаг 2. Найти образ

Образ приложения ты положил в свой реестр в миссии раздела 07 под тегом 1.0.0. Проверь, что он на месте.

ubuntu@stand:~$
docker images | grep provision/app
ubuntu@stand:~$
localhost:5000/provision/app:1.0.0   3f2a9c1d7e44   152MB   41.2MB

Docker 29 печатает имя и тег вместе, через двоеточие, а размеров два: сколько образ занимает на диске и сколько весят его слои. Сверху может стоять строка WARNING: This output is designed for human readability — это не ошибка, Docker просто напоминает, что такой вывод сделан для глаз, а не для скриптов.

Шаг 3. Передать образ в кластер

Узлы кластера — отдельные контейнеры, и у каждого свой localhost. Реестр localhost:5000 с твоей машины изнутри узла не виден, поэтому образ заносим в кластер напрямую. Флаг -c указывает кластер.

ubuntu@stand:~$
k3d image import localhost:5000/provision/app:1.0.0 -c stand
ubuntu@stand:~$
INFO[0000] Importing image(s) into cluster 'stand'
INFO[0011] Successfully imported 1 image(s) into 1 cluster(s)

Теперь образ лежит на всех узлах, и кластеру не придётся его скачивать. Если пропустить этот шаг, поды повиснут в ImagePullBackOff — ты уже знаешь, как это выглядит.

Шаг 4. Deployment на одну копию

Открой nano 30-deployment.yaml и набери первый кусок: тип объекта, имя, число копий и то, какие поды Deployment считает своими.

30-deployment.yaml, часть 1
apiVersion: apps/v1
kind: Deployment
metadata:
  name: provision-app
  namespace: provision
spec:
  replicas: 1
  selector:
    matchLabels:
      app: provision-app

Строка namespace: provision закрепляет пространство в самом файле: применишь его из любого контекста — он попадёт куда надо. Ниже, с тем же отступом, что selector, — шаблон пода: метка и контейнер.

30-deployment.yaml, часть 2
  template:
    metadata:
      labels:
        app: provision-app
    spec:
      containers:
        - name: app
          image: localhost:5000/provision/app:1.0.0
          ports:
            - containerPort: 8000

Метка в selector и в template одна и та же — так Deployment узнает поды, которые сам создал. Сохрани файл: Ctrl+O, Enter, Ctrl+X. Флаг -f у apply указывает файл.

ubuntu@stand:~$
kubectl apply -f 30-deployment.yaml
ubuntu@stand:~$
deployment.apps/provision-app created

Если в YAML ошибка отступа, команда откажется работать и назовёт строку — исправь и повтори. Флаг -w у get следит за подами в реальном времени, выход по Ctrl+C.

ubuntu@stand:~$
kubectl get pods -w
ubuntu@stand:~$
NAME                             READY   STATUS              RESTARTS   AGE
provision-app-6d64664896-zzspx   0/1     ContainerCreating   0          0s
provision-app-6d64664896-zzspx   1/1     Running             0          0s

Одна копия, 1/1. Обрати внимание: под стал готовым в ту же секунду, как запустился процесс. Запомни это — вернёмся в шаге 11.

Шаг 5. Удалить под

Главный опыт: удали под и посмотри, что будет. Имя возьми из своего вывода.

ubuntu@stand:~$
kubectl delete pod provision-app-6d64664896-zzspx
ubuntu@stand:~$
pod "provision-app-6d64664896-zzspx" deleted from provision namespace
ubuntu@stand:~$
kubectl get pods
ubuntu@stand:~$
NAME                             READY   STATUS    RESTARTS   AGE
provision-app-6d64664896-mx7zk   1/1     Running   0          4s

Под четырёх секунд от роду — с новым именем. Контроллер увидел ноль вместо одного и досоздал, никто его не просил. Сравни с практикой про поды: там удалённый web не вернулся.

Шаг 6. Три копии, потом четыре

Одна копия — это простой при каждом пересоздании. Поменяй в файле replicas: 1 на replicas: 3 и примени.

ubuntu@stand:~$
kubectl apply -f 30-deployment.yaml
ubuntu@stand:~$
deployment.apps/provision-app configured
ubuntu@stand:~$
kubectl get deploy
ubuntu@stand:~$
NAME            READY   UP-TO-DATE   AVAILABLE   AGE
provision-app   3/3     3            3           40s

READY 3/3 — готовы все три из трёх. UP-TO-DATE — сколько подов уже новой версии шаблона, AVAILABLE — сколько принимают трафик. Когда все три числа равны replicas, всё в порядке.

Теперь сделай replicas: 4, но перед применением посмотри, что изменится.

ubuntu@stand:~$
kubectl diff -f 30-deployment.yaml
ubuntu@stand:~$
diff -u -N /tmp/LIVE-1408658142/apps.v1.Deployment.provision.provision-app /tmp/MERGED-2786374721/…
--- /tmp/LIVE-1408658142/apps.v1.Deployment.provision.provision-app
+++ /tmp/MERGED-2786374721/apps.v1.Deployment.provision.provision-app
@@ -6,14 +6,14 @@
-  generation: 2
+  generation: 3
   …
-  replicas: 3
+  replicas: 4

Это обычный вывод программы diff: kubectl сохранил во временные файлы то, что сейчас в кластере (LIVE), и то, что станет после применения (MERGED), и сравнил их. Минус — как сейчас, плюс — как станет. Кроме replicas поменяется generation — счётчик правок объекта, его кластер ведёт сам. Неизменённые строки вокруг здесь сокращены. Примени: kubectl apply -f 30-deployment.yaml, — и get deploy покажет 4/4.

Шаг 7. Обновление

Число копий меняет только количество. А любая правка шаблона пода запускает обновление: Deployment заменяет поды на новые. Добавь контейнеру переменную окружения — на одном уровне с ports.

30-deployment.yaml, у контейнера
          env:
            - name: APP_ENV
              value: lab
ubuntu@stand:~$
kubectl apply -f 30-deployment.yaml
ubuntu@stand:~$
deployment.apps/provision-app configured

Команда rollout status ждёт, пока обновление закончится, и рассказывает, как оно идёт.

ubuntu@stand:~$
kubectl rollout status deploy/provision-app
ubuntu@stand:~$
Waiting for deployment "provision-app" rollout to finish: 2 out of 4 new replicas have been updated...
Waiting for deployment "provision-app" rollout to finish: 3 out of 4 new replicas have been updated...
Waiting for deployment "provision-app" rollout to finish: 1 old replicas are pending termination...
deployment "provision-app" successfully rolled out

Поды менялись порциями: новый готов — старый убран. Строки повторяются, здесь оставлено по одной. Что осталось от прошлой версии?

ubuntu@stand:~$
kubectl get rs
ubuntu@stand:~$
NAME                       DESIRED   CURRENT   READY   AGE
provision-app-6cc8c64f94   4         4         4       2s
provision-app-6d64664896   0         0         0       52s

Новый ReplicaSet держит четыре пода, старый — ноль, но он жив. На нём в конце урока сработает откат.

Шаг 8. Готов ли под на самом деле

В шаге 4 под стал готовым в ту же секунду, как запустился процесс. Kubernetes считает так, пока не сказано иначе, — и пускает трафик на под, где приложение, может быть, ещё грузит настройки или вовсе не отвечает. Проба готовности (readiness) — запрос, после которого под считается готовым. Сначала дай порту имя, чтобы ссылаться на него словом: замени строку - containerPort: 8000.

30-deployment.yaml, вместо строки с containerPort
            - name: http
              containerPort: 8000

Теперь сама проба, на одном уровне с env.

30-deployment.yaml, у контейнера
          readinessProbe:
            httpGet: { path: /health, port: http }
            periodSeconds: 5

Фигурные скобки — короткая запись того же YAML в одну строку: { path: /health, port: http } значит то же, что два ключа столбиком. Kubernetes раз в пять секунд (periodSeconds) спрашивает /health на порту по имени http. Поменяешь номер порта — править придётся одно место; по этому же имени к подам обратится сервис в следующей практике.

ubuntu@stand:~$
kubectl apply -f 30-deployment.yaml
ubuntu@stand:~$
kubectl get pods -w
ubuntu@stand:~$
provision-app-77848d6b97-fdsmr   0/1     ContainerCreating   0          1s
provision-app-77848d6b97-fdsmr   0/1     Running             0          1s
provision-app-77848d6b97-fdsmr   1/1     Running             0          6s

Теперь видна разница между «запущен» и «готов»: 0/1 Running — процесс работает, но проба ещё не прошла, и трафика на него нет. 1/1 — только после ответа /health.

Шаг 9. Жив ли процесс

Проба готовности не перезапускает под: зависшее приложение просто останется без трафика. Перезапуском занимается проба живости (liveness). Посмотрим, что она делает, если не проходит: ошибёмся в адресе нарочно. Допиши на одном уровне с readinessProbe.

30-deployment.yaml, у контейнера
          livenessProbe:
            httpGet: { path: /nope, port: http }
            initialDelaySeconds: 10

initialDelaySeconds: 10 — первые десять секунд после запуска не проверять. Примени и подожди минуту.

ubuntu@stand:~$
kubectl get pods
ubuntu@stand:~$
NAME                             READY   STATUS    RESTARTS      AGE
provision-app-5cbd9977c5-dhmsc   1/1     Running   1 (11s ago)   51s
provision-app-5cbd9977c5-s9tp2   1/1     Running   1 (11s ago)   51s

RESTARTS 1 у каждого пода — и будет расти. Почему, расскажут события пода. Имя пода из своего вывода сохрани в переменной шелла, чтобы команда осталась короткой.

ubuntu@stand:~$
P=provision-app-5cbd9977c5-dhmsc

Команда describe печатает всё о поде, grep оставляет нужное.

ubuntu@stand:~$
kubectl describe pod $P | grep Liveness
ubuntu@stand:~$
    Liveness:   http-get http://:http/nope delay=10s timeout=1s period=10s #success=1 #failure=3
  Warning  Unhealthy  11s (x3 over 31s)  kubelet  spec.containers{app}: Liveness probe failed: HTTP probe failed with statuscode: 404

Первая строка — настройки пробы, вместе со значениями по умолчанию: опрос раз в 10 секунд, ждать ответа секунду, три неудачи подряд — и контейнер перезапускают. Вторая — три ответа 404 подряд. Проба живости с ошибкой опаснее, чем без неё: она перезапускает здоровое приложение без конца. Исправь /nope на /health и примени.

Шаг 10. Ресурсы

Последнее — сколько поду можно есть. Допиши на одном уровне с пробами.

30-deployment.yaml, у контейнера
          resources:
            requests: { cpu: 50m, memory: 64Mi }
            limits: { cpu: 500m, memory: 256Mi }

requests — сколько планировщик резервирует поду на узле: он не поставит под туда, где нет 50 милли-ядер (50m, двадцатая часть ядра) и 64 МиБ свободными. limits — потолок: больше половины ядра процессор не даст, а при превышении 256 МиБ памяти контейнер убьют с причиной OOMKilled. Варианты встречаются разные: только requests без limits — под может занять всё свободное на узле; одинаковые requests и limits — самый предсказуемый под, его выселят последним. Многие команды не ставят предел процессора вовсе, чтобы приложение не тормозило искусственно, а предел памяти ставят всегда.

ubuntu@stand:~$
kubectl apply -f 30-deployment.yaml
ubuntu@stand:~$
kubectl get deploy
ubuntu@stand:~$
NAME            READY   UP-TO-DATE   AVAILABLE   AGE
provision-app   4/4     4            4           2m54s

Файл готов. Сверь его: контейнер с портом и переменной —

30-deployment.yaml, контейнер
        - name: app
          image: localhost:5000/provision/app:1.0.0
          ports:
            - name: http
              containerPort: 8000
          env:
            - name: APP_ENV
              value: lab

— и сразу под ним пробы и ресурсы:

30-deployment.yaml, конец
          readinessProbe:
            httpGet: { path: /health, port: http }
            periodSeconds: 5
          livenessProbe:
            httpGet: { path: /health, port: http }
            initialDelaySeconds: 10
          resources:
            requests: { cpu: 50m, memory: 64Mi }
            limits: { cpu: 500m, memory: 256Mi }

Шаг 11. Неудачное обновление

Поставь в файле несуществующий тег образа: app:9.9.9 вместо app:1.0.0. Так ошибаются в версии при выкате.

ubuntu@stand:~$
kubectl apply -f 30-deployment.yaml
ubuntu@stand:~$
deployment.apps/provision-app configured
ubuntu@stand:~$
kubectl get pods
ubuntu@stand:~$
NAME                             READY   STATUS             RESTARTS   AGE
provision-app-769c4d65d-98jlc    1/1     Running            0          40s
provision-app-769c4d65d-nnm57    1/1     Running            0          38s
provision-app-769c4d65d-z98j8    1/1     Running            0          38s
provision-app-849fbf4698-ldlgb   0/1     ImagePullBackOff   0          25s
provision-app-849fbf4698-tqpfl   0/1     ImagePullBackOff   0          25s

Новые поды не скачали образ. Но три старых работают: обновление застряло, и Deployment не стал убирать рабочие поды, пока новые не готовы. Приложение отвечает, просто на трёх копиях вместо четырёх.

Почему именно три и два? У обновления два ограничителя, по умолчанию оба по четверти от replicas. maxSurge — сколько подов можно создать сверх нормы: четверть от четырёх — один, значит, всего подов бывает до пяти. maxUnavailable — сколько из четырёх разрешено потерять: тоже один, значит, готовых должно оставаться хотя бы три. Deployment убрал один старый под (осталось три — ровно минимум) и создал два новых (3 + 2 = 5 — ровно потолок). Дальше новые не готовы, и он стоит.

Шаг 12. Откат

Когда прод горит, сначала возвращают рабочую версию, а разбираются потом. Для этого есть одна команда.

ubuntu@stand:~$
kubectl rollout undo deploy/provision-app
ubuntu@stand:~$
Warning: resource deployments/provision-app was previously managed with 'kubectl apply'. Rolling back will not update the kubectl.kubernetes.io/last-applied-configuration annotation, …
deployment.apps/provision-app rolled back

Предупреждение — по делу. kubectl говорит: объект ты вёл через apply и файл, а откат меняет кластер мимо файла, поэтому файл и кластер теперь расходятся.

ubuntu@stand:~$
kubectl get deploy
ubuntu@stand:~$
NAME            READY   UP-TO-DATE   AVAILABLE   AGE
provision-app   4/4     4            4           3m40s

Через пару секунд снова четыре из четырёх.

Шаг 13. Вернуть файл в согласие с кластером

Посмотри, чем файл теперь отличается от кластера.

ubuntu@stand:~$
kubectl diff -f 30-deployment.yaml
ubuntu@stand:~$
-        image: localhost:5000/provision/app:1.0.0
+        image: localhost:5000/provision/app:9.9.9

В файле по-прежнему 9.9.9, и следующий apply снова сломал бы выкат. Верни в файле тег 1.0.0 и повтори kubectl diff: команда ничего не напечатает — это и значит, что файл и кластер совпадают. Это и есть порядок работы: аварийная команда — потом правка файла.

Шаг 14. История выкатов

Посмотри, что запомнил Deployment.

ubuntu@stand:~$
kubectl rollout history deploy/provision-app
ubuntu@stand:~$
REVISION  CHANGE-CAUSE
1         <none>
2         <none>
3         <none>
4         <none>
6         <none>
7         <none>

Ревизия — каждая правка шаблона пода: 1 — первый выкат, 2 — переменная, 3 — проба готовности, 4 — проба живости с ошибкой, 5 — исправление и ресурсы, 6 — сломанный тег, 7 — откат. Ревизии 5 нет: откат взял её шаблон и записал заново под новым номером. Смена replicas ревизий не создаёт — шаблон подов от неё не меняется. Колонка CHANGE-CAUSE пуста — в работе причину пишет конвейер CI, а здесь её никто не указывал.

Что дальше

Четыре пода работают, но обратиться к ним можно только по адресам, которые меняются при каждом пересоздании. Дальше — сервис, постоянная точка входа.

Практика 03+625 XP

Выкатить приложение в кластер Deployment-ом из файла, увидеть, как контроллер восстанавливает поды, и вернуть рабочую версию после неудачного обновления.

  • Все копии готовы
  • Обновление и откат проведены
  • Пробы и предел описаны в файле
Команда сдачи — выполни на своей машине
команда
kubectl -n provision get deploy provision-app; kubectl -n provision rollout history deploy/provision-app; grep -cE 'Probe:|limits:' ~/infra/k8s/base/30-deployment.yaml

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.