До сих пор поды создавались командой и исчезали навсегда. Теперь приложение стенда — тот самый образ, который ты собрал в разделе 07 и запускал через Compose в разделе 08, — переедет в кластер так, как это делают в работе: файлом, который лежит в git и применяется командой kubectl apply.
Начнём с Deployment на одну копию — двадцать строк, которые уже работают. Потом будем добавлять по одной вещи и смотреть, что она меняет: число копий, переменную, пробы, ресурсы. В конце сломаем обновление и откатим его.
Файлы раздела будут жить в ~/infra/k8s/base/, и у каждого номер в начале имени. Зачем номера, станет ясно в миссии, а пока просто держи порядок: Deployment получает номер 30.
Шаг 1. Каталог для описаний
Заведи каталог внутри репозитория ~/infra, где уже лежат плейбуки и описания Terraform из прошлых разделов. Флаг -p создаёт и промежуточные каталоги и молчит, если они уже есть.
mkdir -p ~/infra/k8s/basecd ~/infra/k8s/baseШаг 2. Найти образ
Образ приложения ты положил в свой реестр в миссии раздела 07 под тегом 1.0.0. Проверь, что он на месте.
docker images | grep provision/applocalhost:5000/provision/app:1.0.0 3f2a9c1d7e44 152MB 41.2MBDocker 29 печатает имя и тег вместе, через двоеточие, а размеров два: сколько образ занимает на диске и сколько весят его слои. Сверху может стоять строка WARNING: This output is designed for human readability — это не ошибка, Docker просто напоминает, что такой вывод сделан для глаз, а не для скриптов.
Шаг 3. Передать образ в кластер
Узлы кластера — отдельные контейнеры, и у каждого свой localhost. Реестр localhost:5000 с твоей машины изнутри узла не виден, поэтому образ заносим в кластер напрямую. Флаг -c указывает кластер.
k3d image import localhost:5000/provision/app:1.0.0 -c standINFO[0000] Importing image(s) into cluster 'stand' INFO[0011] Successfully imported 1 image(s) into 1 cluster(s)
Теперь образ лежит на всех узлах, и кластеру не придётся его скачивать. Если пропустить этот шаг, поды повиснут в ImagePullBackOff — ты уже знаешь, как это выглядит.
Шаг 4. Deployment на одну копию
Открой nano 30-deployment.yaml и набери первый кусок: тип объекта, имя, число копий и то, какие поды Deployment считает своими.
apiVersion: apps/v1 kind: Deployment metadata: name: provision-app namespace: provision spec: replicas: 1 selector: matchLabels: app: provision-app
Строка namespace: provision закрепляет пространство в самом файле: применишь его из любого контекста — он попадёт куда надо. Ниже, с тем же отступом, что selector, — шаблон пода: метка и контейнер.
template: metadata: labels: app: provision-app spec: containers: - name: app image: localhost:5000/provision/app:1.0.0 ports: - containerPort: 8000
Метка в selector и в template одна и та же — так Deployment узнает поды, которые сам создал. Сохрани файл: Ctrl+O, Enter, Ctrl+X. Флаг -f у apply указывает файл.
kubectl apply -f 30-deployment.yamldeployment.apps/provision-app createdЕсли в YAML ошибка отступа, команда откажется работать и назовёт строку — исправь и повтори. Флаг -w у get следит за подами в реальном времени, выход по Ctrl+C.
kubectl get pods -wNAME READY STATUS RESTARTS AGE provision-app-6d64664896-zzspx 0/1 ContainerCreating 0 0s provision-app-6d64664896-zzspx 1/1 Running 0 0s
Одна копия, 1/1. Обрати внимание: под стал готовым в ту же секунду, как запустился процесс. Запомни это — вернёмся в шаге 11.
Шаг 5. Удалить под
Главный опыт: удали под и посмотри, что будет. Имя возьми из своего вывода.
kubectl delete pod provision-app-6d64664896-zzspxpod "provision-app-6d64664896-zzspx" deleted from provision namespacekubectl get podsNAME READY STATUS RESTARTS AGE provision-app-6d64664896-mx7zk 1/1 Running 0 4s
Под четырёх секунд от роду — с новым именем. Контроллер увидел ноль вместо одного и досоздал, никто его не просил. Сравни с практикой про поды: там удалённый web не вернулся.
Шаг 6. Три копии, потом четыре
Одна копия — это простой при каждом пересоздании. Поменяй в файле replicas: 1 на replicas: 3 и примени.
kubectl apply -f 30-deployment.yamldeployment.apps/provision-app configuredkubectl get deployNAME READY UP-TO-DATE AVAILABLE AGE provision-app 3/3 3 3 40s
READY 3/3 — готовы все три из трёх. UP-TO-DATE — сколько подов уже новой версии шаблона, AVAILABLE — сколько принимают трафик. Когда все три числа равны replicas, всё в порядке.
Теперь сделай replicas: 4, но перед применением посмотри, что изменится.
kubectl diff -f 30-deployment.yamldiff -u -N /tmp/LIVE-1408658142/apps.v1.Deployment.provision.provision-app /tmp/MERGED-2786374721/… --- /tmp/LIVE-1408658142/apps.v1.Deployment.provision.provision-app +++ /tmp/MERGED-2786374721/apps.v1.Deployment.provision.provision-app @@ -6,14 +6,14 @@ - generation: 2 + generation: 3 … - replicas: 3 + replicas: 4
Это обычный вывод программы diff: kubectl сохранил во временные файлы то, что сейчас в кластере (LIVE), и то, что станет после применения (MERGED), и сравнил их. Минус — как сейчас, плюс — как станет. Кроме replicas поменяется generation — счётчик правок объекта, его кластер ведёт сам. Неизменённые строки вокруг здесь сокращены. Примени: kubectl apply -f 30-deployment.yaml, — и get deploy покажет 4/4.
Шаг 7. Обновление
Число копий меняет только количество. А любая правка шаблона пода запускает обновление: Deployment заменяет поды на новые. Добавь контейнеру переменную окружения — на одном уровне с ports.
env: - name: APP_ENV value: lab
kubectl apply -f 30-deployment.yamldeployment.apps/provision-app configuredКоманда rollout status ждёт, пока обновление закончится, и рассказывает, как оно идёт.
kubectl rollout status deploy/provision-appWaiting for deployment "provision-app" rollout to finish: 2 out of 4 new replicas have been updated... Waiting for deployment "provision-app" rollout to finish: 3 out of 4 new replicas have been updated... Waiting for deployment "provision-app" rollout to finish: 1 old replicas are pending termination... deployment "provision-app" successfully rolled out
Поды менялись порциями: новый готов — старый убран. Строки повторяются, здесь оставлено по одной. Что осталось от прошлой версии?
kubectl get rsNAME DESIRED CURRENT READY AGE provision-app-6cc8c64f94 4 4 4 2s provision-app-6d64664896 0 0 0 52s
Новый ReplicaSet держит четыре пода, старый — ноль, но он жив. На нём в конце урока сработает откат.
Шаг 8. Готов ли под на самом деле
В шаге 4 под стал готовым в ту же секунду, как запустился процесс. Kubernetes считает так, пока не сказано иначе, — и пускает трафик на под, где приложение, может быть, ещё грузит настройки или вовсе не отвечает. Проба готовности (readiness) — запрос, после которого под считается готовым. Сначала дай порту имя, чтобы ссылаться на него словом: замени строку - containerPort: 8000.
- name: http containerPort: 8000
Теперь сама проба, на одном уровне с env.
readinessProbe: httpGet: { path: /health, port: http } periodSeconds: 5
Фигурные скобки — короткая запись того же YAML в одну строку: { path: /health, port: http } значит то же, что два ключа столбиком. Kubernetes раз в пять секунд (periodSeconds) спрашивает /health на порту по имени http. Поменяешь номер порта — править придётся одно место; по этому же имени к подам обратится сервис в следующей практике.
kubectl apply -f 30-deployment.yamlkubectl get pods -wprovision-app-77848d6b97-fdsmr 0/1 ContainerCreating 0 1s provision-app-77848d6b97-fdsmr 0/1 Running 0 1s provision-app-77848d6b97-fdsmr 1/1 Running 0 6s
Теперь видна разница между «запущен» и «готов»: 0/1 Running — процесс работает, но проба ещё не прошла, и трафика на него нет. 1/1 — только после ответа /health.
Шаг 9. Жив ли процесс
Проба готовности не перезапускает под: зависшее приложение просто останется без трафика. Перезапуском занимается проба живости (liveness). Посмотрим, что она делает, если не проходит: ошибёмся в адресе нарочно. Допиши на одном уровне с readinessProbe.
livenessProbe: httpGet: { path: /nope, port: http } initialDelaySeconds: 10
initialDelaySeconds: 10 — первые десять секунд после запуска не проверять. Примени и подожди минуту.
kubectl get podsNAME READY STATUS RESTARTS AGE provision-app-5cbd9977c5-dhmsc 1/1 Running 1 (11s ago) 51s provision-app-5cbd9977c5-s9tp2 1/1 Running 1 (11s ago) 51s
RESTARTS 1 у каждого пода — и будет расти. Почему, расскажут события пода. Имя пода из своего вывода сохрани в переменной шелла, чтобы команда осталась короткой.
P=provision-app-5cbd9977c5-dhmscКоманда describe печатает всё о поде, grep оставляет нужное.
kubectl describe pod $P | grep LivenessLiveness: http-get http://:http/nope delay=10s timeout=1s period=10s #success=1 #failure=3 Warning Unhealthy 11s (x3 over 31s) kubelet spec.containers{app}: Liveness probe failed: HTTP probe failed with statuscode: 404
Первая строка — настройки пробы, вместе со значениями по умолчанию: опрос раз в 10 секунд, ждать ответа секунду, три неудачи подряд — и контейнер перезапускают. Вторая — три ответа 404 подряд. Проба живости с ошибкой опаснее, чем без неё: она перезапускает здоровое приложение без конца. Исправь /nope на /health и примени.
Шаг 10. Ресурсы
Последнее — сколько поду можно есть. Допиши на одном уровне с пробами.
resources: requests: { cpu: 50m, memory: 64Mi } limits: { cpu: 500m, memory: 256Mi }
requests — сколько планировщик резервирует поду на узле: он не поставит под туда, где нет 50 милли-ядер (50m, двадцатая часть ядра) и 64 МиБ свободными. limits — потолок: больше половины ядра процессор не даст, а при превышении 256 МиБ памяти контейнер убьют с причиной OOMKilled. Варианты встречаются разные: только requests без limits — под может занять всё свободное на узле; одинаковые requests и limits — самый предсказуемый под, его выселят последним. Многие команды не ставят предел процессора вовсе, чтобы приложение не тормозило искусственно, а предел памяти ставят всегда.
kubectl apply -f 30-deployment.yamlkubectl get deployNAME READY UP-TO-DATE AVAILABLE AGE provision-app 4/4 4 4 2m54s
Файл готов. Сверь его: контейнер с портом и переменной —
- name: app image: localhost:5000/provision/app:1.0.0 ports: - name: http containerPort: 8000 env: - name: APP_ENV value: lab
— и сразу под ним пробы и ресурсы:
readinessProbe: httpGet: { path: /health, port: http } periodSeconds: 5 livenessProbe: httpGet: { path: /health, port: http } initialDelaySeconds: 10 resources: requests: { cpu: 50m, memory: 64Mi } limits: { cpu: 500m, memory: 256Mi }
Шаг 11. Неудачное обновление
Поставь в файле несуществующий тег образа: app:9.9.9 вместо app:1.0.0. Так ошибаются в версии при выкате.
kubectl apply -f 30-deployment.yamldeployment.apps/provision-app configuredkubectl get podsNAME READY STATUS RESTARTS AGE provision-app-769c4d65d-98jlc 1/1 Running 0 40s provision-app-769c4d65d-nnm57 1/1 Running 0 38s provision-app-769c4d65d-z98j8 1/1 Running 0 38s provision-app-849fbf4698-ldlgb 0/1 ImagePullBackOff 0 25s provision-app-849fbf4698-tqpfl 0/1 ImagePullBackOff 0 25s
Новые поды не скачали образ. Но три старых работают: обновление застряло, и Deployment не стал убирать рабочие поды, пока новые не готовы. Приложение отвечает, просто на трёх копиях вместо четырёх.
Почему именно три и два? У обновления два ограничителя, по умолчанию оба по четверти от replicas. maxSurge — сколько подов можно создать сверх нормы: четверть от четырёх — один, значит, всего подов бывает до пяти. maxUnavailable — сколько из четырёх разрешено потерять: тоже один, значит, готовых должно оставаться хотя бы три. Deployment убрал один старый под (осталось три — ровно минимум) и создал два новых (3 + 2 = 5 — ровно потолок). Дальше новые не готовы, и он стоит.
Шаг 12. Откат
Когда прод горит, сначала возвращают рабочую версию, а разбираются потом. Для этого есть одна команда.
kubectl rollout undo deploy/provision-appWarning: resource deployments/provision-app was previously managed with 'kubectl apply'. Rolling back will not update the kubectl.kubernetes.io/last-applied-configuration annotation, … deployment.apps/provision-app rolled back
Предупреждение — по делу. kubectl говорит: объект ты вёл через apply и файл, а откат меняет кластер мимо файла, поэтому файл и кластер теперь расходятся.
kubectl get deployNAME READY UP-TO-DATE AVAILABLE AGE provision-app 4/4 4 4 3m40s
Через пару секунд снова четыре из четырёх.
Шаг 13. Вернуть файл в согласие с кластером
Посмотри, чем файл теперь отличается от кластера.
kubectl diff -f 30-deployment.yaml- image: localhost:5000/provision/app:1.0.0 + image: localhost:5000/provision/app:9.9.9
В файле по-прежнему 9.9.9, и следующий apply снова сломал бы выкат. Верни в файле тег 1.0.0 и повтори kubectl diff: команда ничего не напечатает — это и значит, что файл и кластер совпадают. Это и есть порядок работы: аварийная команда — потом правка файла.
Шаг 14. История выкатов
Посмотри, что запомнил Deployment.
kubectl rollout history deploy/provision-appREVISION CHANGE-CAUSE 1 <none> 2 <none> 3 <none> 4 <none> 6 <none> 7 <none>
Ревизия — каждая правка шаблона пода: 1 — первый выкат, 2 — переменная, 3 — проба готовности, 4 — проба живости с ошибкой, 5 — исправление и ресурсы, 6 — сломанный тег, 7 — откат. Ревизии 5 нет: откат взял её шаблон и записал заново под новым номером. Смена replicas ревизий не создаёт — шаблон подов от неё не меняется. Колонка CHANGE-CAUSE пуста — в работе причину пишет конвейер CI, а здесь её никто не указывал.
Что дальше
Четыре пода работают, но обратиться к ним можно только по адресам, которые меняются при каждом пересоздании. Дальше — сервис, постоянная точка входа.