Provision
—— XP

Миссия: стенд в кластере с нуля

практика~90 минут+625 XP

Части стенда собраны: Deployment, сервис, настройки, секрет, правило входа. Не хватает базы — а без неё /api/items не работает. И есть вопрос, который пора задать: поднимется ли всё это на чистом кластере, или часть держится на командах, набранных когда-то руками?

Миссия — добавить базу и миграцию и доказать, что каталог ~/infra/k8s/base описывает стенд целиком: удалить кластер, создать новый и развернуть всё одной командой. Подсказок по выводу здесь нет — что должно получиться, ты уже знаешь из практик.

Требования

Задача одна, но проверяется по пунктам.

Что должно получиться
Пространство имён файлом
00-namespace.yaml создаёт provision, команда create namespace больше не нужна.
База со своим диском
StatefulSet provision-db с заявкой на 1 гигабайт и безголовым сервисом.
Миграция разовой задачей
Job из образа приложения создаёт таблицу в базе.
Развёртывание с нуля
На новом кластере kubectl apply по каталогу поднимает весь стенд.
Секрет вне git
В репозитории образец секрета есть, настоящего файла нет.

Шаг 1. Пространство имён файлом

Пространство ты создавал командой в самой первой практике. На новом кластере его не будет, поэтому оно тоже становится файлом — с номером 00, раньше всех.

nano ~/infra/k8s/base/00-namespace.yaml
apiVersion: v1
kind: Namespace
metadata:
  name: provision

Шаг 2. Сервис базы

Создай 20-database.yaml. В одном файле будут два объекта, их разделяет строка из трёх дефисов. Первый — безголовый сервис: clusterIP: None значит, что своего адреса у сервиса нет, а имя provision-db ведёт прямо на под базы.

20-database.yaml, часть 1
apiVersion: v1
kind: Service
metadata:
  name: provision-db
  namespace: provision
spec:
  clusterIP: None
  selector:
    app: provision-db
  ports:
    - port: 5432
---

Имя сервиса совпадает с DB_HOST из ConfigMap — так приложение и найдёт базу.

Шаг 3. StatefulSet: шапка

Ниже разделителя — сама база. Шапка похожа на Deployment, но есть поле serviceName: StatefulSet требует указать свой безголовый сервис.

20-database.yaml, часть 2
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: provision-db
  namespace: provision
spec:
  serviceName: provision-db
  replicas: 1
  selector:
    matchLabels:
      app: provision-db

Шаг 4. StatefulSet: контейнер

Дальше шаблон пода с PostgreSQL — тем же образом, что в разделе 09.

20-database.yaml, часть 3
  template:
    metadata:
      labels:
        app: provision-db
    spec:
      containers:
        - name: postgres
          image: postgres:17-alpine
          ports:
            - containerPort: 5432
          volumeMounts:
            - name: data
              mountPath: /var/lib/postgresql/data

volumeMounts подключает том с именем data в каталог данных PostgreSQL. Откуда возьмётся том — в шаге 6.

Шаг 5. StatefulSet: переменные

Образ postgres ждёт имя базы, пользователя и пароль в переменных. Возьми их из уже созданных объектов — блок стоит внутри контейнера, рядом с volumeMounts.

20-database.yaml, часть 4
          env:
            - name: POSTGRES_DB
              valueFrom: { configMapKeyRef: { name: provision-config, key: DB_NAME } }
            - name: POSTGRES_USER
              valueFrom: { configMapKeyRef: { name: provision-config, key: DB_USER } }
            - name: POSTGRES_PASSWORD
              valueFrom: { secretKeyRef: { name: provision-secrets, key: DB_PASSWORD } }
            - name: PGDATA
              value: /var/lib/postgresql/data/pgdata

PGDATA указывает на подкаталог тома: PostgreSQL требует пустой каталог, а на свежем томе бывает служебный lost+found.

Шаг 6. StatefulSet: диск

Последний кусок — на уровне template, в самом конце файла. Это шаблон заявки на диск: StatefulSet сам создаст заявку для каждого своего пода.

20-database.yaml, часть 5
  volumeClaimTemplates:
    - metadata:
        name: data
      spec:
        accessModes: [ReadWriteOnce]
        resources:
          requests:
            storage: 1Gi

ReadWriteOnce — диск подключается на запись к одному узлу, обычный режим для базы. Заявка получит имя data-provision-db-0 и не удалится, даже если удалить StatefulSet: так данные не теряются одной командой.

Шаг 7. База на текущем кластере

Прежде чем писать миграцию, проверим базу саму по себе. Перейди в каталог описаний и примени пространство имён и базу — каждый флаг -f добавляет файл.

ubuntu@stand:~$
cd ~/infra/k8s/base
ubuntu@stand:~$
kubectl apply -f 00-namespace.yaml -f 20-database.yaml
ubuntu@stand:~$
namespace/provision unchanged
service/provision-db created
statefulset.apps/provision-db created

unchanged у пространства — оно уже есть с первой практики, файл ничего не поменял. Через полминуты:

ubuntu@stand:~$
kubectl get pods -l app=provision-db
ubuntu@stand:~$
NAME             READY   STATUS    RESTARTS   AGE
provision-db-0   1/1     Running   0          40s
ubuntu@stand:~$
kubectl get pvc
ubuntu@stand:~$
NAME                  STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS
data-provision-db-0   Bound    pvc-75b3632d-1ebb-4fdc-aace-d2245394a49c   1Gi        RWO            local-path

Флаг -l у get pods отбирает поды по метке. Под с постоянным именем provision-db-0, заявка Bound — диск выдан. Спроси приложение:

ubuntu@stand:~$
curl -s stand.provision.internal:8090/api/items
ubuntu@stand:~$
<!doctype html>
<html lang=en>
<title>500 Internal Server Error</title>

Раньше ответ был {"error":"database unavailable"}, теперь 500. Это шаг вперёд: приложение достучалось до базы, но таблицы visits в ней нет. В журнале приложения — psycopg2.errors.UndefinedTable: relation "visits" does not exist. Таблицу создаёт миграция.

Шаг 8. Миграция

Схему базы в Compose создавал отдельный сервис migrate. В кластере разовую задачу описывает объект Job: он запускает под, ждёт, пока тот завершится, и считает дело сделанным. Создай 25-migrate.yaml.

nano ~/infra/k8s/base/25-migrate.yaml
apiVersion: batch/v1
kind: Job
metadata:
  name: provision-migrate
  namespace: provision
spec:
  template:
    spec:
      restartPolicy: Never
      containers:
        - name: migrate
          image: localhost:5000/provision/app:1.0.0
          command: ["python", "-c", "$(MIGRATE)"]

Миграцию выполняет сам образ приложения: в нём есть Python и библиотека для базы, та же, что отвечает на /items. Так миграция всегда той же версии, что приложение, — и если тег образа неверный, сломается именно она, раньше пользователей. Запись $(MIGRATE) кластер подставит из переменной контейнера — её и строку подключения ты добавишь на следующем шаге.

restartPolicy: Never — упавший под не перезапускать, а создать новую попытку; по умолчанию Job делает их до шести.

Шаг 9. Переменные миграции

Миграции нужна та же строка подключения, что приложению. Допиши в контейнер Job блоки envFrom и env — ровно те же, что ты добавлял в 30-deployment.yaml в практике про настройки: из них соберётся DATABASE_URL. В конец списка env добавь саму миграцию — ту же таблицу, что создавал файл 001-visits.sql в разделе 08. Код скопируй как есть, как HEALTHCHECK в разделе 07, разбирать его не нужно:

25-migrate.yaml, в конец списка env
            - name: MIGRATE
              value: >-
                import os, psycopg2;
                c = psycopg2.connect(os.environ["DATABASE_URL"]);
                c.cursor().execute("CREATE TABLE IF NOT EXISTS visits (id serial PRIMARY KEY)");
                c.commit()

Знак >- в YAML склеивает следующие строки в одну через пробел, поэтому точки с запятой между командами обязательны.

Шаг 10. Применить миграцию

База ждёт, файл готов — отдай задачу кластеру.

ubuntu@stand:~$
kubectl apply -f 25-migrate.yaml
ubuntu@stand:~$
job.batch/provision-migrate created
ubuntu@stand:~$
kubectl get jobs
ubuntu@stand:~$
NAME                STATUS     COMPLETIONS   DURATION   AGE
provision-migrate   Complete   1/1           3s         15s

Complete и 1/1 — под задачи отработал и завершился с кодом 0. Теперь /api/items отвечает {"visits":0}: таблица есть, строк нет.

Если задача упала и ты нашёл опечатку в уже применённом 25-migrate.yaml, повторный apply откажет:

ubuntu@stand:~$
The Job "provision-migrate" is invalid: spec.template: … field is immutable

Шаблон Job нельзя менять после создания. Сначала удали старую задачу командой kubectl delete job provision-migrate, потом применяй исправленный файл.

Шаг 11. Порядок файлов

Посмотри на каталог.

ubuntu@stand:~$
ls ~/infra/k8s/base
Четыре яруса зависимостей: пространство имён, затем конфигурации и секреты, затем нагрузки, затем сервис и правило входа. Внизу пояснение про алфавитный порядок применения.
kubectl применяет файлы каталога по алфавиту и графа зависимостей не строит. Номера в именах делают алфавит равным порядку зависимостей.

Теперь видно, зачем номера: пространство имён, потом настройки и секрет, потом база и миграция, потом приложение, сервис и вход. Внутри пространства порядок прощает ошибки: под, которому не хватает ConfigMap, подождёт и стартует, когда она появится. Но два случая не прощает. Объект в пространстве, которого ещё нет, кластер не примет: namespaces "provision" not found. И объект вида, которого кластер ещё не знает, тоже: no matches for kind "Middleware". В обоих случаях apply применит остальное, напечатает ошибку про отказанные объекты — и тогда достаточно повторить его, когда недостающее появится. Номер 00 у пространства как раз убирает первый случай.

Шаг 12. Удалить кластер

Главная проверка раздела. Всё, что работало благодаря командам, а не файлам, обнаружится здесь.

ubuntu@stand:~$
k3d cluster delete stand

Шаг 13. Создать заново

Подними кластер из того же файла, что в первой практике, и занеси в него образ.

ubuntu@stand:~$
k3d cluster create --config ~/infra/k8s/k3d.yaml
ubuntu@stand:~$
k3d image import localhost:5000/provision/app:1.0.0 -c stand

Новый кластер — новый контекст, и текущее пространство в нём снова default. Сделай текущим provision командой из первой практики.

Шаг 14. Дождаться Traefik

Свежий кластер ещё минуту ставит Traefik, и пока он не поставил свои CRD, 40-middleware.yaml не примется. Посмотри на разовые задачи установки.

ubuntu@stand:~$
kubectl -n kube-system get jobs
ubuntu@stand:~$
NAME                       STATUS     COMPLETIONS   DURATION   AGE
helm-install-traefik       Running    0/1           19s        21s
helm-install-traefik-crd   Complete   1/1           14s        21s

Важна вторая строка: helm-install-traefik-crd ставит новые виды объектов, и после её Complete кластер знает, что такое Middleware. Первая ставит сам Traefik и может ещё работать — разворачивать уже можно.

Шаг 15. Развернуть одной командой

Весь стенд — одна команда. Флаг -f с каталогом применяет все файлы в нём.

ubuntu@stand:~$
kubectl apply -f ~/infra/k8s/base/
ubuntu@stand:~$
namespace/provision created
configmap/provision-config created
secret/provision-secrets created
service/provision-db created
statefulset.apps/provision-db created
job.batch/provision-migrate created
deployment.apps/provision-app created
service/provision-app created
middleware.traefik.io/strip-api created
ingress.networking.k8s.io/provision created

Всё в порядке номеров файлов. Подожди минуту и посмотри поды.

ubuntu@stand:~$
kubectl get pods
ubuntu@stand:~$
NAME                           READY   STATUS      RESTARTS   AGE
provision-app-6b4486f7-6m5zj   1/1     Running     0          67s
provision-db-0                 1/1     Running     0          67s
provision-migrate-q8wdf        0/1     Completed   0          34s
provision-migrate-r2xhz        0/1     Error       0          54s
provision-migrate-vtnwv        0/1     Error       0          67s

Подов приложения четыре, здесь оставлен один. У миграции три попытки: две Error и одна Completed. Журнал упавшей объясняет:

ubuntu@stand:~$
kubectl logs provision-migrate-vtnwv | tail -1
ubuntu@stand:~$
psycopg2.OperationalError: could not translate host name "provision-db" to address: Name or service not known

Все файлы применились разом, и миграция стартовала, когда база ещё поднималась: имя provision-db ещё не вело на готовый под. Job попробовал снова — этим и хорош restartPolicy: Never с повторами. Если что-то не поднялось вовсе — у тебя есть порядок разбора из урока про kubectl: get pods, describe, logs --previous, события.

Шаг 16. Пустая база — это правильно

/api/items на новом кластере вернёт {"visits":0}: таблица есть, строк в ней нет. Это не поломка: файлы воспроизводят структуру — объекты, диски, схему, — но не данные. Данные восстанавливают из резервных копий, как в разделе 09, и к Kubernetes это отношения не имеет.

Шаг 17. Своя ветка

Прямой push в main закрыт с раздела про Ansible, поэтому описания идут через ветку и merge request. После миссии Terraform ты, скорее всего, ещё стоишь в ветке terraform-yc. Перейди в ~/infra и начни новую ветку от свежего main — незакоммиченные файлы k8s поедут за тобой.

ubuntu@stand:~$
git switch main
ubuntu@stand:~$
git pull
ubuntu@stand:~$
git switch -c k8s-stand

Шаг 18. В индекс

Добавь каталог k8s и посмотри, что попадёт в коммит.

ubuntu@stand:~$
git add k8s
ubuntu@stand:~$
git status --short

Параметр --short печатает по строке на файл. Файла 11-secret.yaml в списке быть не должно, а 11-secret.yaml.example — должен. Если секрет всё-таки попал, убери его из индекса: git rm --cached k8s/base/11-secret.yaml.

Шаг 19. Коммит и merge request

Зафиксируй изменения.

ubuntu@stand:~$
git commit -m "k8s: стенд в кластере одним каталогом"

Для отправки нужен GitLab, а он остановлен ради памяти. Освободи место: останови кластер (k3d cluster stop stand), запусти GitLab (docker compose -f ~/gitlab/compose.yaml start) и подожди healthy три-пять минут.

ubuntu@stand:~$
git push -u gitlab k8s-stand

Открой merge request по ссылке из ответа и слей его в GitLab. Затем верни main на стенд: git switch main и git pull. Останови GitLab и запусти кластер обратно (k3d cluster start stand) — через минуту стенд снова отвечает, и можно сдавать.

Что спросят на собеседовании

  • В каком порядке kubectl apply применяет файлы каталога?
    По алфавиту имён, граф зависимостей он не строит. Поэтому файлы нумеруют. Внутри пространства неверный порядок прощается: поды ждут недостающий ConfigMap. Но объект без своего пространства или вида, CRD которого ещё нет, будет отвергнут — тогда apply повторяют.
  • Чем StatefulSet отличается от Deployment для базы?
    Постоянное имя пода, своя заявка на диск у каждого пода, которая переживает удаление, и порядок запуска. Deployment считает поды взаимозаменяемыми.
  • Как выполнить миграцию базы в кластере?
    Объектом Job: он запускает под и считает задачу сделанной, когда тот завершился. Повторять попытки при неудаче он умеет сам.
  • Развернули с нуля, база пустая. Ошибка в описаниях?
    Нет. Описания воспроизводят структуру, а не данные. Данные восстанавливают из резервных копий.

Что дальше

Стенд живёт в кластере и разворачивается файлами. Но имя приложения повторяется в каталоге десяток раз, для второй среды придётся копировать его целиком, а миграция не умеет запускаться перед каждым обновлением. Это задачи Helm — следующий раздел. Перед ним — шпаргалка раздела.

Практика 07+625 XP

Описать стенд целиком файлами так, чтобы он поднимался на пустом кластере одной командой apply, а секрет при этом не попадал в git.

  • База работает
  • Диск базы выдан
  • Миграция отработала
  • Приложение достаёт данные из базы
  • Все описания в одном каталоге
  • Пароль не в git
  • Образец секрета в git
Команда сдачи — выполни на своей машине
команда
kubectl -n provision get pods; kubectl -n provision get pvc; curl -s stand.provision.internal:8090/api/items; echo; ls ~/infra/k8s/base; git -C ~/infra ls-files k8s

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.