Provision
—— XP

Практика: этап 9 — то же приложение в k3s

практика~210 минут+750 XP

Это дополнительный этап. Основной проект уже готов и работает на Compose; здесь то же приложение переезжает в Kubernetes — так, как это устроено в платформенных командах. Если ты целишься туда, этот этап и станет главным на собеседовании.

Новых тем нет: k3s из раздела 16, свой чарт из раздела 17, Argo CD из миссии раздела 18. Новое — что всё это собрано вокруг твоего GitLab. Конвейер больше не выкатывает сам, он только коммитит новый тег в отдельный репозиторий, а Argo CD — агент внутри кластера — видит коммит и выкатывает.

Чтобы не мешать основному проекту, кластер живёт на третьей машине final-k3s на 4 ГБ. Закончишь этап — её можно снести одной строкой, и это тоже часть показа.

Шаг 1. Третья машина одной строкой

Сейчас станет видно, зачем машины описывали кодом. Допиши в terraform/variables.tf третью строку в machines:

terraform/variables.tf — список машин
    final-app = { memory = 4 }
    final-ops = { memory = 8 }
    final-k3s = { memory = 4 }

Ей нужна своя группа безопасности, по образцу двух прошлых: 22, 80 и 443 с твоего адреса и всё из подсети. Адрес ей Terraform зарезервирует сам: ресурс yandex_vpc_address уже размножен по тому же списку. Посмотри план:

ubuntu@stand:~$
terraform -chdir=terraform plan
ubuntu@stand:~$
Plan: 3 to add, 0 to change, 0 to destroy.

Три ресурса — машина, её адрес и группа, а 0 to change значит, что две живые машины никто не трогает. Применяй через apply, адрес возьми из output ips и заведи Host final-k3s в ~/.ssh/config, как в шаге 6 практики про машины. В ansible/inventory.ini добавь группу [k3s] с одной машиной.

Шаг 2. Реестр виден кластеру

Образы лежат в реестре на final-app, а он слушает только 127.0.0.1. Кластеру на другой машине нужен ещё один вход — по внутреннему адресу. В deploy/compose.yaml у сервиса registry допиши вторую строку портов:

deploy/compose.yaml — порты реестра
    ports:
      - "127.0.0.1:5000:5000"
      - "10.10.1.11:5000:5000"

Порт на внутреннем адресе виден только машинам подсети: снаружи его закрывает группа безопасности. Реестр по-прежнему без пароля — запиши это в «Чего намеренно нет». Закоммить и отправь, конвейер сам пересоздаст реестр.

Шаг 3. Роль k3s

k3s ставится одним скриптом, а настраивается файлами в /etc/rancher/k3s/. Оба файла пишешь в роли ansible/roles/k3s/files/. Первый — config.yaml, он делает файл доступа к кластеру читаемым для devops:

roles/k3s/files/config.yaml
write-kubeconfig-mode: "0644"

Второй — registries.yaml. Он говорит k3s: образы с именем localhost:5000 бери с final-app по обычному HTTP. Так имя образа в чарте остаётся тем же, что у конвейера:

roles/k3s/files/registries.yaml
mirrors:
  "localhost:5000":
    endpoint:
      - "http://10.10.1.11:5000"

Задачи роли — два copy этих файлов в /etc/rancher/k3s/ и установка модулем shell строкой с k3s.io с условием creates: /usr/local/bin/k3s: скрипт отработает один раз, повторный прогон его пропустит. Подключи роль в site.yml блоком hosts: k3s вместе с base.

Файрвол ufw на этой машине не включай: документация k3s советует выключать его, иначе он режет трафик между подами. Положи в group_vars/k3s.yml переключатель, который роль base проверяет условием when. Периметр здесь держит группа безопасности облака.

Шаг 4. Argo CD ставит сам k3s

В k3s есть приём, которого не было в разделе 18: всё, что лежит в каталоге /var/lib/rancher/k3s/server/manifests/, кластер применяет сам. Туда можно положить даже установку Helm-чарта — объектом HelmChart. Третий файл роли, argocd.yaml:

roles/k3s/files/argocd.yaml
apiVersion: helm.cattle.io/v1
kind: HelmChart
metadata:
  name: argocd
  namespace: kube-system
spec:
  repo: https://argoproj.github.io/argo-helm
  chart: argo-cd
  targetNamespace: argocd
  createNamespace: true

Это тот же helm install argo/argo-cd, что в разделе 18, только описанный файлом. Допиши в роль copy для него в каталог манифестов и прогони плейбук только для новой машины:

ubuntu@stand:~$
ansible-playbook ansible/site.yml --limit k3s
ubuntu@stand:~$
final-k3s : ok=15  changed=9  unreachable=0  failed=0

Второй прогон, как всегда, должен дать changed=0.

Шаг 5. Кластер жив

Зайди на машину и спроси узлы:

ubuntu@stand:~$
ssh final-k3s
ubuntu@stand:~$
kubectl get nodes
ubuntu@stand:~$
NAME        STATUS   ROLES                  AGE   VERSION
final-k3s   Ready    control-plane,master   3m    v1.33.4+k3s1

Один узел в Ready — кластер работает. Теперь поды Argo CD — через пару минут после старта они дойдут до Running:

ubuntu@stand:~$
kubectl -n argocd get pods
ubuntu@stand:~$
NAME                                READY   STATUS    RESTARTS   AGE
argocd-application-controller-0     1/1     Running   0          2m
argocd-repo-server-6c9f7b8d5-k2xqv  1/1     Running   0          2m
argocd-server-7d4b9c6f8-m8wzn       1/1     Running   0          2m

Строк больше — у Argo CD ещё несколько служебных подов. Pending дольше пяти минут почти всегда значит нехватку памяти: посмотри kubectl describe pod у застрявшего. Выйди с машины.

Шаг 6. Репозиторий состояния

Как в уроке про GitOps, описание кластера живёт отдельно от кода. В GitLab создай пустой проект final-deploy. На рабочей машине склонируй его рядом с ~/final:

ubuntu@stand:~$
git clone gitlab:root/final-deploy.git ~/final-deploy

Положи туда свой чарт из раздела 17 — каталог provision целиком под именем chart:

ubuntu@stand:~$
cp -r ~/infra/helm/provision ~/final-deploy/chart

Флаг -r копирует каталог со всем содержимым. В chart/values.yaml поменяй image.repository на localhost:5000/final/app.

Шаг 7. HTTPS в чарте

Вход в кластер у тебя уже есть — Ingress из разделов 16 и 17. Осталось добавить шифрование: блок tls в шаблон chart/templates/41-ingress.yaml, внутрь spec:

41-ingress.yaml — блок tls
  tls:
    - hosts: [{{ .Values.ingress.host }}]
      secretName: {{ .Values.ingress.tlsSecret }}

Traefik, который стоит в k3s, увидит блок и начнёт отвечать на 443 сертификатом из секрета. Значения для этого стенда — в отдельном файле chart/values-prod.yaml, его же будет править конвейер:

chart/values-prod.yaml
image:
  tag: "manual"
ingress:
  host: k8s.provision.internal
  tlsSecret: tls

Проверь сборку, не устанавливая ничего, — из каталога ~/final-deploy/chart:

ubuntu@stand:~$
helm template final . -f values-prod.yaml | grep secretName
ubuntu@stand:~$
      secretName: tls

Строка на месте — блок попал в Ingress. Пустой вывод — опечатка в пути значения. Вернись в ~/final-deploy, закоммить и отправь чарт с сообщением «chart: приложение final с TLS».

Шаг 8. Секреты кластера

Секреты в Git не лежат — это граница GitOps из раздела 18, поэтому три секрета создаются в кластере руками. Сначала выпусти сертификат для k8s.provision.internal тем же центром, что в практике про nginx, и отвези каталог ~/final/tls на машину тем же rsync. На final-k3s сделай пространство имён текущим, чтобы не писать его в каждой команде:

ubuntu@stand:~$
kubectl create namespace final

Чтобы сменить пространство по умолчанию, kubectl должен писать в свой файл настроек, а файл k3s принадлежит root. Сделай себе копию и укажи её переменной KUBECONFIG:

ubuntu@stand:~$
mkdir -p ~/.kube
ubuntu@stand:~$
cp /etc/rancher/k3s/k3s.yaml ~/.kube/config
ubuntu@stand:~$
export KUBECONFIG=~/.kube/config
ubuntu@stand:~$
kubectl config set-context --current --namespace=final
ubuntu@stand:~$
Context "default" modified.

Переменная живёт до выхода из сеанса; в следующий раз повтори export или пиши -n final в командах. Первый секрет — сертификат для Ingress, с коротким именем tls. Перейди в каталог ~/tls и создай его:

ubuntu@stand:~$
kubectl create secret tls tls --cert=k8s.crt --key=k8s.key
ubuntu@stand:~$
secret/tls created

Второй — пароль базы: файл 11-secret.yaml по образцу из раздела 16, с namespace: final и новым паролем, применяется kubectl apply -f и сразу удаляется с машины. Третий — доступ Argo CD к закрытому репозиторию. В GitLab у final-deploy открой Settings → Repository → Deploy tokens и создай токен с правом read_repository. Его кладём секретом с особой меткой — по ней Argo CD узнаёт свои репозитории:

repo-secret.yaml — не коммитить
apiVersion: v1
kind: Secret
metadata:
  name: final-deploy-repo
  namespace: argocd
  labels:
    argocd.argoproj.io/secret-type: repository
stringData:
  url: http://10.10.1.12/root/final-deploy.git
  username: <имя токена>
  password: <токен>

Адрес — по внутреннему IP: внутри кластера имя git.provision.internal не резолвится, файл /etc/hosts машины поды не читают. Примени файл и удали его.

Шаг 9. Отдать приложение агенту

Объект Application — как в миссии раздела 18, только источник — твой GitLab и Helm-чарт с файлом значений. Положи его в ~/final-deploy/argocd/app.yaml. Источник:

argocd/app.yaml — источник
spec:
  project: default
  source:
    repoURL: http://10.10.1.12/root/final-deploy.git
    targetRevision: main
    path: chart
    helm:
      valueFiles: [values-prod.yaml]

Шапку apiVersion, kind и metadata с именем final и пространством argocd возьми из раздела 18. Назначение и синхронизация — с самолечением:

argocd/app.yaml — назначение
  destination:
    server: https://kubernetes.default.svc
    namespace: final
  syncPolicy:
    automated: { prune: true, selfHeal: true }

Закоммить файл в final-deploy, отвези на машину и примени: kubectl apply -f app.yaml. Через минуту проверь:

ubuntu@stand:~$
kubectl -n argocd get applications
ubuntu@stand:~$
NAME    SYNC STATUS   HEALTH STATUS
final   Synced        Healthy

Synced — кластер совпадает с Git, Healthy — выкаченное работает. Если Degraded, а под в ImagePullBackOff, у образа с тегом manual нет копии в реестре — это нормально, следующий шаг его заменит.

Шаг 10. Проверка снаружи

Пропиши k8s.provision.internal с публичным адресом final-k3s в /etc/hosts рабочей машины. Спрашивать будем из каталога с центром:

ubuntu@stand:~$
cd ~/final/tls

Положи адрес в переменную, как в разделе 20, и спроси:

ubuntu@stand:~$
U=https://k8s.provision.internal
ubuntu@stand:~$
curl --cacert ca.crt $U/api/items
ubuntu@stand:~$
{"visits":0}

Путь с /api — так чарт из раздела 17 отдаёт приложение через обработчик Traefik. Ноль — у кластера своя база, пустая. Если пусто, добавь -v: ошибка сертификата значит, что он выпущен не на это имя.

Шаг 11. Конвейер меняет тег

Теперь связь с конвейером. Конвейер проекта final не будет ходить в кластер — он только запишет новый тег в final-deploy. Для этого у final-deploy создай Settings → Access tokens с ролью Maintainer и правом write_repository, а в проекте final заведи переменную DEPLOY_REPO_TOKEN с отметками Masked и Protected. Задача в .gitlab-ci.yml:

.gitlab-ci.yml — bump-k8s, начало
bump-k8s:
  stage: deploy
  needs: [smoke, scan]
  rules:
    - if: $CI_COMMIT_BRANCH == $CI_DEFAULT_BRANCH

needs: [smoke, scan] — задача ждёт проверки образа, но не выкат на final-app. Дальше команды: склонировать репозиторий состояния, заменить тег и отправить:

.gitlab-ci.yml — bump-k8s, команды
  script:
    - git clone http://ci:$DEPLOY_REPO_TOKEN@git.provision.internal/root/final-deploy.git
    - cd final-deploy
    - sed -i "s/^  tag: .*/  tag: \"$CI_COMMIT_SHORT_SHA\"/" chart/values-prod.yaml
    - git -c user.name=ci -c user.email=ci@final commit -am "final $CI_COMMIT_SHORT_SHA"
    - git push

sed заменяет строку тега целиком, флаг -c у git задаёт имя автора только для этой команды. Закоммить и отправь .gitlab-ci.yml в final. Когда конвейер позеленеет, в final-deploy появится коммит от ci, а через минуту-три Argo CD выкатит новый образ: он опрашивает репозиторий раз в три минуты. Проверь на машине:

ubuntu@stand:~$
kubectl -n final get deploy -o wide
ubuntu@stand:~$
NAME               READY   IMAGES
final-provision    3/3     localhost:5000/final/app:9b27e1d4

Колонок больше, нужная — IMAGES. Тег — хеш последнего коммита final.

Шаг 12. Откат коммитом и уборка

Откат в GitOps — не кнопка, а отмена коммита в репозитории состояния. В ~/final-deploy подтяни свежую историю командой git pull и отмени последний коммит конвейера:

ubuntu@stand:~$
git revert --no-edit HEAD
ubuntu@stand:~$
[main 3e8f7b6] Revert "final 9b27e1d4"
 1 file changed, 1 insertion(+), 1 deletion(-)

Флаг --no-edit берёт стандартное сообщение. Отправь git push и через пару минут проверь шаг 11 снова: тег вернулся к прошлому. Затем верни свежую версию новым коммитом в final и вставь команду сдачи в блок ниже.

Запиши в журнал решений, почему здесь Argo CD, а на final-app — выкат из конвейера, и что даёт каждый. Когда этап сдан и показан, машину можно снести: убери строку final-k3s из variables.tf и выполни apply — Terraform удалит ровно её. Чарт и final-deploy останутся в репозиториях, и кластер поднимется заново тем же apply и плейбуком.

Что дальше

Система построена целиком, в том числе в Kubernetes. Осталось сделать так, чтобы её можно было показать: README, схема, рассказ на две минуты.

Практика 07+750 XP

Показать Kubernetes на своём проекте: приложение в кластере ставит не человек и не конвейер, а Argo CD из репозитория состояния, конвейер только коммитит новый тег, а сайт отвечает по HTTPS с твоим сертификатом.

  • Argo CD держит приложение в согласии с Git
  • Ручные правки откатываются
  • В кластере образ последнего коммита
  • Вход в кластер по HTTPS
  • Сайт в кластере отвечает и видит свою базу
Команда сдачи — выполни на своей машине
команда
git -C ~/final log -1 --format=COMMIT=%H; echo IMAGES=$(ssh final-k3s kubectl -n final get deploy -o jsonpath='{..image}'); echo ARGO=$(ssh final-k3s kubectl -n argocd get app final -o jsonpath='{.status.sync.status}/{.status.health.status}/{.spec.syncPolicy.automated.selfHeal}'); echo TLS=$(ssh final-k3s kubectl -n final get ingress -o jsonpath='{..secretName}'); curl -s --cacert ~/final/tls/ca.crt https://k8s.provision.internal/api/items; echo; git -C ~/final-deploy log --oneline | head -n 3

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.