Provision
—— XP

Практика: мониторинг кластера одним чартом

практика~30 минут+675 XP

В разделе 10 ты собирал мониторинг по деталям. Сейчас поставишь его в кластер одной командой и потратишь освободившееся время на главное — научишься находить в нём проблемный под.

Стеку нужно около двух гигабайт памяти сверх того, что уже ест кластер. Перед установкой посмотри, сколько свободно: free -h, колонка available. Нужно хотя бы 2,5 ГБ. GitLab ты остановил ещё в разделе 16; если памяти всё равно мало, останови стенд Compose и мониторинг из разделов 08–10 — команда docker compose stop в каталогах ~/infra/stand и ~/infra/monitoring. Кластерный мониторинг их заменит.

Шаг 1. Репозиторий чартов

Адрес репозитория длинный, положи его в переменную.

ubuntu@stand:~$
REPO=https://prometheus-community.github.io/helm-charts

Подключи репозиторий под коротким именем prom.

ubuntu@stand:~$
helm repo add prom $REPO
ubuntu@stand:~$
"prom" has been added to your repositories

Шаг 2. Установить

Создай пространство имён и поставь чарт релизом mon. Флаг -n указывает пространство имён.

ubuntu@stand:~$
kubectl create namespace mon
ubuntu@stand:~$
namespace/mon created

Имя чарта длинное, положи его в переменную, а версию чарта закрепи, как в разделе 17: через полгода свежая версия может прийти с другими значениями.

ubuntu@stand:~$
C=prom/kube-prometheus-stack
ubuntu@stand:~$
helm install mon $C -n mon --version 91.8.2
ubuntu@stand:~$
NAME: mon
LAST DEPLOYED: Fri Oct  2 13:20:11 2026
NAMESPACE: mon
STATUS: deployed
REVISION: 1
DESCRIPTION: Install complete

Свежую версию показывает helm search repo $C; в курсе всё проверено на 91.8.2.

Шаг 3. Дождаться подов

Через пару минут посмотри, что запустилось.

ubuntu@stand:~$
kubectl -n mon get pods
ubuntu@stand:~$
NAME                                       READY   STATUS
alertmanager-mon-kube-prometheus-stack-0   2/2     Running
mon-grafana-6d9b8c7f5-x2k4p                3/3     Running
mon-kube-prometheus-stack-operator-7c8d    1/1     Running
mon-kube-state-metrics-5f6b7c8d9-q8w2e     1/1     Running
mon-prometheus-node-exporter-4kq2x         1/1     Running
mon-prometheus-node-exporter-9xw7l         1/1     Running
mon-prometheus-node-exporter-tz5rp         1/1     Running
prometheus-mon-kube-prometheus-stack-0     2/2     Running

Узнаёшь таблицу из теории: оператор, Prometheus, Alertmanager, Grafana, kube-state-metrics и по одному node-exporter на каждый из трёх узлов.

Шаг 4. Пароль Grafana

Пароль администратора чарт положил в секрет mon-grafana.

ubuntu@stand:~$
kubectl -n mon get secret mon-grafana -o yaml | grep pass
ubuntu@stand:~$
  admin-password: Z2ZwU09DWUVNTU1IYTRMT2M1bEdkaFg1S0hLWGJQZm0xRWY5dks4eg==

Значения в секретах закодированы в base64 — помнишь по разделу 16, это не шифрование. Раскодируй его. Флаг -d значит «раскодировать».

ubuntu@stand:~$
echo Z2ZwU09D…dks4eg== | base64 -d

Вместо многоточия вставь своё значение целиком — скопируй его из вывода прошлой команды.

ubuntu@stand:~$
gfpSOCYEMMMHa4LOc5lGdhX5KHKXbPfm1Ef9vK8z

У тебя пароль будет свой: чарт выдумывает его при установке. В статьях постарше встретишь пароль prom-operator — так было в старых версиях, и тот, кто поставил такой стенд в сеть, отдал Grafana первому встречному.

Шаг 5. Открыть Grafana

Grafana работает внутри кластера. Команда port-forward пробрасывает её порт на твою машину; она не завершается, пока работает проброс, поэтому запусти её во втором терминале.

ubuntu@stand:~$
kubectl -n mon port-forward svc/mon-grafana 3000:80
ubuntu@stand:~$
Forwarding from 127.0.0.1:3000 -> 3000

Открой http://localhost:3000, войди как admin с паролем из шага 4. Если кластер стоит на отдельной машине, сначала пробрось порт по SSH, как в разделе 3: ssh -L 3000:localhost:3000 и имя сервера.

Шаг 6. Готовый дашборд

Слева открой Dashboards и найди дашборд Kubernetes / Compute Resources / Namespace (Pods). Вверху выбери пространство имён lab.

Ты увидишь потребление процессора и памяти каждым подом — тех самых client, stranger и keeper из прошлых практик — рядом с их запросами и лимитами. Это та же информация, что в kubectl top, только за любой период и с историей.

Шаг 7. Prometheus и цели

Останови проброс Grafana (Ctrl+C) и пробрось Prometheus. Сервис prometheus-operated создаёт оператор.

ubuntu@stand:~$
kubectl -n mon port-forward svc/prometheus-operated 9090
ubuntu@stand:~$
Forwarding from 127.0.0.1:9090 -> 9090

Открой http://localhost:9090, раздел Status → Targets. Это список всего, с чего собираются метрики; каждая строка появилась из ServiceMonitor, который создал чарт.

Несколько целей будут красными: kube-scheduler, kube-controller-manager, kube-etcd. В k3s эти части кластера встроены в один процесс и не отдают метрики отдельно, поэтому здесь это ожидаемо. В обычном кластере красная цель — повод разбираться.

Шаг 8. Оповещения

Открой вкладку Alerts. Одно оповещение горит всегда — Watchdog. Это намеренно: оно проверяет, что вся цепочка оповещений жива. Если Watchdog перестал приходить, сломан сам мониторинг.

Шаг 9. Под, который падает

Создай в lab под из практики про OOMKilled — он будет падать по кругу.

ubuntu@stand:~$
kubectl -n lab apply -f ~/lab/oom.yaml
ubuntu@stand:~$
pod/oom created

Шаг 10. Найти его запросом

Через пару минут перейди в Prometheus на вкладку Query и выполни запрос на PromQL из раздела 10:

запрос в Prometheus
kube_pod_container_status_restarts_total{namespace="lab"}

В результате будет строка с pod="oom" и числом перезапусков, которое растёт. Эта метрика из kube-state-metrics; на ней построено оповещение KubePodCrashLooping, которое загорится, если под будет падать дольше 15 минут.

Отправь команду сдачи. Под oom после этого удали: kubectl -n lab delete pod oom.

Что дальше

Кластер готов к проду и виден в мониторинге. Последний шаг раздела — перестать выкатывать руками и отдать кластер агенту, который сам сверяет его с Git.

Практика 06+675 XP

Ставить мониторинг кластера готовым чартом и находить в нём проблемный под за пару минут.

  • Стек запущен
  • Нет сломанных подов
  • Оператор добавил свои объекты
  • Готовые ServiceMonitor на месте
  • Под с перезапусками создан
Команда сдачи — выполни на своей машине
команда
echo "PODS=$(kubectl -n mon get pods --no-headers 2>/dev/null | grep -c Running)"; echo "NOTREADY=$(kubectl -n mon get pods --no-headers 2>/dev/null | grep -vc Running)"; echo "CRD=$(kubectl get crd servicemonitors.monitoring.coreos.com -o name 2>/dev/null)"; echo "SM=$(kubectl -n mon get servicemonitors --no-headers 2>/dev/null | wc -l)"; echo "RESTARTS=$(kubectl -n lab get pod oom -o jsonpath='{.status.containerStatuses[0].restartCount}' 2>/dev/null)"

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.