Provision
—— XP

Мониторинг кластера: kube-prometheus-stack

теория~5 минут+270 XP

Собирать мониторинг кластера по деталям никто не хочет, поэтому почти все берут kube-prometheus-stack — Helm-чарт, который одной командой ставит в Kubernetes весь мониторинг, разобранный в разделе 10: Prometheus, Alertmanager и Grafana, а вдобавок сборщики метрик кластера, десятки готовых дашбордов и больше сотни правил оповещений. Чарт ведёт сообщество prometheus-community, и в большинстве компаний, где есть Kubernetes, мониторинг начинается именно с него, а у облачных провайдеров его аналог часто включается галочкой.

В разделе 10 ты собирал мониторинг руками: писал prometheus.yml, подключал экспортёры, импортировал дашборд по номеру. Здесь всё это уже сделано и разложено по объектам Kubernetes. Сравнение — готовая кухня из магазина против кухни, которую собираешь сам по доскам: шкафы те же, но приезжают собранными и подогнанными друг к другу.

Чего этот чарт НЕ делает: не собирает журналы (для них Loki из раздела 11) и ничего не знает о метриках приложений, которые ты выкатил в кластер, пока ты ему не скажешь. И вот в этом уроке три вопроса: что именно ставится, как подключить к нему приложение и почему оно часто «не видно».

Что ставится

После установки в пространстве имён появится несколько программ. Каждая из них тебе знакома или почти знакома:

КомпонентЧто делает
Prometheus OperatorСледит за особыми объектами Kubernetes и сам пишет конфиг Prometheus
PrometheusСобирает и хранит метрики, как в разделе 10
AlertmanagerРассылает оповещения по правилам
GrafanaДашборды; готовые для узлов, подов и пространств имён уже внутри
node-exporterМетрики машины на каждом узле: процессор, память, диски
kube-state-metricsСостояние объектов кластера: реплики, перезапуски, статусы подов

Возьмём последнюю строку. Метрика kube_pod_container_status_restarts_total — число перезапусков контейнера — приходит из kube-state-metrics. Именно на ней построено готовое оповещение KubePodCrashLooping, которое придёт, когда под из практики про OOMKilled начнёт падать по кругу.

Новое здесь одно — оператор. Без него не понять, как подключить к мониторингу приложение.

Оператор и ServiceMonitor

Оператор — программа внутри кластера, которой поручили присматривать за другой программой. Настройки Prometheus руками не правят: ты создаёшь в кластере объект с описанием, а оператор сам переписывает по нему настройки. Prometheus Operator добавляет в кластер новые виды объектов, главные из них — ServiceMonitor («собирай метрики с этого сервиса») и PrometheusRule («вот правило оповещения»).

Чтобы Prometheus начал собирать метрики приложения, prometheus.yml не правят. Создают ServiceMonitor:

кусок servicemonitor.yaml
metadata:
  labels:
    release: mon            # имя релиза чарта
spec:
  selector:
    matchLabels: { app: web }
  endpoints:
    - port: http            # имя порта в Service

Читать так: найти сервисы с меткой app: web и собирать метрики с их порта http по пути /metrics. Оператор увидит объект и сам допишет конфиг Prometheus.

Первая строка — самая коварная, о ней отдельно.

Почему приложения не видно

По умолчанию Prometheus из чарта берёт только те ServiceMonitor, у которых есть метка release с именем релиза. Нет метки — объект молча игнорируется: ошибок нет, целей нет. Это самая частая причина «я всё создал, а в Prometheus пусто».

Проверяют так: открывают в Prometheus страницу Status → Targets и ищут в списке нужное приложение. Нет его в списке — проблема в ServiceMonitor или метке. Есть, но красное — Prometheus видит цель, но не может с неё забрать метрики: не тот порт или путь.

Остальное — те же Prometheus и Grafana, что в разделе 10, и тот же PromQL. Все настройки чарта перечислены в его values.yaml; менять их стоит не раньше, чем поработаешь с умолчаниями.

Словарь урока

kube-prometheus-stack
Helm-чарт с Prometheus, Alertmanager, Grafana, сборщиками метрик кластера, дашбордами и правилами. ↩ к тексту
Оператор
Программа в кластере, которая управляет другой программой по описаниям-объектам. ↩ к тексту
ServiceMonitor
Объект оператора: с каких сервисов и портов собирать метрики. ↩ к тексту
kube-state-metrics
Превращает состояние объектов кластера в метрики. ↩ к тексту

Что спросят на собеседовании

  • Как добавить метрики нового приложения в мониторинг кластера?
    Отдать метрики на /metrics, описать порт в Service и создать ServiceMonitor с меткой release, которую ждёт Prometheus из чарта.
  • Чем node-exporter отличается от kube-state-metrics?
    node-exporter показывает машину: процессор, память, диск. kube-state-metrics — объекты кластера: реплики, перезапуски, статусы.

Что дальше

В практике ты поставишь чарт на свой кластер, откроешь готовые дашборды и найдёшь в Prometheus сработавшее оповещение.

Проверь себя+270 XPдве попытки
1
Состав
Что из этого НЕ входит в kube-prometheus-stack?
2
ServiceMonitor
Как в этом стеке говорят Prometheus «собирай метрики с моего приложения»?
3
Почему не видно
ServiceMonitor создан, а целей в Prometheus нет. Что проверить первым?
4
Источники метрик
Откуда берутся метрики вида kube_deployment_status_replicas?
ответь на все вопросы, чтобы проверить

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.