Provision
—— XP

Prometheus: как он собирает метрики

теория~6 минут+190 XP

В 2012 году инженеры музыкального сервиса SoundCloud, вдохновившись внутренней системой Google, написали Prometheus — программу, которая раз в несколько секунд опрашивает сервисы, записывает отданные ими числа с отметкой времени и позволяет потом задавать по этим числам вопросы. В 2016-м он стал вторым проектом фонда CNCF после Kubernetes. Сегодня это стандарт: в вакансиях DevOps-инженера его упоминают почти всегда, а в Kubernetes он стоит в каждом втором кластере.

Из урока ты узнаешь, откуда Prometheus берёт числа, как они выглядят и какую ошибку с ними делают чаще всего. Сразу о границах: он не хранит логи, не рисует красивых дашбордов (для этого Grafana) и не рассылает сообщения (для этого Alertmanager). В ноябре 2024 года вышла версия 3.0 — если статья старше, синтаксис в ней почти тот же, но интерфейс уже другой.

Он сам ходит за данными

Большинство старых систем мониторинга ждали, что программы пришлют им данные сами. Prometheus устроен наоборот: он сам приходит к каждой программе по адресу /metrics и забирает то, что там лежит. Такую модель называют pull — «забираю сам».

Слева цели: приложение, node-exporter, postgres-exporter. Посередине Prometheus с обнаружением целей, сбором, хранилищем и языком запросов. Справа Grafana, Alertmanager и свои запросы. Стрелки сбора направлены от Prometheus к целям.
Стрелки сбора направлены от Prometheus к целям: он ходит сам. Не ответила цель — это тоже метрика.

Каждый адрес, который Prometheus опрашивает, называется целью (target). Список целей ты пишешь в его настройках, интервал опроса по умолчанию — 15 секунд. На каждый опрос он заводит служебную метрику up: 1, если цель ответила, и 0, если нет. Это первое, что смотрят при любой настройке, и первое правило оповещения, которое мы напишем.

Остаётся вопрос: а кто выставит страницу /metrics у Linux или у PostgreSQL, которые про Prometheus ничего не знают?

Экспортёры

Для этого есть экспортёры — маленькие программы-переводчики. Экспортёр читает данные из системы на её родном языке и выставляет их страницей /metrics в формате Prometheus.

Экспортёры, которые ставят первыми
node-exporter
Метрики машины: процессор, память, диски, сеть. Ставится на каждый сервер.
cAdvisor
Метрики контейнеров Docker: сколько процессора и памяти ест каждый.
postgres-exporter, redis-exporter
Метрики конкретной программы. Такие есть почти под всё, список — на сайте Prometheus.

Приложение компании может отдавать метрики и без экспортёра: разработчики подключают библиотеку, и у приложения появляется свой адрес /metrics. Писать этот код — работа разработчика, а твоя — добавить адрес в цели и проверить, что метрики собираются.

Экспортёр отдаёт обычную страницу текста, и умение её прочитать экономит время: по ней сразу видно, отдаёт ли цель то, чего ты ждёшь.

Как выглядит метрика

Страница /metrics — обычный текст, его можно прочитать командой curl. Флаг -s (silent, тихо) убирает полоску загрузки, а grep оставляет нужные строки.

ubuntu@stand:~$
curl -s localhost:9100/metrics | grep node_load
node_load1 0.42
node_load15 0.31
node_load5 0.37

Каждая строка — имя метрики и её текущее значение. Здесь это средняя нагрузка машины за 1, 5 и 15 минут — те самые три числа, что ты видел в выводе uptime в разделе про Linux.

У многих метрик есть метки — уточнения в фигурных скобках:

ubuntu@stand:~$
node_filesystem_avail_bytes{mountpoint="/"} 2.1e+10
node_filesystem_avail_bytes{mountpoint="/boot"} 8.9e+08

Одна метрика «свободные байты», две метки — два разных набора чисел, для корня и для /boot. Каждое сочетание имени и меток Prometheus хранит отдельно и называет временным рядом. Запись 2.1e+10 — это 2,1 умножить на десять в десятой, то есть около 21 гигабайта.

По поведению метрики делятся на типы, и от типа зависит, как их потом спрашивать.

Три типа, которые встретятся

Тип подсказывает, что с метрикой можно делать. На первое время хватит трёх.

ТипКак ведёт себяПример
counter, счётчиктолько растёт, сбрасывается при перезапускечисло запросов с момента запуска
gauge, датчикходит вверх и внизсвободная память, температура
histogram, гистограммараскладывает значения по корзинамвремя ответа: сколько уложилось в 0,1 с, в 0,5 с

Возьмём первую строку. Число запросов с запуска само по себе бесполезно: «сорок тысяч» — это много или мало? Интересна скорость его роста, запросов в секунду, и её считают функцией, которую разберём в следующем уроке. Имена счётчиков по договорённости кончаются на _total, по этому хвосту их и узнают.

Есть и четвёртый тип, summary, но в новых программах его почти не используют — достаточно знать, что такой бывает.

Метки: главная ошибка

Метки удобны, и именно поэтому на них совершают самую дорогую ошибку. Каждое новое значение метки — новый временной ряд, а ряды Prometheus держит в памяти.

Метка method с пятью значениями (GET, POST и так далее) — пять рядов, это нормально. Метка user_id с идентификатором пользователя — миллион рядов на одну метрику. Хранилище съедает всю память и падает, причём через неделю после выката, когда пользователей накопилось достаточно. Число рядов называют кардинальностью, а ошибку — «взрывом кардинальности».

Правило запоминается одной фразой: в метку кладут только то, у чего мало возможных значений. Идентификаторы, адреса, полные пути с параметрами — в логи, не в метки.

Словарь урока

Цель (target)
Адрес, который Prometheus опрашивает, например node-exporter:9100.
Экспортёр
Программа-переводчик: читает данные системы и выставляет их страницей /metrics. ↩ к тексту
Метка
Уточнение у метрики в фигурных скобках: mountpoint=«/», method=«GET». ↩ к тексту
Временной ряд
Числа одной метрики с одним набором меток, записанные во времени. ↩ к тексту
Кардинальность
Сколько рядов порождает метрика. Метка с идентификатором взрывает её. ↩ к тексту

Что спросят на собеседовании

  • Pull или push — как работает Prometheus и почему это удобно?
    Pull: сам опрашивает цели. Если цель не ответила, он знает об этом сразу (up = 0), и список целей живёт в одном месте.
  • Что такое экспортёр? Приведи примеры.
    Программа, которая переводит метрики системы в формат Prometheus: node-exporter для машины, cAdvisor для контейнеров, postgres-exporter для базы.
  • Чем counter отличается от gauge?
    Counter только растёт, его смотрят через скорость роста. Gauge показывает текущее значение и может уменьшаться.

Что дальше

Хватит теории — в практике поднимем Prometheus с двумя экспортёрами на Compose и увидим свои первые цели.

Проверь себя+190 XPдве попытки
1
Сбор
Как Prometheus получает метрики?
2
Экспортёры
Зачем нужен node-exporter?
3
Типы метрик
Чем счётчик отличается от датчика?
4
Метки
Почему в метку нельзя класть идентификатор пользователя?
ответь на все вопросы, чтобы проверить

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.