Provision
—— XP

PromQL: минимум для работы

теория~7 минут+190 XP

Какой контейнер ест больше всех процессора? Сколько запросов в секунду принимает сайт? Сколько осталось на диске? Ответы на всё это у Prometheus уже есть, но спрашивать надо на его языке — PromQL (Prometheus Query Language). На нём же пишутся панели Grafana и правила оповещений, так что без него дальше никуда.

Учить язык целиком не нужно: в работе джуна девять запросов из десяти собраны из трёх приёмов — выбрать метрику по меткам, превратить счётчик в скорость и сложить ряды. Если работал с таблицами в Excel, узнаешь их сразу: фильтр, формула и сводная таблица. Запросы из урока набирай в браузере на странице Prometheus, вкладка Query, — порт мы пробрасывали в прошлой практике.

Выбор по меткам

Самый простой запрос — просто имя метрики. Prometheus вернёт все её ряды с текущими значениями.

ubuntu@stand:~$
up

На стенде это три строки, по одной на цель, и у каждой значение 1. Чтобы оставить только нужное, после имени в фигурных скобках пишут условие на метки:

ubuntu@stand:~$
up{job="node"}
node_filesystem_avail_bytes{mountpoint="/"}
container_memory_usage_bytes{name!=""}

Знак = значит «равно», != — «не равно». В третьей строке мы отбрасываем ряды без имени контейнера: cAdvisor отдаёт ещё и служебные ряды за всю машину целиком, и без фильтра они путаются в списке. Есть ещё =~ — совпадение с шаблоном, например {name=~"provision.*"} выберет все контейнеры стенда.

Метрики-датчики так и смотрят. А вот со счётчиками нужен ещё один шаг.

rate: скорость счётчика

Счётчик только растёт, и его текущее значение бесполезно. node_network_receive_bytes_total скажет «принято 48 гигабайт с момента загрузки» — а нам нужно знать, сколько принимается сейчас.

ubuntu@stand:~$
rate(node_network_receive_bytes_total[5m])

Функция rate берёт точки за последние пять минут — это окно в квадратных скобках — и считает, на сколько в среднем рос счётчик за секунду. Получаются байты в секунду. Если контейнер перезапустился и счётчик сбросился в ноль, rate это заметит и не нарисует провал.

Окно выбирают не меньше четырёх интервалов опроса: при опросе раз в 15 секунд это минута. Пять минут — разумное значение по умолчанию. Короткое окно даёт рваный график, длинное сглаживает, но запаздывает.

Типичная ошибка новичка — rate от датчика, например от свободной памяти. Prometheus не ругается, но число получается бессмысленным. Правило: rate только для счётчиков. Узнать их легко по хвосту имени: _total, а ещё _bucket, _sum и _count у гистограмм — о них чуть ниже.

Скорость получили, но на графике вместо одной линии их может оказаться несколько десятков, и ответа «занята машина или нет» из них не видно.

sum by: сложить ряды

Счётчик процессора у node-exporter заведён на каждое ядро и каждый режим работы, рядов получаются десятки. Чтобы увидеть картину целиком, их складывают.

ubuntu@stand:~$
sum(rate(container_cpu_usage_seconds_total{name!=""}[5m]))
sum by (name) (rate(container_cpu_usage_seconds_total{name!=""}[5m]))

Первая строка складывает всё в одно число: сколько ядер процессора занимают все контейнеры вместе. Вторая складывает отдельно для каждого значения метки name — получается по ряду на контейнер. Значение 0.25 значит «четверть одного ядра».

Читать такие запросы удобно изнутри наружу: метрика, фильтр по меткам, скорость за пять минут, сумма по контейнерам. Кроме sum есть avg (среднее), max и count (сколько рядов), пишутся так же.

Иногда из полученных рядов нужны только самые большие. Для этого есть topk:

ubuntu@stand:~$
topk(3, container_memory_usage_bytes{name!=""})

Три контейнера, которые едят больше всего памяти, — первый запрос, когда машина начала тормозить.

Арифметика и сравнение

Ряды можно делить и умножать, как обычные числа. Так из двух метрик получают долю.

ubuntu@stand:~$
node_filesystem_avail_bytes{mountpoint="/"}
  / node_filesystem_size_bytes{mountpoint="/"}

Свободное место делится на размер, и выходит доля от 0 до 1: 0.12 значит «свободно 12%». Prometheus сам сопоставит ряды с одинаковыми метками в числителе и знаменателе.

Добавь в конец сравнение, например < 0.1, — и останутся только ряды, где свободно меньше 10%. Если таких нет, ответ пустой. Ровно так и пишутся оповещения: запрос, который при беде что-то возвращает, а в норме молчит.

Перцентиль из гистограммы

В первом уроке раздела мы договорились смотреть время ответа перцентилем, а не средним. Но Prometheus не хранит каждый запрос отдельно — ему отдают гистограмму: набор счётчиков-корзин. Корзина с меткой le="0.1" (less or equal, «меньше или равно») считает, сколько запросов уложилось в 0,1 секунды, корзина le="0.5" — сколько уложилось в полсекунды, и так далее до le="+Inf", куда попадают все.

Это как сортировка писем по весу на почте: в первую коробку до 100 граммов, во вторую до 500, в третью всё подряд. Каждое письмо кладут во все коробки, куда оно влезает, поэтому последняя всегда самая полная. По числам в коробках можно оценить, сколько весит письмо, тяжелее которого 5% всех.

Ровно это делает функция histogram_quantile. Корзины — счётчики, поэтому сначала берут их скорость, потом складывают по метке le, чтобы корзины разных рядов слились в одну гистограмму:

ubuntu@stand:~$
histogram_quantile(0.95,
  sum by (le) (rate(http_request_duration_seconds_bucket[5m])))

Читать изнутри: скорость каждой корзины за пять минут, сумма по границам корзин, и из этого 95-й перцентиль — p95 в секундах. Ответ 0.3 значит «95% запросов за последние пять минут уложились в 300 мс». Число приближённое: внутри корзины Prometheus считает запросы равномерно размазанными, поэтому точность зависит от того, как часто расставлены границы.

Самая частая ошибка — забыть le в sum by. Тогда корзины слипнутся в одно число, и функция вернёт пустой ответ или NaN. Посчитаем p95 на живом стенде в практике про метрики приложения.

Что ещё бывает

Здесь нам достаточно знать, что такое есть. predict_linear прогнозирует: «когда при таком темпе закончится диск». Правила записи (recording rules) заранее считают тяжёлый запрос и сохраняют результат новой метрикой, чтобы дашборды не нагружали Prometheus.

Всё это понадобится позже и найдётся в документации PromQL. Для начала работы хватит трёх приёмов из урока и перцентиля.

Словарь урока

Селектор
Имя метрики с условием на метки в фигурных скобках: up{job=«node»}.
Окно
Отрезок времени в квадратных скобках, из которого берутся точки: [5m]. ↩ к тексту
rate
Скорость роста счётчика в секунду за окно.
sum by
Сложить ряды, сгруппировав их по указанной метке.
Гистограмма
Набор счётчиков-корзин с меткой le: сколько значений уложилось в каждую границу. ↩ к тексту
histogram_quantile
Функция, которая из корзин гистограммы оценивает перцентиль, например p95 времени ответа.

Что спросят на собеседовании

  • Как посчитать число запросов в секунду, если есть счётчик http_requests_total?
    sum(rate(http_requests_total[5m])) — скорость роста за пять минут, сложенная по всем рядам.
  • Чем rate отличается от irate?
    rate усредняет по всему окну, irate берёт две последние точки. Для графиков и оповещений берут rate, он устойчивее.
  • Как найти контейнер, который ест больше всего памяти?
    topk(1, container_memory_usage_bytes{name!=«»}) по метрикам cAdvisor.

Что дальше

В практике зададим эти вопросы своему стенду и заодно увидим, как запрос подтверждает или опровергает догадку.

Проверь себя+190 XPдве попытки
1
Выбор по меткам
Что вернёт запрос up{job=«node»}?
2
rate
Зачем к счётчику применяют rate?
3
sum by
Что делает sum by (name) (…)?
4
Окно
Что значит [5m] в rate(x[5m])?
5
Гистограмма
Почему в запросе p95 пишут sum by (le), а не просто sum?
ответь на все вопросы, чтобы проверить

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.