Какой контейнер ест больше всех процессора? Сколько запросов в секунду принимает сайт? Сколько осталось на диске? Ответы на всё это у Prometheus уже есть, но спрашивать надо на его языке — PromQL (Prometheus Query Language). На нём же пишутся панели Grafana и правила оповещений, так что без него дальше никуда.
Учить язык целиком не нужно: в работе джуна девять запросов из десяти собраны из трёх приёмов — выбрать метрику по меткам, превратить счётчик в скорость и сложить ряды. Если работал с таблицами в Excel, узнаешь их сразу: фильтр, формула и сводная таблица. Запросы из урока набирай в браузере на странице Prometheus, вкладка Query, — порт мы пробрасывали в прошлой практике.
Выбор по меткам
Самый простой запрос — просто имя метрики. Prometheus вернёт все её ряды с текущими значениями.
upНа стенде это три строки, по одной на цель, и у каждой значение 1. Чтобы оставить только нужное, после имени в фигурных скобках пишут условие на метки:
up{job="node"} node_filesystem_avail_bytes{mountpoint="/"} container_memory_usage_bytes{name!=""}
Знак = значит «равно», != — «не равно». В третьей строке мы отбрасываем ряды без имени контейнера: cAdvisor отдаёт ещё и служебные ряды за всю машину целиком, и без фильтра они путаются в списке. Есть ещё =~ — совпадение с шаблоном, например {name=~"provision.*"} выберет все контейнеры стенда.
Метрики-датчики так и смотрят. А вот со счётчиками нужен ещё один шаг.
rate: скорость счётчика
Счётчик только растёт, и его текущее значение бесполезно. node_network_receive_bytes_total скажет «принято 48 гигабайт с момента загрузки» — а нам нужно знать, сколько принимается сейчас.
rate(node_network_receive_bytes_total[5m])Функция rate берёт точки за последние пять минут — это окно в квадратных скобках — и считает, на сколько в среднем рос счётчик за секунду. Получаются байты в секунду. Если контейнер перезапустился и счётчик сбросился в ноль, rate это заметит и не нарисует провал.
Окно выбирают не меньше четырёх интервалов опроса: при опросе раз в 15 секунд это минута. Пять минут — разумное значение по умолчанию. Короткое окно даёт рваный график, длинное сглаживает, но запаздывает.
Типичная ошибка новичка — rate от датчика, например от свободной памяти. Prometheus не ругается, но число получается бессмысленным. Правило: rate только для счётчиков. Узнать их легко по хвосту имени: _total, а ещё _bucket, _sum и _count у гистограмм — о них чуть ниже.
Скорость получили, но на графике вместо одной линии их может оказаться несколько десятков, и ответа «занята машина или нет» из них не видно.
sum by: сложить ряды
Счётчик процессора у node-exporter заведён на каждое ядро и каждый режим работы, рядов получаются десятки. Чтобы увидеть картину целиком, их складывают.
sum(rate(container_cpu_usage_seconds_total{name!=""}[5m])) sum by (name) (rate(container_cpu_usage_seconds_total{name!=""}[5m]))
Первая строка складывает всё в одно число: сколько ядер процессора занимают все контейнеры вместе. Вторая складывает отдельно для каждого значения метки name — получается по ряду на контейнер. Значение 0.25 значит «четверть одного ядра».
Читать такие запросы удобно изнутри наружу: метрика, фильтр по меткам, скорость за пять минут, сумма по контейнерам. Кроме sum есть avg (среднее), max и count (сколько рядов), пишутся так же.
Иногда из полученных рядов нужны только самые большие. Для этого есть topk:
topk(3, container_memory_usage_bytes{name!=""})Три контейнера, которые едят больше всего памяти, — первый запрос, когда машина начала тормозить.
Арифметика и сравнение
Ряды можно делить и умножать, как обычные числа. Так из двух метрик получают долю.
node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"}
Свободное место делится на размер, и выходит доля от 0 до 1: 0.12 значит «свободно 12%». Prometheus сам сопоставит ряды с одинаковыми метками в числителе и знаменателе.
Добавь в конец сравнение, например < 0.1, — и останутся только ряды, где свободно меньше 10%. Если таких нет, ответ пустой. Ровно так и пишутся оповещения: запрос, который при беде что-то возвращает, а в норме молчит.
Перцентиль из гистограммы
В первом уроке раздела мы договорились смотреть время ответа перцентилем, а не средним. Но Prometheus не хранит каждый запрос отдельно — ему отдают гистограмму: набор счётчиков-корзин. Корзина с меткой le="0.1" (less or equal, «меньше или равно») считает, сколько запросов уложилось в 0,1 секунды, корзина le="0.5" — сколько уложилось в полсекунды, и так далее до le="+Inf", куда попадают все.
Это как сортировка писем по весу на почте: в первую коробку до 100 граммов, во вторую до 500, в третью всё подряд. Каждое письмо кладут во все коробки, куда оно влезает, поэтому последняя всегда самая полная. По числам в коробках можно оценить, сколько весит письмо, тяжелее которого 5% всех.
Ровно это делает функция histogram_quantile. Корзины — счётчики, поэтому сначала берут их скорость, потом складывают по метке le, чтобы корзины разных рядов слились в одну гистограмму:
histogram_quantile(0.95, sum by (le) (rate(http_request_duration_seconds_bucket[5m])))
Читать изнутри: скорость каждой корзины за пять минут, сумма по границам корзин, и из этого 95-й перцентиль — p95 в секундах. Ответ 0.3 значит «95% запросов за последние пять минут уложились в 300 мс». Число приближённое: внутри корзины Prometheus считает запросы равномерно размазанными, поэтому точность зависит от того, как часто расставлены границы.
Самая частая ошибка — забыть le в sum by. Тогда корзины слипнутся в одно число, и функция вернёт пустой ответ или NaN. Посчитаем p95 на живом стенде в практике про метрики приложения.
Что ещё бывает
Здесь нам достаточно знать, что такое есть. predict_linear прогнозирует: «когда при таком темпе закончится диск». Правила записи (recording rules) заранее считают тяжёлый запрос и сохраняют результат новой метрикой, чтобы дашборды не нагружали Prometheus.
Всё это понадобится позже и найдётся в документации PromQL. Для начала работы хватит трёх приёмов из урока и перцентиля.
Словарь урока
Что спросят на собеседовании
- Как посчитать число запросов в секунду, если есть счётчик http_requests_total?sum(rate(http_requests_total[5m])) — скорость роста за пять минут, сложенная по всем рядам.
- Чем rate отличается от irate?rate усредняет по всему окну, irate берёт две последние точки. Для графиков и оповещений берут rate, он устойчивее.
- Как найти контейнер, который ест больше всего памяти?topk(1, container_memory_usage_bytes{name!=«»}) по метрикам cAdvisor.
Что дальше
В практике зададим эти вопросы своему стенду и заодно увидим, как запрос подтверждает или опровергает догадку.