Теперь у Prometheus есть что спрашивать. В этой практике ты задашь стенду обычные вопросы дежурного — «сколько занято процессора», «хватает ли памяти», «что с диском», — а потом сам устроишь нагрузку и найдёшь её источник одним запросом.
Все запросы набирай в браузере на вкладке Query: адрес http://localhost:9090/query, порт пробрасывается командой ssh -L из прошлой практики. Под строкой запроса две вкладки — Table показывает числа сейчас, Graph рисует их во времени.
Шаг 1. Кто на связи
Начинаем всегда с одного и того же — со списка целей и их состояния.
upТри строки с метками job="prometheus", job="node" и job="cadvisor", у всех значение 1. Ноль у любой из них — сначала чинить сбор, а потом уже задавать вопросы: от упавшей цели ответов не будет.
Шаг 2. Процессор машины
Счётчик node_cpu_seconds_total считает секунды, которые каждое ядро провело в каждом режиме. Режим idle — простой. Доля простоя за пять минут:
avg(rate(node_cpu_seconds_total{mode="idle"}[5m]))Ответ вроде 0.96 значит «процессор простаивает 96% времени», то есть занят на 4%. Функция avg усреднила все ядра в одно число. Вычти результат из единицы — 1 - avg(...) — и получишь загрузку напрямую.
Шаг 3. Память
Свободную память считает датчик node_memory_MemAvailable_bytes — это то же, что колонка available у команды free.
node_memory_MemAvailable_bytes / node_memory_MemTotal_bytesПолучится доля, например 0.58: доступно 58% памяти. Именно MemAvailable, а не MemFree: Linux занимает свободную память под кеш и отдаёт её по первому требованию, поэтому «free» почти всегда выглядит пугающе маленьким.
Шаг 4. Диск
Доля свободного места на корне — запрос из урока, только теперь на живом стенде.
node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"}
Сравни с выводом df -h / из прошлой практики. В прогоне для этого урока там было свободно 518G из 915G, и запрос дал около 0.57; у тебя числа свои, но доля сойдётся с df. Не жди, что 0.57 и Use% 41% сложатся в единицу: df считает процент от места, доступного обычным пользователям, а около 5% диска ext4 держит в запасе для root. Запрос же делит свободное на полный размер. Добавь в конец < 0.1 — ответ станет пустым, ведь места хватает. Пустой ответ на условие — это «всё хорошо».
Шаг 5. Память по контейнерам
Теперь вопрос к cAdvisor: кто сколько ест.
topk(3, container_memory_usage_bytes{name!=""})Три контейнера с наибольшей памятью. Значения в байтах; переключи вкладку на Graph — там Prometheus подпишет ось в мегабайтах сам. Скорее всего, сверху окажется база или сам Prometheus.
Шаг 6. Процессор по контейнерам
Это главный запрос раздела — его ты будешь набирать, когда «всё тормозит».
sum by (name) (rate(container_cpu_usage_seconds_total{name!=""}[5m]))По строке на контейнер, значение — доля одного ядра. Сейчас все числа маленькие: стенд отдыхает. Запомни, как выглядит покой, — через минуту сравним.
Шаг 7. Устроить нагрузку
Запустим контейнер, который бесполезно крутит процессор: md5sum считает контрольную сумму бесконечного потока нулей и никогда не заканчивает. Флаг -d — в фоне, --name — понятное имя.
docker run -d --name burn alpine md5sum /dev/zero 7c3e1f0a9b2d4e6f8a1c3e5f7b9d1f3a5c7e9b1d3f5a7c9e1b3d5f7a9c1e3f5b
Docker напечатал идентификатор нового контейнера — значит, тот запущен. Убедимся:
docker ps --filter name=burn CONTAINER ID IMAGE COMMAND STATUS NAMES 7c3e1f0a9b2d alpine "md5sum /dev/zero" Up 10 seconds burn
Флаг --filter оставляет в списке только контейнеры с подходящим именем.
Шаг 8. Найти виновника
Подожди минуту и повтори запрос из шага 6. Теперь одна строка выделяется:
{name="burn"} 0.99 {name="monitoring-prometheus-1"} 0.01 {name="provision-db-1"} 0.002 {name="db-db-1"} 0.001
burn занимает почти целое ядро. Ниже две базы: provision-db-1 — база стенда из раздела 08, db-db-1 — учебная база магазина из раздела 09. У тебя порядок и мелкие числа будут свои. На вкладке Graph видно и момент, когда это началось. Так и выглядит разбор «машина тормозит»: не гадать, а спросить, кто ест процессор, и получить имя.
Запрос из шага 2 тоже изменился: простой упал. На машине с двумя ядрами получится около 0.5 — одно ядро целиком занято.
Шаг 9. Убрать нагрузку
Останавливаем и удаляем контейнер одной командой. Флаг -f (force) у docker rm сначала останавливает работающий контейнер.
docker rm -f burn burn
Через пару минут ряд burn исчезнет из ответа шага 6, а на графике останется горб — история не стирается.
Шаг 10. Отчёт
Запиши запросы, которые пригодились, и вывод. Отчёт — это твоя шпаргалка на будущее.
mkdir -p ~/devops-lab/reports nano ~/devops-lab/reports/promql.txt
Процессор по контейнерам: sum by (name) (rate(container_cpu_usage_seconds_total{name!=""}[5m])) Память, топ-3: topk(3, container_memory_usage_bytes{name!=""}) Виновник: burn — занимал 0.99 ядра
Строка «Виновник» проверяется при сдаче — впиши имя, которое нашёл запросом.
Что дальше
Машину и контейнеры ты спрашивать научился. Но пользователю нет дела до процессора — в следующей практике дадим стенду метрики со стороны пользователя: запросы, ошибки и время ответа.