Provision
—— XP

Практика: первые запросы к стенду

практика~25 минут+475 XP

Теперь у Prometheus есть что спрашивать. В этой практике ты задашь стенду обычные вопросы дежурного — «сколько занято процессора», «хватает ли памяти», «что с диском», — а потом сам устроишь нагрузку и найдёшь её источник одним запросом.

Все запросы набирай в браузере на вкладке Query: адрес http://localhost:9090/query, порт пробрасывается командой ssh -L из прошлой практики. Под строкой запроса две вкладки — Table показывает числа сейчас, Graph рисует их во времени.

Шаг 1. Кто на связи

Начинаем всегда с одного и того же — со списка целей и их состояния.

ubuntu@stand:~$
up

Три строки с метками job="prometheus", job="node" и job="cadvisor", у всех значение 1. Ноль у любой из них — сначала чинить сбор, а потом уже задавать вопросы: от упавшей цели ответов не будет.

Шаг 2. Процессор машины

Счётчик node_cpu_seconds_total считает секунды, которые каждое ядро провело в каждом режиме. Режим idle — простой. Доля простоя за пять минут:

ubuntu@stand:~$
avg(rate(node_cpu_seconds_total{mode="idle"}[5m]))

Ответ вроде 0.96 значит «процессор простаивает 96% времени», то есть занят на 4%. Функция avg усреднила все ядра в одно число. Вычти результат из единицы — 1 - avg(...) — и получишь загрузку напрямую.

Шаг 3. Память

Свободную память считает датчик node_memory_MemAvailable_bytes — это то же, что колонка available у команды free.

ubuntu@stand:~$
node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes

Получится доля, например 0.58: доступно 58% памяти. Именно MemAvailable, а не MemFree: Linux занимает свободную память под кеш и отдаёт её по первому требованию, поэтому «free» почти всегда выглядит пугающе маленьким.

Шаг 4. Диск

Доля свободного места на корне — запрос из урока, только теперь на живом стенде.

ubuntu@stand:~$
node_filesystem_avail_bytes{mountpoint="/"}
  / node_filesystem_size_bytes{mountpoint="/"}

Сравни с выводом df -h / из прошлой практики. В прогоне для этого урока там было свободно 518G из 915G, и запрос дал около 0.57; у тебя числа свои, но доля сойдётся с df. Не жди, что 0.57 и Use% 41% сложатся в единицу: df считает процент от места, доступного обычным пользователям, а около 5% диска ext4 держит в запасе для root. Запрос же делит свободное на полный размер. Добавь в конец < 0.1 — ответ станет пустым, ведь места хватает. Пустой ответ на условие — это «всё хорошо».

Шаг 5. Память по контейнерам

Теперь вопрос к cAdvisor: кто сколько ест.

ubuntu@stand:~$
topk(3, container_memory_usage_bytes{name!=""})

Три контейнера с наибольшей памятью. Значения в байтах; переключи вкладку на Graph — там Prometheus подпишет ось в мегабайтах сам. Скорее всего, сверху окажется база или сам Prometheus.

Шаг 6. Процессор по контейнерам

Это главный запрос раздела — его ты будешь набирать, когда «всё тормозит».

ubuntu@stand:~$
sum by (name) (rate(container_cpu_usage_seconds_total{name!=""}[5m]))

По строке на контейнер, значение — доля одного ядра. Сейчас все числа маленькие: стенд отдыхает. Запомни, как выглядит покой, — через минуту сравним.

Шаг 7. Устроить нагрузку

Запустим контейнер, который бесполезно крутит процессор: md5sum считает контрольную сумму бесконечного потока нулей и никогда не заканчивает. Флаг -d — в фоне, --name — понятное имя.

ubuntu@stand:~$
docker run -d --name burn alpine md5sum /dev/zero
7c3e1f0a9b2d4e6f8a1c3e5f7b9d1f3a5c7e9b1d3f5a7c9e1b3d5f7a9c1e3f5b

Docker напечатал идентификатор нового контейнера — значит, тот запущен. Убедимся:

ubuntu@stand:~$
docker ps --filter name=burn
CONTAINER ID   IMAGE    COMMAND              STATUS          NAMES
7c3e1f0a9b2d   alpine   "md5sum /dev/zero"   Up 10 seconds   burn

Флаг --filter оставляет в списке только контейнеры с подходящим именем.

Шаг 8. Найти виновника

Подожди минуту и повтори запрос из шага 6. Теперь одна строка выделяется:

ubuntu@stand:~$
{name="burn"}                    0.99
{name="monitoring-prometheus-1"} 0.01
{name="provision-db-1"}          0.002
{name="db-db-1"}                 0.001

burn занимает почти целое ядро. Ниже две базы: provision-db-1 — база стенда из раздела 08, db-db-1 — учебная база магазина из раздела 09. У тебя порядок и мелкие числа будут свои. На вкладке Graph видно и момент, когда это началось. Так и выглядит разбор «машина тормозит»: не гадать, а спросить, кто ест процессор, и получить имя.

Запрос из шага 2 тоже изменился: простой упал. На машине с двумя ядрами получится около 0.5 — одно ядро целиком занято.

Шаг 9. Убрать нагрузку

Останавливаем и удаляем контейнер одной командой. Флаг -f (force) у docker rm сначала останавливает работающий контейнер.

ubuntu@stand:~$
docker rm -f burn
burn

Через пару минут ряд burn исчезнет из ответа шага 6, а на графике останется горб — история не стирается.

Шаг 10. Отчёт

Запиши запросы, которые пригодились, и вывод. Отчёт — это твоя шпаргалка на будущее.

ubuntu@stand:~$
mkdir -p ~/devops-lab/reports
nano ~/devops-lab/reports/promql.txt
~/devops-lab/reports/promql.txt
Процессор по контейнерам:
sum by (name) (rate(container_cpu_usage_seconds_total{name!=""}[5m]))

Память, топ-3:
topk(3, container_memory_usage_bytes{name!=""})

Виновник: burn — занимал 0.99 ядра

Строка «Виновник» проверяется при сдаче — впиши имя, которое нашёл запросом.

Что дальше

Машину и контейнеры ты спрашивать научился. Но пользователю нет дела до процессора — в следующей практике дадим стенду метрики со стороны пользователя: запросы, ошибки и время ответа.

Практика 02+475 XP

Отвечать запросом PromQL на вопрос «что сейчас происходит с машиной и кто виноват».

  • В отчёте есть запрос со скоростью
  • В отчёте есть сложение по контейнерам
  • Нагрузка попала в метрики
  • Нагрузка убрана
  • Виновник назван
Команда сдачи — выполни на своей машине
команда
cat ~/devops-lab/reports/promql.txt; echo ---; curl -sG localhost:9090/api/v1/query --data-urlencode 'query=count_over_time(container_cpu_usage_seconds_total{name="burn"}[24h])' | grep -o '"name":"burn"' | head -1; echo ---; docker ps --filter name=burn --format 'RUNNING={{.Names}}'

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.