Provision
—— XP

Инструменты: шпаргалка мониторинга

теория~4 минут+190 XP

Этот урок — короткий справочник по разделу. Сначала команды на случай, когда сломался сам мониторинг, потом запросы на каждый день, в конце — пара слов о системах, которые ты встретишь в чужих компаниях.

Возвращайся сюда, когда что-то не сходится: большинство поломок мониторинга лечится за пять минут, если знать, куда смотреть.

Быстрая отладка мониторинга

Мониторинг тоже ломается, и выглядит это тихо: пустая панель, оповещение, которое не пришло. Проверяй по цепочке — от сбора к доставке.

ubuntu@stand:~$
docker compose ps                      # все ли сервисы running
docker compose logs --tail 30 prometheus   # ошибки чтения настроек
curl -s localhost:9090/-/healthy           # жив ли Prometheus
curl -s localhost:9093/-/healthy           # жив ли Alertmanager

Флаг --tail 30 показывает последние тридцать строк лога, а не весь с начала, а -s у curl убирает полоску загрузки. Если сервисы живы, следующий вопрос — видит ли Prometheus цели. Это страница http://localhost:9090/targets или запрос up на вкладке Query: у упавшей цели причина написана прямо в колонке Error.

Самые частые причины, по опыту: ошибка отступа в prometheus.yml (Prometheus не стартует, в логе yaml: line N), localhost вместо имени сервиса в адресе цели или источника Grafana, забытый перезапуск после правки правил. Оповещение не пришло — смотри docker compose logs alertmanager: там пишутся все неудачные отправки.

Проверить файлы до применения помогают две программы из комплекта.

promtool и amtool

promtool лежит в образе Prometheus и проверяет настройки вместе с правилами. amtool — в образе Alertmanager, проверяет его настройки и умеет ставить тишину из командной строки.

ubuntu@stand:~$
promtool check config /etc/prometheus/prometheus.yml   # внутри контейнера
amtool check-config /etc/alertmanager/alertmanager.yml # внутри контейнера

Обе запускаются внутри своего контейнера: сначала docker compose exec prometheus sh, потом проверка. SUCCESS в выводе — можно перезапускать. Привычка проверять до применения экономит больше всего нервов: сломанный файл правил означает, что оповещений нет вовсе, а узнаешь ты об этом в аварию.

Теперь запросы, которые пригодятся чаще всего.

Шпаргалка запросов

Десять запросов, которыми закрывается большинство вопросов к стенду. Набирай их на вкладке Query или в Grafana Explore.

ubuntu@stand:~$
up == 0                                   # кто не отвечает
probe_success == 0                        # что не отвечает на проверку
1 - avg(rate(node_cpu_seconds_total{mode="idle"}[5m]))   # загрузка процессора
node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes   # доля свободной памяти
node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"}
topk(3, container_memory_usage_bytes{name!=""})          # кто ест память
sum by (name) (rate(container_cpu_usage_seconds_total{name!=""}[5m]))   # кто ест процессор

И три запроса RED по метрикам прокси — их открывают первыми, когда жалуются пользователи:

ubuntu@stand:~$
sum by (status) (rate(stand_http_response_count_total[5m]))   # трафик по кодам
sum(rate(stand_http_response_count_total{status=~"5.."}[5m])) / sum(rate(stand_http_response_count_total[5m]))   # доля ошибок
histogram_quantile(0.95, sum by (le) (rate(stand_http_response_time_seconds_hist_bucket[5m])))   # p95

Порядок разбора такой: сначала «кто лежит», потом RED — что видит пользователь, — и только потом машина целиком и поиск виновника среди контейнеров. Этот же порядок пригодится в разделе 20 про отладку — там мониторинг станет первым шагом любого разбора.

Готовое по ссылке

Многое не нужно писать самому. Дашборды ставятся по номеру с grafana.com/grafana/dashboards: 1860 для машины, 14282 для контейнеров. Правила оповещений почти под всё собраны в Awesome Prometheus alerts. Экспортёры под базы, очереди и веб-серверы перечислены на странице экспортёров сайта Prometheus.

Правило одно: брать как заготовку, а не целиком. Двести чужих правил — это двести поводов для ложной побудки.

Другие системы мониторинга

В чужих компаниях ты встретишь не только Prometheus. Здесь нам достаточно знать, что такое есть и когда это выбирают.

Zabbix — старая и очень распространённая в России система: агент на каждой машине, своя база, свой интерфейс и оповещения в одной коробке. Силён там, где много серверов, сетевого оборудования и железа. VictoriaMetrics — совместимая замена хранилища Prometheus: те же запросы и дашборды, но меньше памяти и диска; на неё переходят, когда Prometheus становится тесно. Netdata — агент с готовыми панелями для одной машины, ставится за минуту и показывает всё посекундно.

Две системы в одной компании — нормально, если они отвечают на разные вопросы: Zabbix следит за железом, Prometheus — за сервисами. Плохо, когда обе следят за одним и тем же и никто не помнит, какая главная.

Что дальше

Числа говорят, что сломалось и когда. Почему — расскажут логи, им посвящён следующий раздел.

Проверь себя+190 XPдве попытки
1
Когда сломался мониторинг
Панель в Grafana пустая. С чего начать?
2
Другие системы
Когда вместо Prometheus часто берут Zabbix?
3
Другие системы
Что такое VictoriaMetrics?
ответь на все вопросы, чтобы проверить

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.