Этот урок — короткий справочник по разделу. Сначала команды на случай, когда сломался сам мониторинг, потом запросы на каждый день, в конце — пара слов о системах, которые ты встретишь в чужих компаниях.
Возвращайся сюда, когда что-то не сходится: большинство поломок мониторинга лечится за пять минут, если знать, куда смотреть.
Быстрая отладка мониторинга
Мониторинг тоже ломается, и выглядит это тихо: пустая панель, оповещение, которое не пришло. Проверяй по цепочке — от сбора к доставке.
docker compose ps # все ли сервисы running docker compose logs --tail 30 prometheus # ошибки чтения настроек curl -s localhost:9090/-/healthy # жив ли Prometheus curl -s localhost:9093/-/healthy # жив ли Alertmanager
Флаг --tail 30 показывает последние тридцать строк лога, а не весь с начала, а -s у curl убирает полоску загрузки. Если сервисы живы, следующий вопрос — видит ли Prometheus цели. Это страница http://localhost:9090/targets или запрос up на вкладке Query: у упавшей цели причина написана прямо в колонке Error.
Самые частые причины, по опыту: ошибка отступа в prometheus.yml (Prometheus не стартует, в логе yaml: line N), localhost вместо имени сервиса в адресе цели или источника Grafana, забытый перезапуск после правки правил. Оповещение не пришло — смотри docker compose logs alertmanager: там пишутся все неудачные отправки.
Проверить файлы до применения помогают две программы из комплекта.
promtool и amtool
promtool лежит в образе Prometheus и проверяет настройки вместе с правилами. amtool — в образе Alertmanager, проверяет его настройки и умеет ставить тишину из командной строки.
promtool check config /etc/prometheus/prometheus.yml # внутри контейнера amtool check-config /etc/alertmanager/alertmanager.yml # внутри контейнера
Обе запускаются внутри своего контейнера: сначала docker compose exec prometheus sh, потом проверка. SUCCESS в выводе — можно перезапускать. Привычка проверять до применения экономит больше всего нервов: сломанный файл правил означает, что оповещений нет вовсе, а узнаешь ты об этом в аварию.
Теперь запросы, которые пригодятся чаще всего.
Шпаргалка запросов
Десять запросов, которыми закрывается большинство вопросов к стенду. Набирай их на вкладке Query или в Grafana Explore.
up == 0 # кто не отвечает probe_success == 0 # что не отвечает на проверку 1 - avg(rate(node_cpu_seconds_total{mode="idle"}[5m])) # загрузка процессора node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes # доля свободной памяти node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"} topk(3, container_memory_usage_bytes{name!=""}) # кто ест память sum by (name) (rate(container_cpu_usage_seconds_total{name!=""}[5m])) # кто ест процессор
И три запроса RED по метрикам прокси — их открывают первыми, когда жалуются пользователи:
sum by (status) (rate(stand_http_response_count_total[5m])) # трафик по кодам sum(rate(stand_http_response_count_total{status=~"5.."}[5m])) / sum(rate(stand_http_response_count_total[5m])) # доля ошибок histogram_quantile(0.95, sum by (le) (rate(stand_http_response_time_seconds_hist_bucket[5m]))) # p95
Порядок разбора такой: сначала «кто лежит», потом RED — что видит пользователь, — и только потом машина целиком и поиск виновника среди контейнеров. Этот же порядок пригодится в разделе 20 про отладку — там мониторинг станет первым шагом любого разбора.
Готовое по ссылке
Многое не нужно писать самому. Дашборды ставятся по номеру с grafana.com/grafana/dashboards: 1860 для машины, 14282 для контейнеров. Правила оповещений почти под всё собраны в Awesome Prometheus alerts. Экспортёры под базы, очереди и веб-серверы перечислены на странице экспортёров сайта Prometheus.
Правило одно: брать как заготовку, а не целиком. Двести чужих правил — это двести поводов для ложной побудки.
Другие системы мониторинга
В чужих компаниях ты встретишь не только Prometheus. Здесь нам достаточно знать, что такое есть и когда это выбирают.
Zabbix — старая и очень распространённая в России система: агент на каждой машине, своя база, свой интерфейс и оповещения в одной коробке. Силён там, где много серверов, сетевого оборудования и железа. VictoriaMetrics — совместимая замена хранилища Prometheus: те же запросы и дашборды, но меньше памяти и диска; на неё переходят, когда Prometheus становится тесно. Netdata — агент с готовыми панелями для одной машины, ставится за минуту и показывает всё посекундно.
Две системы в одной компании — нормально, если они отвечают на разные вопросы: Zabbix следит за железом, Prometheus — за сервисами. Плохо, когда обе следят за одним и тем же и никто не помнит, какая главная.
Что дальше
Числа говорят, что сломалось и когда. Почему — расскажут логи, им посвящён следующий раздел.