Мониторинг из практик видит, что упал экспортёр. Но пользователю нет дела до экспортёров — ему важно, открывается ли сайт. Миссия — довести стенд до состояния, когда он сам замечает именно это, зовёт человека с инструкцией в руках и замолкает, когда всё починили.
Проверять будем единственным честным способом: уроним приложение стенда и засечём, через сколько придёт сообщение. Команды в миссии — это задание: что именно появится на экране, ты увидишь сам.
Требования
Задача одна, но проверяется по пунктам.
Шаг 1. Проверка доступности
До сих пор экспортёры рассказывали о себе сами: машина, контейнеры, журнал прокси. blackbox-exporter работает иначе — он сам делает запрос по адресу, как клиент, и сообщает, ответили ли и за сколько. Если приложение молчит совсем, журнал прокси не скажет ничего, а такая проверка заметит сразу.
Приложение живёт в сети стенда provision_stand, поэтому экспортёр подключаем в две сети: свою и стенда, — так же, как экспортёр базы в практике про метрики приложения. Добавь сервис в compose.yaml:
blackbox: image: prom/blackbox-exporter:v0.28.0 networks: [default, stand] restart: unless-stopped
В самом конце файла уже есть блок networks с сетью базы. Допиши в него вторую чужую сеть, на одном уровне с db:
stand: name: provision_stand external: true
Честно о том, что эта проверка видит. Адрес app:8000 — приложение изнутри сети стенда, мимо прокси и HTTPS: сломанный сертификат или nginx она не заметит. Путь пользователя через прокси у нас уже сторожат метрики прокси, на них ниже повесим правило, а проверку через внешний адрес и HTTPS сделаем в итоговом проекте.
Шаг 2. Цель для проверки
Blackbox опрашивается не так, как обычный экспортёр: Prometheus передаёт ему адрес, который надо проверить, а тот возвращает результат. Отсюда три строчки перестановки меток. Добавь в scrape_configs:
- job_name: stand metrics_path: /probe params: module: [http_2xx] static_configs: - targets: ["http://app:8000/health"] relabel_configs: - source_labels: [__address__] target_label: __param_target - source_labels: [__param_target] target_label: instance - target_label: __address__ replacement: blackbox:9115
Читать так: модуль http_2xx — «успех, если ответ с кодом 2xx». Адрес из targets уходит параметром target, сохраняется меткой instance, а сам запрос идёт на blackbox:9115. Это стандартный приём из README blackbox-exporter, его копируют как есть.
Примени сразу — правил ещё нет, но проверка уже должна работать. Prometheus читает свой файл только при старте:
docker compose up -d docker compose restart prometheus
Открой страницу Targets: целей должно стать шесть, и у stand состояние UP. Если DOWN с ошибкой no such host — blackbox не подключён к сети стенда, проверь шаг 1. Значение проверки видно и запросом probe_success на странице Graph: 1 — приложение ответило.
Шаг 3. Правила
В prometheus/rules/alerts.yml к TargetDown добавь три правила. Первое — симптом: проверка доступности не проходит.
- alert: StandDown expr: probe_success == 0 for: 1m labels: severity: critical annotations: summary: "Стенд не отвечает на /health" runbook: "runbooks/stand-down.md"
Второе — тоже симптом, но с другой стороны: пользователи получают ошибки. Запрос — доля пятисотых из практики про метрики приложения, только с условием в конце.
- alert: ErrorRateHigh expr: | sum(rate(stand_http_response_count_total{status=~"5.."}[5m])) / sum(rate(stand_http_response_count_total[5m])) > 0.05 for: 5m labels: severity: critical annotations: summary: "Больше 5% ответов стенда — ошибки 5xx"
Порог 5% и for: 5m подобраны для учебного стенда. На работе их выводят из цели по надёжности, о которой был прошлый урок: при SLO 99,5% бюджет ошибок — полпроцента, и будить людей стоит раньше, чем он сгорит.
Третье — беда, которая ещё не случилась: мало места на диске.
- alert: DiskAlmostFull expr: | node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"} < 0.1 for: 10m labels: severity: warning annotations: summary: "На корне меньше 10% места"
Проверь файл и правила — внутри контейнера Prometheus, как в практике:
docker compose exec prometheus sh promtool check config /etc/prometheus/prometheus.yml
Нужны строки SUCCESS и 4 rules found. Выйди командой exit и перезапусти Prometheus:
docker compose restart prometheusНа странице Alerts теперь четыре правила, все inactive: условия не выполняются, стенд жив. Но если что-то сработает сейчас, сообщение уйдёт по старому маршруту — разделим его.
Шаг 4. Два получателя
Перепиши alertmanager/alertmanager.yml: по умолчанию всё идёт тихому получателю, а critical — громкому. Сначала маршрут:
route: receiver: quiet group_by: [alertname] group_wait: 10s routes: - matchers: ['severity="critical"'] receiver: loud
Потом сами получатели. Оба отправляют на наш контейнер-эхо, но по разным путям — так в логе будет видно, кому что ушло:
receivers: - name: quiet webhook_configs: - url: http://alert-echo:8080/quiet - name: loud webhook_configs: - url: http://alert-echo:8080/loud
В жизни loud — это звонок или сообщение дежурному, а quiet — общий рабочий чат.
Перезапусти Alertmanager, чтобы он перечитал маршрут:
docker compose restart alertmanagerНа его странице localhost:9093, во вкладке Status, в конфигурации видны оба получателя.
Шаг 5. Инструкция
Разбуженный человек должен с первой строки понять, что делать. Создай каталог runbooks и файл stand-down.md в нём.
# StandDown ## Что это значит Приложение стенда не отвечает на /health минуту. Пользователи видят ошибку прямо сейчас. ## Проверить 1. Жив ли контейнер: docker ps -a --filter name=provision-app 2. Почему упал: docker logs --tail 50 provision-app-1 3. Жива ли база: docker ps --filter name=provision-db
И последний раздел — что делать и чего не делать:
## Сделать - Контейнер остановлен -> docker start provision-app-1 - Падает при старте -> смотреть логи, был ли выкат ## Не делать Не перезапускать всё подряд: это стирает следы.
Шаг 6. Авария
Засеки время — оно понадобится для паспорта.
date +%TТеперь роняем приложение стенда:
docker stop provision-app-1Следи за страницей Alerts в Prometheus: StandDown станет pending, через минуту — firing. Как только сработает, снова выполни date +%T. Разница — твоё время обнаружения.
Шаг 7. Кому ушло
Проверь лог получателя. Строка с /loud значит, что маршрут по важности сработал.
docker compose logs alert-echo | grep -c loudНоль — значит, оповещение ушло тихому получателю или не ушло вовсе. Посмотри docker compose logs alertmanager и метку severity в правиле.
Шаг 8. Починить по инструкции
Открой свой runbook и пройди его по пунктам, как будто тебя разбудили. Пункт 1 покажет Exited, пункт «Сделать» подскажет команду:
docker start provision-app-1Через минуту StandDown погаснет, а получатель loud получит сообщение со статусом resolved. Цепочка замкнулась.
Шаг 9. Паспорт
Запиши, что собрано, — это документ для того, кто придёт после тебя.
nano ~/devops-lab/reports/monitoring-passport.txtЦели: prometheus, node, cadvisor, proxy, postgres, stand (blackbox) Оповещения: TargetDown, StandDown, ErrorRateHigh (critical), DiskAlmostFull (warning) critical -> loud, warning -> quiet Время обнаружения: 1 мин 40 с в худшем случае (до 15 с опрос + до 15 с проверка правила + 1 мин for + 10 с group_wait) SLO стенда: 99,5% успешных проверок за 30 дней
Посмотри, из чего сложилось время обнаружения: интервал опроса, интервал проверки правил evaluation_interval, пауза for и ожидание группировки. Твой замер из шага 6 будет между 1 мин 10 с и 1 мин 40 с — смотря в какой момент между опросами ты уронил приложение. Если вышло около двух с половиной минут, в prometheus.yml нет строки evaluation_interval: 15s, и правила проверяются раз в минуту. Меньше можно, но ценой ложных побудок, — это сознательный размен, и его стоит записать.
Чем закрывается раздел
Теперь стенд видно, и он сам сообщает о беде: метрика, правило, получатель, инструкция. Дальше, в разделе 11, к числам добавятся логи — они объясняют, что именно случилось. А когда в разделах 16–18 появится Kubernetes, ты узнаешь ту же связку внутри набора kube-prometheus-stack: Prometheus, Alertmanager и Grafana там ставятся одним чартом.