До сих пор, чтобы узнать об аварии, надо было смотреть на график. Сейчас соберём цепочку, которая сообщит о ней сама: правило в Prometheus, Alertmanager и получатель.
Получателем будет маленький контейнер, который просто печатает всё, что ему прислали. Это честная замена мессенджеру: Alertmanager отправляет туда тот же запрос, что и в Telegram, а мы видим его в логе, не заводя бота. Как подключить настоящий Telegram, расскажем в конце, это необязательно.
Шаг 1. Правило из трёх ключей
Правила живут в своём каталоге рядом с настройками Prometheus.
cd ~/infra/monitoringmkdir -p prometheus/rulesВпиши правило из урока — «цель не отвечает две минуты» — в самом коротком виде.
groups: - name: stand rules: - alert: TargetDown expr: up == 0 for: 2m
alert — имя, expr — условие на PromQL, for — сколько условие должно держаться, прежде чем правило сработает.
Шаг 2. Подключить правила
Prometheus сам файл не найдёт — ему надо сказать, где правила. Добавь в prometheus/prometheus.yml, сразу после блока global:
rule_files: - /etc/prometheus/rules/*.yml
Путь /etc/prometheus/rules — это путь внутри контейнера: каталог prometheus смонтирован туда ещё в первой практике. Звёздочка подхватит все файлы правил сразу.
Ошибка в правиле обнаруживается в худший момент — когда оповещение не пришло. Поэтому правила проверяют заранее программой promtool, она лежит внутри образа Prometheus. Зайдём в контейнер:
docker compose exec prometheus shВнутри проверим настройки — promtool проверит и сам файл, и все подключённые правила:
promtool check config /etc/prometheus/prometheus.ymlChecking /etc/prometheus/prometheus.yml SUCCESS: 1 rule files found SUCCESS: /etc/prometheus/prometheus.yml is valid prometheus config file syntax Checking /etc/prometheus/rules/alerts.yml SUCCESS: 1 rules found
Два SUCCESS — можно применять. Выйди из контейнера командой exit. Prometheus перечитывает настройки при перезапуске.
docker compose restart prometheus ✔ Container monitoring-prometheus-1 StartedУбедимся, что он увидел правило. Флаг -o у grep вырезает из длинного ответа только имена:
curl -s localhost:9090/api/v1/rules | grep -o 'name":"[^"]*'name":"stand name":"TargetDown
Шаг 3. Авария, о которой никто не узнал
Останавливаем node-exporter:
docker compose stop node-exporterПробрось порт 9090, как в прошлых практиках, и открой страницу http://localhost:9090/alerts. В прогоне для этого урока TargetDown стал жёлтым — pending — через 43 секунды: опрос заметил, что цели нет, правило это проверило, но две минуты ещё не прошли. Через 163 секунды он стал красным — firing.
Правило сработало — и ничего не произошло. Prometheus только вычисляет правила; рассылать сообщения он не умеет и не знает, кому. Это делает отдельная программа — Alertmanager. Верни экспортёр: docker compose start node-exporter.
Шаг 4. Настройки Alertmanager
Создаём каталог и пишем, куда слать. Сначала маршрут: всё одному получателю, ждать 10 секунд, чтобы собрать одновременные оповещения в одно сообщение.
mkdir alertmanagerroute: receiver: echo group_by: [alertname] group_wait: 10s receivers: - name: echo webhook_configs: - url: http://alert-echo:8080/
group_by — по какой метке склеивать оповещения: упадут три цели, придёт одно сообщение TargetDown со списком. webhook_configs — отправка обычным HTTP-запросом на адрес, тот же механизм используют мессенджеры и сервисы дежурств.
Шаг 5. Два сервиса в описании
В compose.yaml добавь Alertmanager и получателя.
alertmanager: image: prom/alertmanager:v0.34.1 ports: - "127.0.0.1:9093:9093" volumes: - ./alertmanager:/etc/alertmanager:ro restart: unless-stopped alert-echo: image: mendhak/http-https-echo:42 restart: unless-stopped
http-https-echo — готовый образ, который отвечает на любой запрос и печатает его в свой лог. Порт ему публиковать не нужно: к нему ходит только Alertmanager внутри сети Compose. И скажем Prometheus, куда отправлять сработавшие правила, — в prometheus.yml над rule_files:
alerting: alertmanagers: - static_configs: - targets: ["alertmanager:9093"]
Новые сервисы поднимет up, а Prometheus снова надо перезапустить.
docker compose up -d[+] Running 2/2 ✔ Container monitoring-alertmanager-1 Started ✔ Container monitoring-alert-echo-1 Started
docker compose restart prometheusАдрес Prometheus сохраним в переменной шелла P, как в первой практике раздела.
P=localhost:9090curl -s $P/api/v1/alertmanagers | grep -o alertmanager:9093alertmanager:9093Prometheus знает, куда слать.
Шаг 6. Дошло ли до получателя
Повтори аварию: docker compose stop node-exporter. Минуты через три Alertmanager получит оповещение — спросим его:
curl -s localhost:9093/api/v2/alerts | grep -o 'TargetDown'TargetDownА теперь главное — что пришло получателю. Смотрим его лог:
docker compose logs alert-echo | grep -o 'alertname[^,]*'alertname\":\"TargetDown\"Цепочка работает: метрика up стала нулём, правило сработало, Alertmanager доставил сообщение. Обратные косые черты — так эхо-контейнер печатает кавычки внутри текста. Если вывод пустой — проверь docker compose logs alertmanager, там будет причина, например неверный адрес получателя.
Посмотри на само сообщение целиком: docker compose logs alert-echo | grep TargetDown | tail -1. В нём есть "labels":{"alertname":"TargetDown","instance":"node-exporter:9100","job":"node"} и пустое "annotations":{}. Дежурный, которого разбудили ночью, увидит имя правила и адрес — и всё. Насколько это срочно и что именно сломалось, ему придётся выяснять самому. Верни экспортёр.
Шаг 7. Метки и пояснение
Допиши к правилу два блока, на одном уровне с for:
labels: severity: critical annotations: summary: "{{ $labels.job }} не отвечает две минуты"
labels — метки, которые Prometheus добавит к оповещению: по severity Alertmanager потом сможет слать критичное в мессенджер, а остальное — на почту. annotations — текст для человека; {{ $labels.job }} подставит имя задачи, которая упала. Проверь файл, перезапусти Prometheus и повтори аварию. В новом сообщении:
"labels":{"alertname":"TargetDown","instance":"node-exporter:9100","job":"node","severity":"critical"}, "annotations":{"summary":"node не отвечает две минуты"}
Теперь понятно и что, и насколько срочно.
Шаг 8. Как часто проверять правила
Вернёмся к замеру из шага 3: pending наступил только через 43 секунды, хотя Prometheus опрашивает цели раз в 15. Правила по умолчанию проверяются раз в минуту: опрос узнал об аварии быстро, а правило заметило её только на следующей минутной проверке. Допиши в блок global, под scrape_interval:
evaluation_interval: 15sПерезапусти Prometheus, верни экспортёр, подожди минуту и снова останови его. В прогоне для этого урока pending наступил через 7 секунд вместо 43, а firing — через 126 вместо 163. Две минуты из for остаются: их ты задал сам.
Шаг 9. Починить
Возвращаем экспортёр:
docker compose start node-exporterЧерез минуту оповещение погаснет само, а Alertmanager пришлёт получателю второе сообщение — со статусом resolved, «решено». Проверь лог ещё раз той же командой: там появится вторая запись.
Шаг 10. Тишина на время работ
Представь, что ты собираешься перезагрузить стенд и не хочешь будить коллег. Пробрось порт 9093 и открой http://localhost:9093 — это интерфейс Alertmanager.
Нажми New Silence, в Matchers впиши alertname="TargetDown", в Duration — 30m, в Comment — зачем. Создай. Теперь, если снова остановить экспортёр, Prometheus покажет firing, но получатель ничего не получит. Через полчаса тишина снимется сама; удалить её раньше можно кнопкой Expire.
Шаг 11. Настоящий Telegram (необязательно)
Этот шаг можно пропустить: сдача его не проверяет, а цепочку ты уже увидел на эхо-контейнере. Для живого мессенджера в alertmanager.yml вместо webhook_configs пишут telegram_configs с токеном бота и номером чата — пример есть в документации Alertmanager. Токен кладут в отдельный файл и указывают bot_token_file, чтобы он не попал в Git.
Учти: из некоторых сетей адрес api.telegram.org недоступен. Тогда Alertmanager молча копит ошибки в своём логе, а сообщений нет. Первое, что смотреть, — docker compose logs alertmanager.
Что дальше
Оповещение умеет приходить. Но какие из них важны, а какие шум, — решают цели по надёжности и правила дежурства, о них следующий урок.