Provision
—— XP

Практика: первое оповещение

практика~30 минут+475 XP

До сих пор, чтобы узнать об аварии, надо было смотреть на график. Сейчас соберём цепочку, которая сообщит о ней сама: правило в Prometheus, Alertmanager и получатель.

Получателем будет маленький контейнер, который просто печатает всё, что ему прислали. Это честная замена мессенджеру: Alertmanager отправляет туда тот же запрос, что и в Telegram, а мы видим его в логе, не заводя бота. Как подключить настоящий Telegram, расскажем в конце, это необязательно.

Шаг 1. Правило из трёх ключей

Правила живут в своём каталоге рядом с настройками Prometheus.

ubuntu@stand:~$
cd ~/infra/monitoring
ubuntu@stand:~$
mkdir -p prometheus/rules

Впиши правило из урока — «цель не отвечает две минуты» — в самом коротком виде.

nano prometheus/rules/alerts.yml
groups:
  - name: stand
    rules:
      - alert: TargetDown
        expr: up == 0
        for: 2m

alert — имя, expr — условие на PromQL, for — сколько условие должно держаться, прежде чем правило сработает.

Шаг 2. Подключить правила

Prometheus сам файл не найдёт — ему надо сказать, где правила. Добавь в prometheus/prometheus.yml, сразу после блока global:

в prometheus.yml после global
rule_files:
  - /etc/prometheus/rules/*.yml

Путь /etc/prometheus/rules — это путь внутри контейнера: каталог prometheus смонтирован туда ещё в первой практике. Звёздочка подхватит все файлы правил сразу.

Ошибка в правиле обнаруживается в худший момент — когда оповещение не пришло. Поэтому правила проверяют заранее программой promtool, она лежит внутри образа Prometheus. Зайдём в контейнер:

ubuntu@stand:~$
docker compose exec prometheus sh

Внутри проверим настройки — promtool проверит и сам файл, и все подключённые правила:

внутри контейнера
promtool check config /etc/prometheus/prometheus.yml
ubuntu@stand:~$
Checking /etc/prometheus/prometheus.yml
  SUCCESS: 1 rule files found
 SUCCESS: /etc/prometheus/prometheus.yml is valid prometheus config file syntax

Checking /etc/prometheus/rules/alerts.yml
  SUCCESS: 1 rules found

Два SUCCESS — можно применять. Выйди из контейнера командой exit. Prometheus перечитывает настройки при перезапуске.

ubuntu@stand:~$
docker compose restart prometheus
ubuntu@stand:~$
 ✔ Container monitoring-prometheus-1    Started

Убедимся, что он увидел правило. Флаг -o у grep вырезает из длинного ответа только имена:

ubuntu@stand:~$
curl -s localhost:9090/api/v1/rules | grep -o 'name":"[^"]*'
ubuntu@stand:~$
name":"stand
name":"TargetDown

Шаг 3. Авария, о которой никто не узнал

Останавливаем node-exporter:

ubuntu@stand:~$
docker compose stop node-exporter

Пробрось порт 9090, как в прошлых практиках, и открой страницу http://localhost:9090/alerts. В прогоне для этого урока TargetDown стал жёлтым — pending — через 43 секунды: опрос заметил, что цели нет, правило это проверило, но две минуты ещё не прошли. Через 163 секунды он стал красным — firing.

Правило сработало — и ничего не произошло. Prometheus только вычисляет правила; рассылать сообщения он не умеет и не знает, кому. Это делает отдельная программа — Alertmanager. Верни экспортёр: docker compose start node-exporter.

Шаг 4. Настройки Alertmanager

Создаём каталог и пишем, куда слать. Сначала маршрут: всё одному получателю, ждать 10 секунд, чтобы собрать одновременные оповещения в одно сообщение.

ubuntu@stand:~$
mkdir alertmanager
nano alertmanager/alertmanager.yml
route:
  receiver: echo
  group_by: [alertname]
  group_wait: 10s

receivers:
  - name: echo
    webhook_configs:
      - url: http://alert-echo:8080/

group_by — по какой метке склеивать оповещения: упадут три цели, придёт одно сообщение TargetDown со списком. webhook_configs — отправка обычным HTTP-запросом на адрес, тот же механизм используют мессенджеры и сервисы дежурств.

Шаг 5. Два сервиса в описании

В compose.yaml добавь Alertmanager и получателя.

продолжение compose.yaml, раздел services
  alertmanager:
    image: prom/alertmanager:v0.34.1
    ports:
      - "127.0.0.1:9093:9093"
    volumes:
      - ./alertmanager:/etc/alertmanager:ro
    restart: unless-stopped

  alert-echo:
    image: mendhak/http-https-echo:42
    restart: unless-stopped

http-https-echo — готовый образ, который отвечает на любой запрос и печатает его в свой лог. Порт ему публиковать не нужно: к нему ходит только Alertmanager внутри сети Compose. И скажем Prometheus, куда отправлять сработавшие правила, — в prometheus.yml над rule_files:

в prometheus.yml над rule_files
alerting:
  alertmanagers:
    - static_configs:
        - targets: ["alertmanager:9093"]

Новые сервисы поднимет up, а Prometheus снова надо перезапустить.

ubuntu@stand:~$
docker compose up -d
ubuntu@stand:~$
[+] Running 2/2
 ✔ Container monitoring-alertmanager-1  Started
 ✔ Container monitoring-alert-echo-1    Started
ubuntu@stand:~$
docker compose restart prometheus

Адрес Prometheus сохраним в переменной шелла P, как в первой практике раздела.

ubuntu@stand:~$
P=localhost:9090
ubuntu@stand:~$
curl -s $P/api/v1/alertmanagers | grep -o alertmanager:9093
ubuntu@stand:~$
alertmanager:9093

Prometheus знает, куда слать.

Шаг 6. Дошло ли до получателя

Повтори аварию: docker compose stop node-exporter. Минуты через три Alertmanager получит оповещение — спросим его:

ubuntu@stand:~$
curl -s localhost:9093/api/v2/alerts | grep -o 'TargetDown'
ubuntu@stand:~$
TargetDown

А теперь главное — что пришло получателю. Смотрим его лог:

ubuntu@stand:~$
docker compose logs alert-echo | grep -o 'alertname[^,]*'
ubuntu@stand:~$
alertname\":\"TargetDown\"

Цепочка работает: метрика up стала нулём, правило сработало, Alertmanager доставил сообщение. Обратные косые черты — так эхо-контейнер печатает кавычки внутри текста. Если вывод пустой — проверь docker compose logs alertmanager, там будет причина, например неверный адрес получателя.

Посмотри на само сообщение целиком: docker compose logs alert-echo | grep TargetDown | tail -1. В нём есть "labels":{"alertname":"TargetDown","instance":"node-exporter:9100","job":"node"} и пустое "annotations":{}. Дежурный, которого разбудили ночью, увидит имя правила и адрес — и всё. Насколько это срочно и что именно сломалось, ему придётся выяснять самому. Верни экспортёр.

Шаг 7. Метки и пояснение

Допиши к правилу два блока, на одном уровне с for:

prometheus/rules/alerts.yml, под for
        labels:
          severity: critical
        annotations:
          summary: "{{ $labels.job }} не отвечает две минуты"

labels — метки, которые Prometheus добавит к оповещению: по severity Alertmanager потом сможет слать критичное в мессенджер, а остальное — на почту. annotations — текст для человека; {{ $labels.job }} подставит имя задачи, которая упала. Проверь файл, перезапусти Prometheus и повтори аварию. В новом сообщении:

фрагмент сообщения в логе alert-echo
"labels":{"alertname":"TargetDown","instance":"node-exporter:9100","job":"node","severity":"critical"},
"annotations":{"summary":"node не отвечает две минуты"}

Теперь понятно и что, и насколько срочно.

Шаг 8. Как часто проверять правила

Вернёмся к замеру из шага 3: pending наступил только через 43 секунды, хотя Prometheus опрашивает цели раз в 15. Правила по умолчанию проверяются раз в минуту: опрос узнал об аварии быстро, а правило заметило её только на следующей минутной проверке. Допиши в блок global, под scrape_interval:

в prometheus.yml, в блоке global
  evaluation_interval: 15s

Перезапусти Prometheus, верни экспортёр, подожди минуту и снова останови его. В прогоне для этого урока pending наступил через 7 секунд вместо 43, а firing — через 126 вместо 163. Две минуты из for остаются: их ты задал сам.

Шаг 9. Починить

Возвращаем экспортёр:

ubuntu@stand:~$
docker compose start node-exporter

Через минуту оповещение погаснет само, а Alertmanager пришлёт получателю второе сообщение — со статусом resolved, «решено». Проверь лог ещё раз той же командой: там появится вторая запись.

Шаг 10. Тишина на время работ

Представь, что ты собираешься перезагрузить стенд и не хочешь будить коллег. Пробрось порт 9093 и открой http://localhost:9093 — это интерфейс Alertmanager.

Нажми New Silence, в Matchers впиши alertname="TargetDown", в Duration — 30m, в Comment — зачем. Создай. Теперь, если снова остановить экспортёр, Prometheus покажет firing, но получатель ничего не получит. Через полчаса тишина снимется сама; удалить её раньше можно кнопкой Expire.

Шаг 11. Настоящий Telegram (необязательно)

Этот шаг можно пропустить: сдача его не проверяет, а цепочку ты уже увидел на эхо-контейнере. Для живого мессенджера в alertmanager.yml вместо webhook_configs пишут telegram_configs с токеном бота и номером чата — пример есть в документации Alertmanager. Токен кладут в отдельный файл и указывают bot_token_file, чтобы он не попал в Git.

Учти: из некоторых сетей адрес api.telegram.org недоступен. Тогда Alertmanager молча копит ошибки в своём логе, а сообщений нет. Первое, что смотреть, — docker compose logs alertmanager.

Что дальше

Оповещение умеет приходить. Но какие из них важны, а какие шум, — решают цели по надёжности и правила дежурства, о них следующий урок.

Практика 05+475 XP

Собрать цепочку «правило → Alertmanager → получатель» и проверить её, устроив поломку своими руками.

  • Правило загружено
  • Prometheus знает про Alertmanager
  • Оповещение дошло до получателя
  • Экспортёр возвращён
Команда сдачи — выполни на своей машине
команда
cd ~/infra/monitoring && curl -s localhost:9090/api/v1/rules | grep -o '"name":"TargetDown'; curl -s localhost:9090/api/v1/alertmanagers | grep -o 'alertmanager:9093' | head -1; echo "DELIVERED=$(docker compose logs alert-echo | grep -c TargetDown)"; docker compose ps --format '{{.Service}} {{.State}}'

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.