Provision
—— XP

Оповещения и Alertmanager

теория~6 минут+190 XP

Диск на сервере заполнился в три часа ночи. На графике в Grafana это видно идеально: линия упёрлась в потолок. Только посмотрел на график ты утром, когда сайт уже несколько часов отдавал ошибки. Чтобы мониторинг сам звал человека, нужны оповещения (alerts) — сообщения, которые система отправляет без того, чтобы кто-то смотрел на экран. Без них мониторинг остаётся красивой картинкой.

В Prometheus оповещение описывают правилом: запрос PromQL плюс условие и время, которое оно должно продержаться. За доставку отвечает отдельная программа Alertmanager из того же проекта. Устроено это как пожарная сигнализация в квартире: датчик кричит, только когда дыма много и долго, а пульт охраны решает, кому звонить. В уроке разберём, как пишется правило, на что вообще стоит будить людей и что пульт делает с потоком сигналов.

Как выглядит правило

Правила лежат в отдельных файлах рядом с prometheus.yml. Вот самое первое и самое полезное — «цель не отвечает».

prometheus/rules/alerts.yml
groups:
  - name: stand
    rules:
      - alert: TargetDown
        expr: up == 0
        for: 2m

alert — имя оповещения, по нему его узнают в мессенджере. expr — запрос, который в беде что-то возвращает: здесь ряды up со значением 0. for — сколько условие должно держаться, прежде чем сообщение уйдёт. Без for один пропущенный опрос из-за сетевой икоты разбудит человека зря.

Ниже у того же правила — метки и пояснения:

продолжение того же правила
        labels:
          severity: critical
        annotations:
          summary: "{{ $labels.job }} не отвечает две минуты"

Метка severity — важность, по ней Alertmanager решит, кому слать. В summary пишут человеческую фразу; {{ $labels.job }} подставит имя упавшей группы целей. Хорошая практика — ещё строка runbook со ссылкой на инструкцию «что делать», к ней вернёмся в уроке про дежурство.

У правила три состояния: inactive — всё хорошо, pending — условие выполнилось, но for ещё не прошёл, firing — сработало, сообщение отправлено. На странице Alerts в Prometheus видно, в каком состоянии каждое.

Правила Prometheus проверяет не непрерывно, а раз в интервал проверки — настройку evaluation_interval в блоке global. По умолчанию это минута, и тогда авария становится pending не сразу, а при ближайшей проверке. На стенде мы задали её равной интервалу опроса, 15 секунд. Отсюда простая арифметика времени до сообщения: до 15 с, пока опрос заметит беду, до 15 с до ближайшей проверки правила, потом for, потом ожидание группировки в Alertmanager.

Правило написать просто. Труднее решить, какие правила вообще нужны.

На что будить человека

Новички вешают оповещение на всё: процессор выше 80%, память выше 90%, каждый перезапуск. Через неделю в чате сотни сообщений, их перестают читать — и пропускают настоящую аварию. Это называют усталостью от оповещений.

Правило из книги Google про надёжность: будить за симптом, а не за причину. Симптом — то, что видит пользователь: сайт не отвечает, ошибок стало много, ответы медленные. Причина — то, что может к этому привести: занятый процессор, перезапуск контейнера. Причины смотрят на дашборде, когда симптом уже пришёл.

Второе правило: каждое оповещение должно требовать действия. Пришло, ты посмотрел и ничего не сделал — значит, правило надо удалить или перевести в тихие. Для этого важность делают тремя уровнями, не больше.

УровеньКогдаКуда
criticalпользователи страдают сейчас, нужен человекгромко: звонок, сообщение дежурному
warningскоро станет плохо, но до утра терпитв рабочий чат или заявкой
infoпросто полезно знатьникуда, только на дашборд

Возьмём вторую строку: диск заполнен на 85% и растёт на процент в день. Ночью вставать незачем, но утром разобраться обязательно — это warning. А вот «диск заполнен на 99%» уже critical: через час база перестанет писать.

Готовые правила почти под всё собраны в Awesome Prometheus alerts — для машины, контейнеров, баз. Брать оттуда два-три, а не все двести.

Даже хорошие правила при большой аварии срабатывают пачкой: упал сервер — и десяток оповещений приходит одновременно. Разбирать этот поток человеку не нужно, это работа пульта.

Что делает Alertmanager

Prometheus только проверяет условия и отправляет сработавшие оповещения в Alertmanager. Всё остальное — его работа.

Четыре работы Alertmanager
Группировка
Упало десять целей сразу — придёт одно сообщение со списком, а не десять.
Маршрутизация
По меткам решает, куда слать: critical — дежурному, warning — в общий чат.
Подавление
Лежит сервер — не надо отдельно писать про каждый сервис на нём: главное оповещение глушит зависимые.
Тишина
На время плановых работ глушит оповещения по меткам и сама снимается в назначенный час.

Доставку Alertmanager умеет в почту, Telegram, Slack, на произвольный адрес по HTTP и в сервисы дежурств. В практике получателем будет маленький контейнер, который печатает всё, что ему прислали: Alertmanager шлёт ему тот же запрос, что мессенджеру, а нам не нужно заводить бота. Как подключить настоящий Telegram, покажем в конце практики, это необязательный шаг.

Особенно полезна тишина. Перед перезагрузкой сервера её ставят на полчаса — и дежурный не получает того, что ты и так собирался сломать. Правила при этом продолжают работать.

Словарь урока

Правило оповещения
Запрос PromQL и условие; когда условие держится дольше for, оповещение срабатывает.
Severity
Метка важности: critical, warning, info. По ней выбирают, кого и как оповещать.
Alertmanager
Программа, которая получает оповещения от Prometheus, группирует их и доставляет людям. ↩ к тексту
Тишина (silence)
Временное подавление оповещений по меткам, например на время работ.
Усталость от оповещений
Сообщений так много, что их перестают читать и пропускают настоящую аварию.

Что спросят на собеседовании

  • Почему нельзя будить дежурного за загрузку процессора 90%?
    Это причина, а не симптом: пользователи могут ничего не замечать. Будят за то, что видит пользователь, и только когда нужно действие.
  • Чем Prometheus отличается от Alertmanager в цепочке оповещений?
    Prometheus проверяет правила и решает, что сработало. Alertmanager группирует, подавляет, маршрутизирует и доставляет.
  • Как не получить сотню сообщений, когда упал целый сервер?
    Группировка в Alertmanager и подавление: оповещение «сервер недоступен» глушит зависимые от него.

Что дальше

В практике напишем правило TargetDown, поднимем Alertmanager и увидим своё первое оповещение в журнале получателя.

Проверь себя+190 XPдве попытки
1
Правило
Зачем в правиле оповещения строка for: 2m?
2
На что будить
Какое оповещение стоит слать дежурному ночью?
3
Alertmanager
Чем занимается Alertmanager?
4
Тишина
Что делают перед плановой перезагрузкой сервера?
ответь на все вопросы, чтобы проверить

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.