Диск на сервере заполнился в три часа ночи. На графике в Grafana это видно идеально: линия упёрлась в потолок. Только посмотрел на график ты утром, когда сайт уже несколько часов отдавал ошибки. Чтобы мониторинг сам звал человека, нужны оповещения (alerts) — сообщения, которые система отправляет без того, чтобы кто-то смотрел на экран. Без них мониторинг остаётся красивой картинкой.
В Prometheus оповещение описывают правилом: запрос PromQL плюс условие и время, которое оно должно продержаться. За доставку отвечает отдельная программа Alertmanager из того же проекта. Устроено это как пожарная сигнализация в квартире: датчик кричит, только когда дыма много и долго, а пульт охраны решает, кому звонить. В уроке разберём, как пишется правило, на что вообще стоит будить людей и что пульт делает с потоком сигналов.
Как выглядит правило
Правила лежат в отдельных файлах рядом с prometheus.yml. Вот самое первое и самое полезное — «цель не отвечает».
groups: - name: stand rules: - alert: TargetDown expr: up == 0 for: 2m
alert — имя оповещения, по нему его узнают в мессенджере. expr — запрос, который в беде что-то возвращает: здесь ряды up со значением 0. for — сколько условие должно держаться, прежде чем сообщение уйдёт. Без for один пропущенный опрос из-за сетевой икоты разбудит человека зря.
Ниже у того же правила — метки и пояснения:
labels: severity: critical annotations: summary: "{{ $labels.job }} не отвечает две минуты"
Метка severity — важность, по ней Alertmanager решит, кому слать. В summary пишут человеческую фразу; {{ $labels.job }} подставит имя упавшей группы целей. Хорошая практика — ещё строка runbook со ссылкой на инструкцию «что делать», к ней вернёмся в уроке про дежурство.
У правила три состояния: inactive — всё хорошо, pending — условие выполнилось, но for ещё не прошёл, firing — сработало, сообщение отправлено. На странице Alerts в Prometheus видно, в каком состоянии каждое.
Правила Prometheus проверяет не непрерывно, а раз в интервал проверки — настройку evaluation_interval в блоке global. По умолчанию это минута, и тогда авария становится pending не сразу, а при ближайшей проверке. На стенде мы задали её равной интервалу опроса, 15 секунд. Отсюда простая арифметика времени до сообщения: до 15 с, пока опрос заметит беду, до 15 с до ближайшей проверки правила, потом for, потом ожидание группировки в Alertmanager.
Правило написать просто. Труднее решить, какие правила вообще нужны.
На что будить человека
Новички вешают оповещение на всё: процессор выше 80%, память выше 90%, каждый перезапуск. Через неделю в чате сотни сообщений, их перестают читать — и пропускают настоящую аварию. Это называют усталостью от оповещений.
Правило из книги Google про надёжность: будить за симптом, а не за причину. Симптом — то, что видит пользователь: сайт не отвечает, ошибок стало много, ответы медленные. Причина — то, что может к этому привести: занятый процессор, перезапуск контейнера. Причины смотрят на дашборде, когда симптом уже пришёл.
Второе правило: каждое оповещение должно требовать действия. Пришло, ты посмотрел и ничего не сделал — значит, правило надо удалить или перевести в тихие. Для этого важность делают тремя уровнями, не больше.
| Уровень | Когда | Куда |
|---|---|---|
| critical | пользователи страдают сейчас, нужен человек | громко: звонок, сообщение дежурному |
| warning | скоро станет плохо, но до утра терпит | в рабочий чат или заявкой |
| info | просто полезно знать | никуда, только на дашборд |
Возьмём вторую строку: диск заполнен на 85% и растёт на процент в день. Ночью вставать незачем, но утром разобраться обязательно — это warning. А вот «диск заполнен на 99%» уже critical: через час база перестанет писать.
Готовые правила почти под всё собраны в Awesome Prometheus alerts — для машины, контейнеров, баз. Брать оттуда два-три, а не все двести.
Даже хорошие правила при большой аварии срабатывают пачкой: упал сервер — и десяток оповещений приходит одновременно. Разбирать этот поток человеку не нужно, это работа пульта.
Что делает Alertmanager
Prometheus только проверяет условия и отправляет сработавшие оповещения в Alertmanager. Всё остальное — его работа.
Доставку Alertmanager умеет в почту, Telegram, Slack, на произвольный адрес по HTTP и в сервисы дежурств. В практике получателем будет маленький контейнер, который печатает всё, что ему прислали: Alertmanager шлёт ему тот же запрос, что мессенджеру, а нам не нужно заводить бота. Как подключить настоящий Telegram, покажем в конце практики, это необязательный шаг.
Особенно полезна тишина. Перед перезагрузкой сервера её ставят на полчаса — и дежурный не получает того, что ты и так собирался сломать. Правила при этом продолжают работать.
Словарь урока
Что спросят на собеседовании
- Почему нельзя будить дежурного за загрузку процессора 90%?Это причина, а не симптом: пользователи могут ничего не замечать. Будят за то, что видит пользователь, и только когда нужно действие.
- Чем Prometheus отличается от Alertmanager в цепочке оповещений?Prometheus проверяет правила и решает, что сработало. Alertmanager группирует, подавляет, маршрутизирует и доставляет.
- Как не получить сотню сообщений, когда упал целый сервер?Группировка в Alertmanager и подавление: оповещение «сервер недоступен» глушит зависимые от него.
Что дальше
В практике напишем правило TargetDown, поднимем Alertmanager и увидим своё первое оповещение в журнале получателя.