Provision
—— XP

Миссия: стенд, который зовёт на помощь

практика~60 минут+475 XP

Мониторинг из практик видит, что упал экспортёр. Но пользователю нет дела до экспортёров — ему важно, открывается ли сайт. Миссия — довести стенд до состояния, когда он сам замечает именно это, зовёт человека с инструкцией в руках и замолкает, когда всё починили.

Проверять будем единственным честным способом: уроним приложение стенда и засечём, через сколько придёт сообщение. Команды в миссии — это задание: что именно появится на экране, ты увидишь сам.

Требования

Задача одна, но проверяется по пунктам.

Что должно получиться
Проверка доступности
Prometheus сам ходит на /health приложения стенда.
Симптом
Правило StandDown: проверка не проходит минуту — critical.
Ошибки
Правило ErrorRateHigh: доля ответов 5xx у прокси выше 5% пять минут — critical.
Будущая беда
Правило DiskAlmostFull: на корне меньше 10% места десять минут — warning.
Два получателя
critical уходит громкому, warning — тихому.
Инструкция
У StandDown есть runbook: что значит, что проверить, что делать.
Авария и паспорт
Уронить приложение, засечь время обнаружения, починить, записать.

Шаг 1. Проверка доступности

До сих пор экспортёры рассказывали о себе сами: машина, контейнеры, журнал прокси. blackbox-exporter работает иначе — он сам делает запрос по адресу, как клиент, и сообщает, ответили ли и за сколько. Если приложение молчит совсем, журнал прокси не скажет ничего, а такая проверка заметит сразу.

Приложение живёт в сети стенда provision_stand, поэтому экспортёр подключаем в две сети: свою и стенда, — так же, как экспортёр базы в практике про метрики приложения. Добавь сервис в compose.yaml:

compose.yaml, раздел services
  blackbox:
    image: prom/blackbox-exporter:v0.28.0
    networks: [default, stand]
    restart: unless-stopped

В самом конце файла уже есть блок networks с сетью базы. Допиши в него вторую чужую сеть, на одном уровне с db:

конец compose.yaml, блок networks
  stand:
    name: provision_stand
    external: true

Честно о том, что эта проверка видит. Адрес app:8000 — приложение изнутри сети стенда, мимо прокси и HTTPS: сломанный сертификат или nginx она не заметит. Путь пользователя через прокси у нас уже сторожат метрики прокси, на них ниже повесим правило, а проверку через внешний адрес и HTTPS сделаем в итоговом проекте.

Шаг 2. Цель для проверки

Blackbox опрашивается не так, как обычный экспортёр: Prometheus передаёт ему адрес, который надо проверить, а тот возвращает результат. Отсюда три строчки перестановки меток. Добавь в scrape_configs:

prometheus.yml, раздел scrape_configs
  - job_name: stand
    metrics_path: /probe
    params:
      module: [http_2xx]
    static_configs:
      - targets: ["http://app:8000/health"]
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: blackbox:9115

Читать так: модуль http_2xx — «успех, если ответ с кодом 2xx». Адрес из targets уходит параметром target, сохраняется меткой instance, а сам запрос идёт на blackbox:9115. Это стандартный приём из README blackbox-exporter, его копируют как есть.

Примени сразу — правил ещё нет, но проверка уже должна работать. Prometheus читает свой файл только при старте:

ubuntu@stand:~$
docker compose up -d
docker compose restart prometheus

Открой страницу Targets: целей должно стать шесть, и у stand состояние UP. Если DOWN с ошибкой no such host — blackbox не подключён к сети стенда, проверь шаг 1. Значение проверки видно и запросом probe_success на странице Graph: 1 — приложение ответило.

Шаг 3. Правила

В prometheus/rules/alerts.yml к TargetDown добавь три правила. Первое — симптом: проверка доступности не проходит.

prometheus/rules/alerts.yml, в rules
      - alert: StandDown
        expr: probe_success == 0
        for: 1m
        labels:
          severity: critical
        annotations:
          summary: "Стенд не отвечает на /health"
          runbook: "runbooks/stand-down.md"

Второе — тоже симптом, но с другой стороны: пользователи получают ошибки. Запрос — доля пятисотых из практики про метрики приложения, только с условием в конце.

и следом
      - alert: ErrorRateHigh
        expr: |
          sum(rate(stand_http_response_count_total{status=~"5.."}[5m]))
            / sum(rate(stand_http_response_count_total[5m])) > 0.05
        for: 5m
        labels:
          severity: critical
        annotations:
          summary: "Больше 5% ответов стенда — ошибки 5xx"

Порог 5% и for: 5m подобраны для учебного стенда. На работе их выводят из цели по надёжности, о которой был прошлый урок: при SLO 99,5% бюджет ошибок — полпроцента, и будить людей стоит раньше, чем он сгорит.

Третье — беда, которая ещё не случилась: мало места на диске.

и следом
      - alert: DiskAlmostFull
        expr: |
          node_filesystem_avail_bytes{mountpoint="/"}
            / node_filesystem_size_bytes{mountpoint="/"} < 0.1
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "На корне меньше 10% места"

Проверь файл и правила — внутри контейнера Prometheus, как в практике:

ubuntu@stand:~$
docker compose exec prometheus sh
promtool check config /etc/prometheus/prometheus.yml

Нужны строки SUCCESS и 4 rules found. Выйди командой exit и перезапусти Prometheus:

ubuntu@stand:~$
docker compose restart prometheus

На странице Alerts теперь четыре правила, все inactive: условия не выполняются, стенд жив. Но если что-то сработает сейчас, сообщение уйдёт по старому маршруту — разделим его.

Шаг 4. Два получателя

Перепиши alertmanager/alertmanager.yml: по умолчанию всё идёт тихому получателю, а critical — громкому. Сначала маршрут:

alertmanager/alertmanager.yml
route:
  receiver: quiet
  group_by: [alertname]
  group_wait: 10s
  routes:
    - matchers: ['severity="critical"']
      receiver: loud

Потом сами получатели. Оба отправляют на наш контейнер-эхо, но по разным путям — так в логе будет видно, кому что ушло:

продолжение
receivers:
  - name: quiet
    webhook_configs:
      - url: http://alert-echo:8080/quiet
  - name: loud
    webhook_configs:
      - url: http://alert-echo:8080/loud

В жизни loud — это звонок или сообщение дежурному, а quiet — общий рабочий чат.

Перезапусти Alertmanager, чтобы он перечитал маршрут:

ubuntu@stand:~$
docker compose restart alertmanager

На его странице localhost:9093, во вкладке Status, в конфигурации видны оба получателя.

Шаг 5. Инструкция

Разбуженный человек должен с первой строки понять, что делать. Создай каталог runbooks и файл stand-down.md в нём.

runbooks/stand-down.md
# StandDown

## Что это значит
Приложение стенда не отвечает на /health минуту.
Пользователи видят ошибку прямо сейчас.

## Проверить
1. Жив ли контейнер: docker ps -a --filter name=provision-app
2. Почему упал: docker logs --tail 50 provision-app-1
3. Жива ли база: docker ps --filter name=provision-db

И последний раздел — что делать и чего не делать:

продолжение runbooks/stand-down.md
## Сделать
- Контейнер остановлен -> docker start provision-app-1
- Падает при старте -> смотреть логи, был ли выкат

## Не делать
Не перезапускать всё подряд: это стирает следы.

Шаг 6. Авария

Засеки время — оно понадобится для паспорта.

ubuntu@stand:~$
date +%T

Теперь роняем приложение стенда:

ubuntu@stand:~$
docker stop provision-app-1

Следи за страницей Alerts в Prometheus: StandDown станет pending, через минуту — firing. Как только сработает, снова выполни date +%T. Разница — твоё время обнаружения.

Шаг 7. Кому ушло

Проверь лог получателя. Строка с /loud значит, что маршрут по важности сработал.

ubuntu@stand:~$
docker compose logs alert-echo | grep -c loud

Ноль — значит, оповещение ушло тихому получателю или не ушло вовсе. Посмотри docker compose logs alertmanager и метку severity в правиле.

Шаг 8. Починить по инструкции

Открой свой runbook и пройди его по пунктам, как будто тебя разбудили. Пункт 1 покажет Exited, пункт «Сделать» подскажет команду:

ubuntu@stand:~$
docker start provision-app-1

Через минуту StandDown погаснет, а получатель loud получит сообщение со статусом resolved. Цепочка замкнулась.

Шаг 9. Паспорт

Запиши, что собрано, — это документ для того, кто придёт после тебя.

ubuntu@stand:~$
nano ~/devops-lab/reports/monitoring-passport.txt
пример содержания
Цели: prometheus, node, cadvisor, proxy, postgres,
  stand (blackbox)
Оповещения: TargetDown, StandDown, ErrorRateHigh
  (critical), DiskAlmostFull (warning)
critical -> loud, warning -> quiet
Время обнаружения: 1 мин 40 с в худшем случае
  (до 15 с опрос + до 15 с проверка правила
  + 1 мин for + 10 с group_wait)
SLO стенда: 99,5% успешных проверок за 30 дней

Посмотри, из чего сложилось время обнаружения: интервал опроса, интервал проверки правил evaluation_interval, пауза for и ожидание группировки. Твой замер из шага 6 будет между 1 мин 10 с и 1 мин 40 с — смотря в какой момент между опросами ты уронил приложение. Если вышло около двух с половиной минут, в prometheus.yml нет строки evaluation_interval: 15s, и правила проверяются раз в минуту. Меньше можно, но ценой ложных побудок, — это сознательный размен, и его стоит записать.

Чем закрывается раздел

Теперь стенд видно, и он сам сообщает о беде: метрика, правило, получатель, инструкция. Дальше, в разделе 11, к числам добавятся логи — они объясняют, что именно случилось. А когда в разделах 16–18 появится Kubernetes, ты узнаешь ту же связку внутри набора kube-prometheus-stack: Prometheus, Alertmanager и Grafana там ставятся одним чартом.

Практика 06+475 XP

Собрать мониторинг, который сам замечает падение стенда, зовёт нужного человека с инструкцией и замолкает после починки.

  • Опрашиваются шесть целей и больше
  • Есть оповещение на симптом
  • Есть оповещение на долю ошибок
  • Есть оповещение на будущую беду
  • Два уровня важности идут разным получателям
  • Авария дошла до громкого получателя
  • У оповещения есть инструкция
  • Паспорт с временем обнаружения
  • Стенд починен
Команда сдачи — выполни на своей машине
команда
cd ~/infra/monitoring && echo "UP=$(curl -s localhost:9090/api/v1/targets | grep -o 'health":"up' | wc -l)"; curl -s localhost:9090/api/v1/rules | grep -o '"name":"[A-Za-z]*'; echo "RECEIVERS=$(grep -c '^  - name:' alertmanager/alertmanager.yml)"; echo "LOUD=$(docker compose logs alert-echo | grep -c '/loud')"; echo "STANDDOWN=$(docker compose logs alert-echo | grep -c StandDown)"; echo "RUNBOOK=$(grep -c 'Проверить' runbooks/stand-down.md)"; echo ---; cat ~/devops-lab/reports/monitoring-passport.txt; echo ---; docker ps --filter name=provision-app --format 'APP={{.State}}'

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.