Provision
—— XP

Практика: мониторинг, журналы и оповещение

практика~180 минут+750 XP

Этап 5. Сейчас о падении сайта ты узнаешь от того, кто им пользуется. Цель этапа — узнавать раньше: из оповещения, а причину смотреть в панелях Grafana и журналах Loki.

Всё, что хранит и показывает, ставится на final-ops. На final-app — только два маленьких агента: один отдаёт метрики машины, второй отправляет журналы. Это и есть смысл второй машины из первого урока раздела. Файлы, как всегда, пишутся на рабочей машине и возятся rsync.

Шаги здесь крупнее, чем в разделах 10 и 11: ты собираешь знакомое. Но собираешь по одному куску — запустил, посмотрел, что видно и чего не хватает, добавил следующий. Где нужен новый кусок, он показан целиком.

Шаг 1. Метрики машины

node_exporter из раздела про мониторинг отдаёт метрики процессора, памяти и дисков. Агенты описываются отдельным файлом deploy/agents.yaml, чтобы конвейер приложения их не трогал. У файла своё имя проекта — иначе Compose возьмёт имя каталога deploy:

deploy/agents.yaml — node_exporter
name: final-agents

services:
  node-exporter:
    image: prom/node-exporter:<версия>
    restart: unless-stopped
    network_mode: host
    pid: host
    volumes:
      - /:/host:ro,rslave

network_mode: host — экспортёр слушает порт 9100 прямо на машине, а не в сети Docker. Корень машины смонтирован в /host только для чтения: экспортёру нужно видеть настоящие диски, а не диск контейнера. Слово rslave значит, что диски, которые подключат к машине позже, тоже станут видны внутри контейнера, — так рекомендует README node_exporter.

Шаг 2. Каталог для своих метрик

Экспортёр умеет читать метрики, которые написали другие программы, из файлов .prom в отдельном каталоге. Эту часть экспортёра называют textfile collector, и она понадобится для бэкапа. Скажем экспортёру, где корень машины и где этот каталог:

deploy/agents.yaml — продолжение
    command:
      - --path.rootfs=/host
      - --collector.textfile.directory=/host/var/lib/node_exporter

Сам каталог создай задачей роли base модулем file: путь /var/lib/node_exporter, state: directory, владелец и группа devops, права 0755. Владелец важен: писать туда будет скрипт бэкапа от пользователя devops, и каталог root он не осилит.

Там же, в группе app, открой ufw порт 9100 только для внутреннего адреса final-ops: экспортёр работает в сети машины, и ufw его закрывает. Модуль community.general.ufw с port: "9100" и from_ip: 10.10.1.12. Метрики машины не для всех.

Шаг 3. Запуск экспортёра

Отвези файлы на final-app, зайди туда и подними агента:

ubuntu@stand:~$
docker compose -f final/deploy/agents.yaml up -d
ubuntu@stand:~$
 ✔ Container final-agents-node-exporter-1  Started

Имя начинается с final-agents — это строка name: из шага 1. Проверим, что экспортёр отдаёт место на диске. Фильтр grep оставит одну нужную метрику:

ubuntu@stand:~$
curl -s localhost:9100/metrics | grep 'avail_bytes{.*"/"}'
ubuntu@stand:~$
node_filesystem_avail_bytes{device="/dev/sda1",fstype="ext4",mountpoint="/"} 1.43e+10

Число в конце — свободные байты на корневом разделе, здесь около 14 ГБ. Именно на эту метрику будет смотреть правило о диске. Имя диска у тебя может быть другим — vda2 в облаке, nvme0n1p2 на ноутбуке.

Шаг 4. Prometheus и одна цель

На final-ops в ops/monitoring/ живёт второй файл Compose. Начни его с одного Prometheus: первой строкой name: final-ops, образ как в разделе про мониторинг, restart: unless-stopped, порт только на 127.0.0.1:9090 и файл prometheus.yml, смонтированный в /etc/prometheus/. Сам файл — с минимума:

prometheus.yml
global:
  scrape_interval: 15s
  evaluation_interval: 15s

scrape_configs:
  - job_name: node
    static_configs:
      - targets: ["10.10.1.11:9100"]

Первые строки — как часто опрашивать цели и проверять правила. Без них Prometheus делает это раз в минуту, и к времени обнаружения аварии добавляются лишние две минуты. Ниже — единственная цель: экспортёр на внутреннем адресе final-app.

Отвези файлы на final-ops, зайди туда и подними:

ubuntu@stand:~$
docker compose -f final/ops/monitoring/compose.yaml up -d
ubuntu@stand:~$
 ✔ Container final-ops-prometheus-1  Started

Через полминуты спроси Prometheus, отвечает ли цель. Метрика up равна 1 у каждой живой цели:

ubuntu@stand:~$
curl -s 'localhost:9090/api/v1/query?query=up'
ubuntu@stand:~$
{"status":"success","data":{"resultType":"vector","result":[
 {"metric":{"__name__":"up","instance":"10.10.1.11:9100","job":"node"},"value":[1792841368.871,"1"]}]}}

Читать нужно последнее число в кавычках; первое — время замера в секундах с 1970 года. "0" — почти всегда ufw на 9100 из шага 2.

Шаг 5. Сайт глазами пользователя

Машина жива — но жив ли сайт? Это проверяет blackbox_exporter: он делает настоящий HTTPS-запрос, как пользователь. Проверяем /items, а не /health: это урок миссии раздела 20, где мониторинг был зелёным при упавшей базе. Цель в prometheus.yml:

prometheus.yml — в scrape_configs
  - job_name: site
    metrics_path: /probe
    params: { module: [http_2xx] }
    static_configs:
      - targets: ["https://final.provision.internal/items"]

Ещё нужны три строки relabel_configs, которые передают адрес сайта в blackbox, — возьми их дословно из README blackbox_exporter, только адрес экспортёра пиши blackbox:9115.

Сервис blackbox в compose.yaml — образ prom/blackbox-exporter, порт 127.0.0.1:9115:9115, чтобы ты мог спросить его сам. Контейнер делает запрос сам и имени сайта не знает: пропиши его через extra_hosts с внутренним адресом final-app, строкой "final.provision.internal:10.10.1.11".

Подними новый сервис и перезапусти Prometheus: свой файл он читает только при старте.

ubuntu@stand:~$
cd final/ops/monitoring
docker compose up -d
docker compose restart prometheus
ubuntu@stand:~$
 ✔ Container final-ops-blackbox-1    Started
 ✔ Container final-ops-prometheus-1  Started

Другие способы перечитать файл без перезапуска — сигнал SIGHUP процессу или адрес /-/reload, если Prometheus запущен с флагом --web.enable-lifecycle. Через полминуты спроси результат проверки:

ubuntu@stand:~$
curl -s 'localhost:9090/api/v1/query?query=probe_success'
ubuntu@stand:~$
{"status":"success","data":{"resultType":"vector","result":[
 {"metric":{"__name__":"probe_success","instance":"https://final.provision.internal/items","job":"site"},"value":[1792841405.428,"0"]}]}}

Ноль: сайт работает, а проверка не проходит. Причину покажет сам blackbox, если попросить у него подробности флагом debug. Адрес и запрос разложи по переменным:

ubuntu@stand:~$
T=https://final.provision.internal/items
Q="target=$T&module=http_2xx&debug=true"
curl -s "localhost:9115/probe?$Q" | grep -o 'x509[^"]*'
ubuntu@stand:~$
x509: certificate signed by unknown authority

Сертификат подписан твоим центром, а blackbox ему не доверяет — та же история, что у curl без --cacert.

Шаг 6. blackbox доверяет центру

Положи ca.crt в ops/monitoring/blackbox/ и опиши модуль в blackbox.yml:

ops/monitoring/blackbox/blackbox.yml
modules:
  http_2xx:
    prober: http
    http:
      tls_config:
        ca_file: /etc/blackbox/ca.crt

Каталог смонтируй в контейнер как /etc/blackbox, а в command укажи --config.file=/etc/blackbox/blackbox.yml. Отвези файлы и подними — Compose пересоздаст изменённый сервис сам:

ubuntu@stand:~$
docker compose up -d
ubuntu@stand:~$
 ✔ Container final-ops-blackbox-1  Recreated
ubuntu@stand:~$
curl -s 'localhost:9090/api/v1/query?query=probe_success'
ubuntu@stand:~$
{"status":"success","data":{"resultType":"vector","result":[
 {"metric":{"__name__":"probe_success","instance":"https://final.provision.internal/items","job":"site"},"value":[1792841434.293,"1"]}]}}

Единица — проверка прошла вся: имя, порт, сертификат, nginx, приложение, база.

Шаг 7. Два правила

Цифры есть, но смотреть на них круглосуточно некому. Правило — это вопрос, который Prometheus задаёт сам на каждой проверке. Файл ops/monitoring/alerts.yml, первое правило — сайт не отвечает:

alerts.yml — сайт
groups:
  - name: final
    rules:
      - alert: SiteDown
        expr: probe_success == 0
        for: 1m

for: 1m — условие должно продержаться минуту, прежде чем правило сработает: одна сорвавшаяся проверка ещё не авария. Второе правило — свободного места меньше 15%:

alerts.yml — диск
      - alert: DiskAlmostFull
        expr: node_filesystem_avail_bytes{mountpoint="/"}
          / node_filesystem_size_bytes{mountpoint="/"} < 0.15
        for: 2m

Это правило поймает аварию раньше, чем она случится: при 15% свободного места сайт ещё работает. Смонтируй файл рядом с prometheus.yml и подключи его строками перед scrape_configs:

prometheus.yml — после global
rule_files:
  - alerts.yml

Отвези, подними и спроси, какие правила загружены:

ubuntu@stand:~$
docker compose up -d
U=localhost:9090/api/v1/rules
curl -s $U | grep -o '"name":"[A-Za-z]*"'
ubuntu@stand:~$
"name":"final"
"name":"SiteDown"
"name":"DiskAlmostFull"

Флаг -o у grep печатает только совпавшие куски, а не строки целиком. Первым идёт имя группы final, за ним оба правила — загружены. Проверим первое в деле. На final-app останови приложение — засеки время:

ubuntu@stand:~$
docker compose -p final stop app
ubuntu@stand:~$
 ✔ Container final-app-1  Stopped

Через полторы-две минуты спроси на final-ops сработавшие правила:

ubuntu@stand:~$
curl -s localhost:9090/api/v1/alerts
ubuntu@stand:~$
{"status":"success","data":{"alerts":[{"labels":{"alertname":"SiteDown",…},
 "state":"firing","activeAt":"2026-10-24T11:31:16Z","value":"0e+00"}]}}

Сначала правило было pending — условие выполнено, минута for ещё идёт, — теперь firing. Сайт лежит, правило горит, а ты об этом не знаешь: сигнал никуда не отправлен. Приложение пока не поднимай.

Шаг 8. Куда слать

Alertmanager решает, кому отправить сработавшее правило. Получатель по умолчанию — тот же эхо-контейнер, что в практике про оповещения раздела 10: он печатает в свой лог всё, что ему прислали. Допиши его сервисом alert-echo с образом mendhak/http-https-echo:42 в ops/monitoring/compose.yaml, а в alertmanager.yml укажи его адрес:

alertmanager.yml
route:
  receiver: echo
receivers:
  - name: echo
    webhook_configs:
      - url: http://alert-echo:8080/
        send_resolved: true

webhook_configs — отправка обычным HTTP-запросом; тем же механизмом пользуются мессенджеры. send_resolved: true присылает второе сообщение, когда авария кончилась. Порт эхо-контейнеру публиковать не нужно: к нему ходит только Alertmanager внутри сети Compose. Сам Alertmanager — сервис с образом prom/alertmanager и этим файлом, порт 127.0.0.1:9093.

Осталось сказать Prometheus, куда передавать сработавшие правила, — без этого блока Alertmanager так и не узнает об аварии:

prometheus.yml — после global
alerting:
  alertmanagers:
    - static_configs:
        - targets: ["alertmanager:9093"]

Отвези файлы, подними новые сервисы и перезапусти Prometheus:

ubuntu@stand:~$
docker compose up -d
docker compose restart prometheus
ubuntu@stand:~$
 ✔ Container final-ops-alert-echo-1    Started
 ✔ Container final-ops-alertmanager-1  Started
 ✔ Container final-ops-prometheus-1    Started

Через минуту-две загляни в журнал эхо-контейнера. Каждое сообщение он печатает вместе с полем body, поэтому grep -c по нему считает сообщения:

ubuntu@stand:~$
docker logs final-ops-alert-echo-1 | grep -c '"body"'
ubuntu@stand:~$
1

Одно сообщение — о сработавшем SiteDown. Верни приложение на final-app:

ubuntu@stand:~$
docker compose -p final start app
ubuntu@stand:~$
 ✔ Container final-app-1  Started

Сообщение resolved придёт не сразу, а в течение пяти минут: Alertmanager повторно отправляет группу сигналов раз в group_interval, а по умолчанию это пять минут. В прогоне курса оно пришло через 4 минуты 52 секунды, и та же команда показала 2. Запиши в README, сколько прошло от остановки приложения до первого сообщения: это твоё время обнаружения.

Живой мессенджер — по желанию и только если с final-ops открывается api.telegram.org: второй получатель с telegram_configs, токен бота в файле через bot_token_file, как в шаге 11 той же практики раздела 10. Файл с токеном — в .gitignore. Эхо-получатель остаётся в любом случае, и проверка смотрит на него.

Шаг 9. Grafana: источник файлом

Добавь сервис grafana: образ как в разделе 10, порт 3000 для браузера. Источники данных не добавляем мышкой: как в разделе 10, они описываются файлом, который Grafana читает при старте. Так они живут в репозитории и переживут пересоздание контейнера. Пока источник один:

ops/monitoring/grafana/datasources.yaml
apiVersion: 1
datasources:
  - name: Prometheus
    type: prometheus
    url: http://prometheus:9090

Каталог смонтируй в контейнер Grafana как /etc/grafana/provisioning/datasources. Внутри сети Compose сервисы видят друг друга по именам, поэтому адрес — prometheus. Отвези файлы и выполни docker compose up -d.

Grafana открывается в браузере на твоём ноутбуке по публичному адресу final-ops из output ips: http://158.160.40.22:3000. Имя final-ops из ~/.ssh/config браузер не знает. Первый вход — admin и admin, Grafana сразу попросит сменить пароль. Порт 3000 открыт в группе безопасности только с твоего адреса.

Готовые панели импортируй по номеру с grafana.com: Dashboards → New → Import, номер 1860 — Node Exporter Full, 7587 — проверки blackbox.

Шаг 10. Своя панель: четыре сигнала

Одну панель собираешь сам — четыре сигнала сайта. Источник у каждого свой:

СигналОткудаЗапрос
Задержкаblackboxprobe_duration_seconds
Доступностьblackboxavg_over_time(probe_success[5m])
Место на дискеnode_exporterдоля свободного, как в правиле
Ошибкижурнал nginx в Lokiзапрос ниже

Первые три строки собери сейчас. Четвёртой — ошибкам — нужен журнал nginx, а журналов в системе ещё нет. Это следующий шаг.

Шаг 11. Loki

Добавь на final-ops сервис loki: образ как в разделе про логирование, restart: unless-stopped, порт 3100 — для final-app. Подними и спроси, готов ли он:

ubuntu@stand:~$
docker compose up -d
R=localhost:3100/ready
curl -s -o /dev/null -w '%{http_code}\n' $R
ubuntu@stand:~$
503

Флаг -o /dev/null выбрасывает тело ответа, -w печатает код. 503 — «сервис недоступен»: первые полминуты-минуту Loki прогревает свои внутренние части и журналы не принимает. Подожди и спроси ещё раз, уже с телом ответа:

ubuntu@stand:~$
curl -s $R
ubuntu@stand:~$
ready

Теперь добавь второй источник в grafana/datasources.yaml:

datasources.yaml — в конец
  - name: Loki
    type: loki
    url: http://loki:3100

Отвези файл. docker compose up -d здесь не поможет: каталог смонтирован тот же, контейнер не пересоздаётся, а файл источников Grafana читает только при старте. Перезапусти её:

ubuntu@stand:~$
docker compose restart grafana
ubuntu@stand:~$
 ✔ Container final-ops-grafana-1  Started

В Connections → Data sources теперь два источника.

Шаг 12. Alloy: журналы с машины приложения

Хранилище журналов есть, осталось их туда отправить. На final-app это делает Alloy — агент Grafana из раздела про логирование; в статьях до 2025 года на его месте Promtail, который уже снят с поддержки. Конфиг deploy/alloy/config.alloy собирается из блоков. Первый находит контейнеры и даёт им метку с именем:

config.alloy — контейнеры
discovery.docker "local" {
  host = "unix:///var/run/docker.sock"
}
discovery.relabel "names" {
  targets = discovery.docker.local.targets
  rule {
    source_labels = ["__meta_docker_container_name"]
    target_label  = "container"
  }
}

discovery.relabel переписывает служебную метку Docker в понятную container — по ней ты будешь искать журналы. Второй блок читает вывод контейнеров:

config.alloy — чтение
loki.source.docker "containers" {
  host          = "unix:///var/run/docker.sock"
  targets       = discovery.docker.local.targets
  relabel_rules = discovery.relabel.names.rules
  forward_to    = [loki.write.ops.receiver]
}

Сокет Docker Alloy получит смонтированным в контейнер. Помни из раздела 11: даже с пометкой :ro доступ к сокету равен правам root на машине, поэтому такой агент ставят только тот, которому доверяют.

nginx на final-app работает не в контейнере, его журналы лежат файлами в /var/log/nginx. Для файлов у Alloy два блока: первый находит их по маске и даёт метку job, второй читает:

config.alloy — файлы nginx
local.file_match "nginx" {
  path_targets = [{"__path__" = "/var/log/nginx/*.log", "job" = "nginx"}]
}
loki.source.file "nginx" {
  targets    = local.file_match.nginx.targets
  forward_to = [loki.write.ops.receiver]
}

Каталог /var/log/nginx смонтируй в контейнер Alloy по тому же пути, только для чтения. Последний блок отправляет всё прочитанное в Loki на final-ops:

config.alloy — назначение
loki.write "ops" {
  endpoint {
    url = "http://10.10.1.12:3100/loki/api/v1/push"
  }
}

Остальное про сервис alloy в deploy/agents.yaml — образ, тома, restart: unless-stopped — как в практике раздела 11. Готовые примеры — в документации Alloy. Отвези файлы на final-app и подними агентов — экспортёр останется как был, добавится Alloy:

ubuntu@stand:~$
docker compose -f final/deploy/agents.yaml up -d
ubuntu@stand:~$
 ✔ Container final-agents-alloy-1  Started

Шаг 13. Журналы в Grafana

В Grafana открой Explore, выбери Loki и запроси журналы приложения:

LogQL
{container=~".*final-app.*"} |= "error"

Часть в фигурных скобках выбирает поток по метке container из шага 12. Docker отдаёт имя контейнера с косой чертой впереди — /final-app-1, — поэтому здесь регулярное выражение =~, а не точное =. |= оставляет строки, где есть слово error. Пустой результат здесь хорош — значит, ошибок нет. Если не появилось вообще ничего даже без фильтра, смотри журнал самого Alloy на final-app командой docker logs final-agents-alloy-1.

Теперь можно дособрать четвёртую строку панели. Метрик ошибок у учебного приложения нет, но каждый ответ nginx записан в журнал вместе с кодом. Значит, ошибки можно считать по журналу. Запрос LogQL для панели с источником Loki:

LogQL — ответы 5xx за 5 минут
sum(count_over_time(
  {job="nginx"} |~ "HTTP/[0-9.]+. 5[0-9]{2} " [5m]
))

|~ оставляет строки, подходящие под регулярное выражение: после версии протокола и кавычки идёт код, начинающийся на 5. count_over_time считает такие строки в окне последних пяти минут, а sum складывает все файлы журнала. Ноль на панели — ошибок нет. Если сервис когда-нибудь начнёт отдавать метрики сам, ошибки лучше брать оттуда, но журнал честно работает уже сейчас.

Шаг 14. Зафиксировать

Конфиги мониторинга, агентов и правила уходят в репозиторий, токен бота, если он есть, — нет:

ubuntu@stand:~$
git add deploy/agents.yaml deploy/alloy/
ubuntu@stand:~$
git add ops/monitoring/ ansible/
ubuntu@stand:~$
git commit -m "ops: метрики, журналы и оповещения"

Флаг -m задаёт сообщение. Вставь команду сдачи в блок ниже.

Что дальше

Теперь ты узнаёшь о беде сам. Но если беда — потерянная база, мониторинг её не вернёт. Следующий этап — бэкап на другую машину и проверка восстановления.

Практика 04+750 XP

Сделать так, чтобы о падении сайта и о кончающемся диске ты узнавал из оповещения, а причину искал в панелях и журналах на другой машине.

  • Правило о падении сайта загружено
  • Правило о диске загружено
  • Все цели опрашиваются
  • Проверка сайта снаружи проходит
  • Loki готов принимать журналы
  • У оповещений есть получатель
Команда сдачи — выполни на своей машине
команда
ssh final-ops curl -s localhost:9090/api/v1/rules | grep -oE 'SiteDown|DiskAlmostFull' | sort -u; ssh final-ops curl -s localhost:9090/api/v1/query?query=min%28up%29; echo; ssh final-ops curl -s localhost:9090/api/v1/query?query=probe_success; echo; ssh final-ops curl -s localhost:3100/ready; echo RECV=$(ssh final-ops curl -s localhost:9093/api/v2/status | grep -cE 'webhook_configs|telegram_configs')

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.