Этап 5. Сейчас о падении сайта ты узнаешь от того, кто им пользуется. Цель этапа — узнавать раньше: из оповещения, а причину смотреть в панелях Grafana и журналах Loki.
Всё, что хранит и показывает, ставится на final-ops. На final-app — только два маленьких агента: один отдаёт метрики машины, второй отправляет журналы. Это и есть смысл второй машины из первого урока раздела. Файлы, как всегда, пишутся на рабочей машине и возятся rsync.
Шаги здесь крупнее, чем в разделах 10 и 11: ты собираешь знакомое. Но собираешь по одному куску — запустил, посмотрел, что видно и чего не хватает, добавил следующий. Где нужен новый кусок, он показан целиком.
Шаг 1. Метрики машины
node_exporter из раздела про мониторинг отдаёт метрики процессора, памяти и дисков. Агенты описываются отдельным файлом deploy/agents.yaml, чтобы конвейер приложения их не трогал. У файла своё имя проекта — иначе Compose возьмёт имя каталога deploy:
name: final-agents services: node-exporter: image: prom/node-exporter:<версия> restart: unless-stopped network_mode: host pid: host volumes: - /:/host:ro,rslave
network_mode: host — экспортёр слушает порт 9100 прямо на машине, а не в сети Docker. Корень машины смонтирован в /host только для чтения: экспортёру нужно видеть настоящие диски, а не диск контейнера. Слово rslave значит, что диски, которые подключат к машине позже, тоже станут видны внутри контейнера, — так рекомендует README node_exporter.
Шаг 2. Каталог для своих метрик
Экспортёр умеет читать метрики, которые написали другие программы, из файлов .prom в отдельном каталоге. Эту часть экспортёра называют textfile collector, и она понадобится для бэкапа. Скажем экспортёру, где корень машины и где этот каталог:
command: - --path.rootfs=/host - --collector.textfile.directory=/host/var/lib/node_exporter
Сам каталог создай задачей роли base модулем file: путь /var/lib/node_exporter, state: directory, владелец и группа devops, права 0755. Владелец важен: писать туда будет скрипт бэкапа от пользователя devops, и каталог root он не осилит.
Там же, в группе app, открой ufw порт 9100 только для внутреннего адреса final-ops: экспортёр работает в сети машины, и ufw его закрывает. Модуль community.general.ufw с port: "9100" и from_ip: 10.10.1.12. Метрики машины не для всех.
Шаг 3. Запуск экспортёра
Отвези файлы на final-app, зайди туда и подними агента:
docker compose -f final/deploy/agents.yaml up -d ✔ Container final-agents-node-exporter-1 StartedИмя начинается с final-agents — это строка name: из шага 1. Проверим, что экспортёр отдаёт место на диске. Фильтр grep оставит одну нужную метрику:
curl -s localhost:9100/metrics | grep 'avail_bytes{.*"/"}'node_filesystem_avail_bytes{device="/dev/sda1",fstype="ext4",mountpoint="/"} 1.43e+10Число в конце — свободные байты на корневом разделе, здесь около 14 ГБ. Именно на эту метрику будет смотреть правило о диске. Имя диска у тебя может быть другим — vda2 в облаке, nvme0n1p2 на ноутбуке.
Шаг 4. Prometheus и одна цель
На final-ops в ops/monitoring/ живёт второй файл Compose. Начни его с одного Prometheus: первой строкой name: final-ops, образ как в разделе про мониторинг, restart: unless-stopped, порт только на 127.0.0.1:9090 и файл prometheus.yml, смонтированный в /etc/prometheus/. Сам файл — с минимума:
global: scrape_interval: 15s evaluation_interval: 15s scrape_configs: - job_name: node static_configs: - targets: ["10.10.1.11:9100"]
Первые строки — как часто опрашивать цели и проверять правила. Без них Prometheus делает это раз в минуту, и к времени обнаружения аварии добавляются лишние две минуты. Ниже — единственная цель: экспортёр на внутреннем адресе final-app.
Отвези файлы на final-ops, зайди туда и подними:
docker compose -f final/ops/monitoring/compose.yaml up -d ✔ Container final-ops-prometheus-1 StartedЧерез полминуты спроси Prometheus, отвечает ли цель. Метрика up равна 1 у каждой живой цели:
curl -s 'localhost:9090/api/v1/query?query=up'{"status":"success","data":{"resultType":"vector","result":[ {"metric":{"__name__":"up","instance":"10.10.1.11:9100","job":"node"},"value":[1792841368.871,"1"]}]}}
Читать нужно последнее число в кавычках; первое — время замера в секундах с 1970 года. "0" — почти всегда ufw на 9100 из шага 2.
Шаг 5. Сайт глазами пользователя
Машина жива — но жив ли сайт? Это проверяет blackbox_exporter: он делает настоящий HTTPS-запрос, как пользователь. Проверяем /items, а не /health: это урок миссии раздела 20, где мониторинг был зелёным при упавшей базе. Цель в prometheus.yml:
- job_name: site metrics_path: /probe params: { module: [http_2xx] } static_configs: - targets: ["https://final.provision.internal/items"]
Ещё нужны три строки relabel_configs, которые передают адрес сайта в blackbox, — возьми их дословно из README blackbox_exporter, только адрес экспортёра пиши blackbox:9115.
Сервис blackbox в compose.yaml — образ prom/blackbox-exporter, порт 127.0.0.1:9115:9115, чтобы ты мог спросить его сам. Контейнер делает запрос сам и имени сайта не знает: пропиши его через extra_hosts с внутренним адресом final-app, строкой "final.provision.internal:10.10.1.11".
Подними новый сервис и перезапусти Prometheus: свой файл он читает только при старте.
cd final/ops/monitoring docker compose up -d docker compose restart prometheus
✔ Container final-ops-blackbox-1 Started ✔ Container final-ops-prometheus-1 Started
Другие способы перечитать файл без перезапуска — сигнал SIGHUP процессу или адрес /-/reload, если Prometheus запущен с флагом --web.enable-lifecycle. Через полминуты спроси результат проверки:
curl -s 'localhost:9090/api/v1/query?query=probe_success'{"status":"success","data":{"resultType":"vector","result":[ {"metric":{"__name__":"probe_success","instance":"https://final.provision.internal/items","job":"site"},"value":[1792841405.428,"0"]}]}}
Ноль: сайт работает, а проверка не проходит. Причину покажет сам blackbox, если попросить у него подробности флагом debug. Адрес и запрос разложи по переменным:
T=https://final.provision.internal/items Q="target=$T&module=http_2xx&debug=true" curl -s "localhost:9115/probe?$Q" | grep -o 'x509[^"]*'
x509: certificate signed by unknown authorityСертификат подписан твоим центром, а blackbox ему не доверяет — та же история, что у curl без --cacert.
Шаг 6. blackbox доверяет центру
Положи ca.crt в ops/monitoring/blackbox/ и опиши модуль в blackbox.yml:
modules: http_2xx: prober: http http: tls_config: ca_file: /etc/blackbox/ca.crt
Каталог смонтируй в контейнер как /etc/blackbox, а в command укажи --config.file=/etc/blackbox/blackbox.yml. Отвези файлы и подними — Compose пересоздаст изменённый сервис сам:
docker compose up -d ✔ Container final-ops-blackbox-1 Recreatedcurl -s 'localhost:9090/api/v1/query?query=probe_success'{"status":"success","data":{"resultType":"vector","result":[ {"metric":{"__name__":"probe_success","instance":"https://final.provision.internal/items","job":"site"},"value":[1792841434.293,"1"]}]}}
Единица — проверка прошла вся: имя, порт, сертификат, nginx, приложение, база.
Шаг 7. Два правила
Цифры есть, но смотреть на них круглосуточно некому. Правило — это вопрос, который Prometheus задаёт сам на каждой проверке. Файл ops/monitoring/alerts.yml, первое правило — сайт не отвечает:
groups: - name: final rules: - alert: SiteDown expr: probe_success == 0 for: 1m
for: 1m — условие должно продержаться минуту, прежде чем правило сработает: одна сорвавшаяся проверка ещё не авария. Второе правило — свободного места меньше 15%:
- alert: DiskAlmostFull expr: node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"} < 0.15 for: 2m
Это правило поймает аварию раньше, чем она случится: при 15% свободного места сайт ещё работает. Смонтируй файл рядом с prometheus.yml и подключи его строками перед scrape_configs:
rule_files: - alerts.yml
Отвези, подними и спроси, какие правила загружены:
docker compose up -d U=localhost:9090/api/v1/rules curl -s $U | grep -o '"name":"[A-Za-z]*"'
"name":"final" "name":"SiteDown" "name":"DiskAlmostFull"
Флаг -o у grep печатает только совпавшие куски, а не строки целиком. Первым идёт имя группы final, за ним оба правила — загружены. Проверим первое в деле. На final-app останови приложение — засеки время:
docker compose -p final stop app ✔ Container final-app-1 StoppedЧерез полторы-две минуты спроси на final-ops сработавшие правила:
curl -s localhost:9090/api/v1/alerts{"status":"success","data":{"alerts":[{"labels":{"alertname":"SiteDown",…}, "state":"firing","activeAt":"2026-10-24T11:31:16Z","value":"0e+00"}]}}
Сначала правило было pending — условие выполнено, минута for ещё идёт, — теперь firing. Сайт лежит, правило горит, а ты об этом не знаешь: сигнал никуда не отправлен. Приложение пока не поднимай.
Шаг 8. Куда слать
Alertmanager решает, кому отправить сработавшее правило. Получатель по умолчанию — тот же эхо-контейнер, что в практике про оповещения раздела 10: он печатает в свой лог всё, что ему прислали. Допиши его сервисом alert-echo с образом mendhak/http-https-echo:42 в ops/monitoring/compose.yaml, а в alertmanager.yml укажи его адрес:
route: receiver: echo receivers: - name: echo webhook_configs: - url: http://alert-echo:8080/ send_resolved: true
webhook_configs — отправка обычным HTTP-запросом; тем же механизмом пользуются мессенджеры. send_resolved: true присылает второе сообщение, когда авария кончилась. Порт эхо-контейнеру публиковать не нужно: к нему ходит только Alertmanager внутри сети Compose. Сам Alertmanager — сервис с образом prom/alertmanager и этим файлом, порт 127.0.0.1:9093.
Осталось сказать Prometheus, куда передавать сработавшие правила, — без этого блока Alertmanager так и не узнает об аварии:
alerting: alertmanagers: - static_configs: - targets: ["alertmanager:9093"]
Отвези файлы, подними новые сервисы и перезапусти Prometheus:
docker compose up -d docker compose restart prometheus
✔ Container final-ops-alert-echo-1 Started ✔ Container final-ops-alertmanager-1 Started ✔ Container final-ops-prometheus-1 Started
Через минуту-две загляни в журнал эхо-контейнера. Каждое сообщение он печатает вместе с полем body, поэтому grep -c по нему считает сообщения:
docker logs final-ops-alert-echo-1 | grep -c '"body"'1Одно сообщение — о сработавшем SiteDown. Верни приложение на final-app:
docker compose -p final start app ✔ Container final-app-1 StartedСообщение resolved придёт не сразу, а в течение пяти минут: Alertmanager повторно отправляет группу сигналов раз в group_interval, а по умолчанию это пять минут. В прогоне курса оно пришло через 4 минуты 52 секунды, и та же команда показала 2. Запиши в README, сколько прошло от остановки приложения до первого сообщения: это твоё время обнаружения.
Живой мессенджер — по желанию и только если с final-ops открывается api.telegram.org: второй получатель с telegram_configs, токен бота в файле через bot_token_file, как в шаге 11 той же практики раздела 10. Файл с токеном — в .gitignore. Эхо-получатель остаётся в любом случае, и проверка смотрит на него.
Шаг 9. Grafana: источник файлом
Добавь сервис grafana: образ как в разделе 10, порт 3000 для браузера. Источники данных не добавляем мышкой: как в разделе 10, они описываются файлом, который Grafana читает при старте. Так они живут в репозитории и переживут пересоздание контейнера. Пока источник один:
apiVersion: 1 datasources: - name: Prometheus type: prometheus url: http://prometheus:9090
Каталог смонтируй в контейнер Grafana как /etc/grafana/provisioning/datasources. Внутри сети Compose сервисы видят друг друга по именам, поэтому адрес — prometheus. Отвези файлы и выполни docker compose up -d.
Grafana открывается в браузере на твоём ноутбуке по публичному адресу final-ops из output ips: http://158.160.40.22:3000. Имя final-ops из ~/.ssh/config браузер не знает. Первый вход — admin и admin, Grafana сразу попросит сменить пароль. Порт 3000 открыт в группе безопасности только с твоего адреса.
Готовые панели импортируй по номеру с grafana.com: Dashboards → New → Import, номер 1860 — Node Exporter Full, 7587 — проверки blackbox.
Шаг 10. Своя панель: четыре сигнала
Одну панель собираешь сам — четыре сигнала сайта. Источник у каждого свой:
| Сигнал | Откуда | Запрос |
|---|---|---|
| Задержка | blackbox | probe_duration_seconds |
| Доступность | blackbox | avg_over_time(probe_success[5m]) |
| Место на диске | node_exporter | доля свободного, как в правиле |
| Ошибки | журнал nginx в Loki | запрос ниже |
Первые три строки собери сейчас. Четвёртой — ошибкам — нужен журнал nginx, а журналов в системе ещё нет. Это следующий шаг.
Шаг 11. Loki
Добавь на final-ops сервис loki: образ как в разделе про логирование, restart: unless-stopped, порт 3100 — для final-app. Подними и спроси, готов ли он:
docker compose up -d R=localhost:3100/ready curl -s -o /dev/null -w '%{http_code}\n' $R
503Флаг -o /dev/null выбрасывает тело ответа, -w печатает код. 503 — «сервис недоступен»: первые полминуты-минуту Loki прогревает свои внутренние части и журналы не принимает. Подожди и спроси ещё раз, уже с телом ответа:
curl -s $RreadyТеперь добавь второй источник в grafana/datasources.yaml:
- name: Loki type: loki url: http://loki:3100
Отвези файл. docker compose up -d здесь не поможет: каталог смонтирован тот же, контейнер не пересоздаётся, а файл источников Grafana читает только при старте. Перезапусти её:
docker compose restart grafana ✔ Container final-ops-grafana-1 StartedВ Connections → Data sources теперь два источника.
Шаг 12. Alloy: журналы с машины приложения
Хранилище журналов есть, осталось их туда отправить. На final-app это делает Alloy — агент Grafana из раздела про логирование; в статьях до 2025 года на его месте Promtail, который уже снят с поддержки. Конфиг deploy/alloy/config.alloy собирается из блоков. Первый находит контейнеры и даёт им метку с именем:
discovery.docker "local" { host = "unix:///var/run/docker.sock" } discovery.relabel "names" { targets = discovery.docker.local.targets rule { source_labels = ["__meta_docker_container_name"] target_label = "container" } }
discovery.relabel переписывает служебную метку Docker в понятную container — по ней ты будешь искать журналы. Второй блок читает вывод контейнеров:
loki.source.docker "containers" { host = "unix:///var/run/docker.sock" targets = discovery.docker.local.targets relabel_rules = discovery.relabel.names.rules forward_to = [loki.write.ops.receiver] }
Сокет Docker Alloy получит смонтированным в контейнер. Помни из раздела 11: даже с пометкой :ro доступ к сокету равен правам root на машине, поэтому такой агент ставят только тот, которому доверяют.
nginx на final-app работает не в контейнере, его журналы лежат файлами в /var/log/nginx. Для файлов у Alloy два блока: первый находит их по маске и даёт метку job, второй читает:
local.file_match "nginx" { path_targets = [{"__path__" = "/var/log/nginx/*.log", "job" = "nginx"}] } loki.source.file "nginx" { targets = local.file_match.nginx.targets forward_to = [loki.write.ops.receiver] }
Каталог /var/log/nginx смонтируй в контейнер Alloy по тому же пути, только для чтения. Последний блок отправляет всё прочитанное в Loki на final-ops:
loki.write "ops" { endpoint { url = "http://10.10.1.12:3100/loki/api/v1/push" } }
Остальное про сервис alloy в deploy/agents.yaml — образ, тома, restart: unless-stopped — как в практике раздела 11. Готовые примеры — в документации Alloy. Отвези файлы на final-app и подними агентов — экспортёр останется как был, добавится Alloy:
docker compose -f final/deploy/agents.yaml up -d ✔ Container final-agents-alloy-1 StartedШаг 13. Журналы в Grafana
В Grafana открой Explore, выбери Loki и запроси журналы приложения:
{container=~".*final-app.*"} |= "error"Часть в фигурных скобках выбирает поток по метке container из шага 12. Docker отдаёт имя контейнера с косой чертой впереди — /final-app-1, — поэтому здесь регулярное выражение =~, а не точное =. |= оставляет строки, где есть слово error. Пустой результат здесь хорош — значит, ошибок нет. Если не появилось вообще ничего даже без фильтра, смотри журнал самого Alloy на final-app командой docker logs final-agents-alloy-1.
Теперь можно дособрать четвёртую строку панели. Метрик ошибок у учебного приложения нет, но каждый ответ nginx записан в журнал вместе с кодом. Значит, ошибки можно считать по журналу. Запрос LogQL для панели с источником Loki:
sum(count_over_time( {job="nginx"} |~ "HTTP/[0-9.]+. 5[0-9]{2} " [5m] ))
|~ оставляет строки, подходящие под регулярное выражение: после версии протокола и кавычки идёт код, начинающийся на 5. count_over_time считает такие строки в окне последних пяти минут, а sum складывает все файлы журнала. Ноль на панели — ошибок нет. Если сервис когда-нибудь начнёт отдавать метрики сам, ошибки лучше брать оттуда, но журнал честно работает уже сейчас.
Шаг 14. Зафиксировать
Конфиги мониторинга, агентов и правила уходят в репозиторий, токен бота, если он есть, — нет:
git add deploy/agents.yaml deploy/alloy/git add ops/monitoring/ ansible/git commit -m "ops: метрики, журналы и оповещения"Флаг -m задаёт сообщение. Вставь команду сдачи в блок ниже.
Что дальше
Теперь ты узнаёшь о беде сам. Но если беда — потерянная база, мониторинг её не вернёт. Следующий этап — бэкап на другую машину и проверка восстановления.