Сейчас твой мониторинг отлично знает машину и контейнеры: сколько процессора, памяти, диска. А на главный вопрос дежурного — «сколько запросов падает и сколько ждут пользователи» — ответить не может. У приложения стенда нет страницы /metrics, и Prometheus о запросах ничего не знает.
Переписывать приложение не будем: DevOps-инженер редко правит чужой код ради метрик. Зато через прокси nginx проходит каждый запрос, и в его журнале уже есть код ответа. Допишем туда время обработки и поставим готовый экспортёр prometheus-nginxlog-exporter, который превращает строки журнала в счётчики и гистограмму. Так поступают и на работе, когда приложение метрик не отдаёт. Небольшой проект давно не выпускал новых версий, но он закончен и делает ровно одно дело.
Последние шаги — экспортёр базы из раздела 09: обещанное там число подключений появится на графике.
Шаг 1. Каталог для журнала
Прокси будет писать вторую копию журнала в файл, а экспортёр — читать этот файл. Общее место для них — каталог на самой машине. Права на /var/log есть только у root, поэтому sudo.
sudo mkdir -p /var/log/standКоманда молчит, если всё хорошо. Флаг -p не ругается, если каталог уже есть.
Шаг 2. Формат с временем ответа
Открой настройки прокси стенда из раздела 08 и в самом начале файла, перед блоком upstream, опиши свой формат журнала. Имя timed придумано нами.
log_format timed '$remote_addr [$time_local] ' '"$request" $status $request_time';
$status — код ответа, $request_time — сколько секунд nginx обрабатывал запрос, с точностью до миллисекунды. Обычный журнал nginx времени не пишет, а без него нет третьей буквы RED, длительности.
Шаг 3. Вторая строка журнала
В блоке server на порту 8443, после строк ssl_certificate, добавь две строки журнала.
access_log /dev/stdout; access_log /var/log/nginx/stand/access.log timed;
Вторая — копия в файл для экспортёра. Первая нужна вот почему. До сих пор журнал попадал в docker compose logs сам: в образе nginx общий файл журнала связан с потоком вывода, и блок server эту настройку наследовал. Но стоит написать в блоке свою access_log — унаследованная перестаёт действовать, и без строки /dev/stdout журнал пропал бы из docker compose logs.
Теперь пробросим каталог в контейнер прокси. В ~/infra/stand/compose.yaml у сервиса proxy в список volumes допиши строку:
- /var/log/stand:/var/log/nginx/standБез пометки ro: в этот каталог nginx как раз пишет.
Шаг 4. Пересоздать прокси
У прокси поменялись тома, поэтому Compose пересоздаст его контейнер. Работаем в каталоге стенда.
cd ~/infra/standdocker compose up -d ✔ Container provision-db-1 Healthy ✔ Container provision-app-1 Healthy ✔ Container provision-proxy-1 Started
Пересоздан только proxy, остальные не тронуты. Чтобы команды остались короткими, заведём две переменные, как в миссии раздела 08: сертификат, которому доверяем, и адрес стенда.
CA=~/devops-lab/tls/ca.crtB=https://stand.provision.internal:8443Сделай один запрос, чтобы в файле появилась строка. Флаг -o /dev/null выбрасывает тело ответа, --cacert говорит доверять сертификату стенда.
curl -s -o /dev/null --cacert $CA $B/api/healthПосмотри последнюю строку журнала. Флаг -1 у tail — одна строка с конца.
tail -1 /var/log/stand/access.log 172.18.0.1 [01/Oct/2026:12:05:31 +0000] "GET /api/health HTTP/1.1" 200 0.003
Адрес клиента, время, запрос, код 200 и последнее число — время ответа, три миллисекунды. Если файла нет, nginx не перечитал настройки: docker compose logs proxy покажет ошибку, обычно забытую точку с запятой.
Шаг 5. Настройки экспортёра
Вернёмся к мониторингу. Экспортёру нужно знать, где журнал и в каком он формате, — формат должен совпасть со строкой из шага 2 буква в букву.
cd ~/infra/monitoringmkdir nginxlognamespace "stand" { format = "$remote_addr [$time_local] \"$request\" $status $request_time" source { files = ["/var/log/stand/access.log"] } histogram_buckets = [0.01, 0.05, 0.1, 0.25, 0.5, 1, 2.5] }
namespace "stand" станет началом имён метрик: stand_http_response_count_total. histogram_buckets — границы корзин гистограммы в секундах, те самые le из урока про PromQL. Обратная косая перед кавычкой значит «эта кавычка — часть формата, а не конец строки».
Шаг 6. Экспортёр в описании
Добавь сервис в compose.yaml мониторинга, в раздел services.
nginxlog: image: quay.io/martinhelmich/prometheus-nginxlog-exporter:v1.11.0 command: ["-config-file", "/etc/nginxlog/config.hcl"] volumes: - ./nginxlog:/etc/nginxlog:ro - /var/log/stand:/var/log/stand:ro restart: unless-stopped
command говорит программе, где её файл настроек. Каталог журнала смонтирован только на чтение: экспортёру незачем его менять. Метрики он отдаёт на порту 4040.
В prometheus/prometheus.yml в конец scrape_configs допиши цель:
- job_name: proxy static_configs: - targets: ["nginxlog:4040"]
Шаг 7. Поднять и проверить цель
Новый сервис поднимет up, а Prometheus перезапустим, чтобы он перечитал список целей.
docker compose up -d ✔ Container monitoring-nginxlog-1 Started
Остальные контейнеры в выводе помечены Running: они уже работали, Compose их не тронул.
docker compose restart prometheusЧерез полминуты спроси список целей, как в первой практике. Адрес Prometheus снова кладём в переменную P.
P=localhost:9090curl -s $P/api/v1/targets | grep -o 'health":"[a-z]*' health":"up health":"up health":"up health":"up
Четыре цели, все up. Если у новой цели down, docker compose logs nginxlog покажет причину: чаще всего опечатку в пути к файлу настроек.
Шаг 8. Трафик и первая буква RED
Метрикам нужен трафик. У curl есть встроенный перебор: запись [1-300] в адресе превращается в триста запросов подряд, с n=1 до n=300. Знак вопроса и скобки шелл трогает, поэтому адрес в кавычках.
curl -s -o /dev/null --cacert $CA "$B/api/whoami?n=[1-300]"Команда молчит секунд пять. Если терминал успел закрыться после шага 4, переменных CA и B больше нет — задай их снова. Теперь в браузере, на вкладке Query, — Rate, запросов в секунду:
sum(rate(stand_http_response_count_total[5m]))Ответ около 1 — триста запросов, размазанные по пятиминутному окну. Прибавь by (status) после sum, и ряды разложатся по кодам ответа: сейчас там только 200.
Шаг 9. Ошибки своими руками
Вторая буква — Errors. Устроим настоящие ошибки: остановим базу стенда, и адрес /items, который в неё ходит, начнёт отвечать кодом 503. Мы видели это в разделе 08.
docker stop provision-db-1Тридцать запросов к сломанному адресу — тот же перебор:
curl -s -o /dev/null --cacert $CA "$B/api/items?e=[1-30]"И сразу верни базу:
docker start provision-db-1Доля ошибок — пятисотые, делённые на все запросы. Набери в браузере:
sum(rate(stand_http_response_count_total{status=~"5.."}[5m])) / sum(rate(stand_http_response_count_total[5m]))
Получится около 0.09: 30 ошибок из 330 запросов, девять процентов. Шаблон 5.. значит «пятёрка и любые две цифры». Через пять минут окно уедет за аварию, и ответ станет пустым: ошибок в окне нет, делить нечего.
Шаг 10. Длительность: p95
Третья буква — Duration. Здесь пригодится функция из урока про PromQL:
histogram_quantile(0.95, sum by (le) (rate(stand_http_response_time_seconds_hist_bucket[5m])))
Ответ около 0.0095: 95% запросов уложились примерно в 10 мс. Почти все ответы стенда попали в первую корзину, до 0,01 секунды, и внутри неё Prometheus оценивает перцентиль приблизительно — поэтому число не круглое. Будь у тебя корзины мельче, оценка стала бы точнее.
Сравни со средним — сумма времени, делённая на число запросов:
sum(rate(stand_http_response_time_seconds_sum[5m])) / sum(rate(stand_http_response_time_seconds_count[5m]))
На спокойном стенде среднее и p95 близки. Разойдутся они, когда часть запросов станет медленной, — ровно тогда среднее и начинает врать.
Шаг 11. Экспортёр базы
Последнее — база магазина из раздела 09. Экспортёру нужен её пароль. Посмотри его:
grep POSTGRES_PASSWORD ~/infra/db/.env POSTGRES_PASSWORD=3f9c1e7a52b04d8e9a61c0f2b7d34e15
Создай в каталоге мониторинга файл .env с этим значением под именем DB_PASSWORD и сразу запрети Git его видеть. Знак >> дописывает строку в конец файла.
DB_PASSWORD=3f9c1e7a52b04d8e9a61c0f2b7d34e15echo ".env" >> .gitignoreТеперь сервис. Экспортёр подключаем в две сети: свою, где его найдёт Prometheus, и сеть базы db_default, где он найдёт db.
pg-exporter: image: quay.io/prometheuscommunity/postgres-exporter:v0.20.1 networks: [default, db] environment: DATA_SOURCE_URI: "db:5432/shop?sslmode=disable" DATA_SOURCE_USER: shop DATA_SOURCE_PASS: ${DB_PASSWORD} restart: unless-stopped
В самом конце файла объяви чужую сеть. external: true значит «не создавать, она уже есть»: её создал Compose базы в разделе 09.
networks: db: name: db_default external: true
И цель в prometheus.yml, в конец scrape_configs:
- job_name: postgres static_configs: - targets: ["pg-exporter:9187"]
Шаг 12. Поднять и спросить базу
Поднимаем и перечитываем, как в шаге 7.
docker compose up -d ✔ Container monitoring-pg-exporter-1 Started
docker compose restart prometheusОшибка network db_default declared as external, but could not be found значит, что база раздела 09 не запущена: подними её docker compose up -d в ~/infra/db. Целей теперь пять. В браузере проверь, что экспортёр достучался:
pg_up1 — подключился, 0 — нет, и тогда docker compose logs pg-exporter назовёт причину, обычно password authentication failed. И главное число насыщения базы — сколько к ней подключено:
pg_stat_database_numbackends{datname="shop"}Одно-два подключения — это сам экспортёр. Предел задан в pg_settings_max_connections, по умолчанию 100. Когда подключений становится близко к пределу, новые клиенты получают отказ — вот о чём предупреждает этот график. А pg_stat_activity_count{state="idle in transaction"} покажет зависшие транзакции из миссии раздела 09.
Шаг 13. Отчёт
Запиши три запроса RED — это шпаргалка, которой ты будешь пользоваться всю работу.
nano ~/devops-lab/reports/red.txtRate, запросов в секунду: sum(rate(stand_http_response_count_total[5m])) Errors, доля 5xx: sum(rate(stand_http_response_count_total{status=~"5.."}[5m])) / sum(rate(stand_http_response_count_total[5m])) Duration, p95: histogram_quantile(0.95, sum by (le) (rate(stand_http_response_time_seconds_hist_bucket[5m]))) База: pg_stat_database_numbackends{datname="shop"}
Сохрани настройки в Git — без .env, его не пустит .gitignore:
git -C ~/infra add monitoringgit -C ~/infra commit -m "monitoring: метрики прокси и базы"Файл журнала /var/log/stand/access.log растёт с каждым запросом. На стенде это мегабайты за месяц, а на работе такой файл чистят по расписанию программой logrotate.
Что дальше
Метрики со стороны пользователя есть. В следующем уроке они станут панелями в Grafana, а потом — оповещением на долю ошибок.