Provision
—— XP

Практика: метрики приложения и базы

практика~35 минут+475 XP

Сейчас твой мониторинг отлично знает машину и контейнеры: сколько процессора, памяти, диска. А на главный вопрос дежурного — «сколько запросов падает и сколько ждут пользователи» — ответить не может. У приложения стенда нет страницы /metrics, и Prometheus о запросах ничего не знает.

Переписывать приложение не будем: DevOps-инженер редко правит чужой код ради метрик. Зато через прокси nginx проходит каждый запрос, и в его журнале уже есть код ответа. Допишем туда время обработки и поставим готовый экспортёр prometheus-nginxlog-exporter, который превращает строки журнала в счётчики и гистограмму. Так поступают и на работе, когда приложение метрик не отдаёт. Небольшой проект давно не выпускал новых версий, но он закончен и делает ровно одно дело.

Последние шаги — экспортёр базы из раздела 09: обещанное там число подключений появится на графике.

Шаг 1. Каталог для журнала

Прокси будет писать вторую копию журнала в файл, а экспортёр — читать этот файл. Общее место для них — каталог на самой машине. Права на /var/log есть только у root, поэтому sudo.

ubuntu@stand:~$
sudo mkdir -p /var/log/stand

Команда молчит, если всё хорошо. Флаг -p не ругается, если каталог уже есть.

Шаг 2. Формат с временем ответа

Открой настройки прокси стенда из раздела 08 и в самом начале файла, перед блоком upstream, опиши свой формат журнала. Имя timed придумано нами.

nano ~/infra/stand/nginx/stand.conf, в самое начало
log_format timed '$remote_addr [$time_local] '
                 '"$request" $status $request_time';

$status — код ответа, $request_time — сколько секунд nginx обрабатывал запрос, с точностью до миллисекунды. Обычный журнал nginx времени не пишет, а без него нет третьей буквы RED, длительности.

Шаг 3. Вторая строка журнала

В блоке server на порту 8443, после строк ssl_certificate, добавь две строки журнала.

nginx/stand.conf, в блоке server на 8443
    access_log /dev/stdout;
    access_log /var/log/nginx/stand/access.log timed;

Вторая — копия в файл для экспортёра. Первая нужна вот почему. До сих пор журнал попадал в docker compose logs сам: в образе nginx общий файл журнала связан с потоком вывода, и блок server эту настройку наследовал. Но стоит написать в блоке свою access_log — унаследованная перестаёт действовать, и без строки /dev/stdout журнал пропал бы из docker compose logs.

Теперь пробросим каталог в контейнер прокси. В ~/infra/stand/compose.yaml у сервиса proxy в список volumes допиши строку:

compose.yaml стенда, сервис proxy, volumes
      - /var/log/stand:/var/log/nginx/stand

Без пометки ro: в этот каталог nginx как раз пишет.

Шаг 4. Пересоздать прокси

У прокси поменялись тома, поэтому Compose пересоздаст его контейнер. Работаем в каталоге стенда.

ubuntu@stand:~$
cd ~/infra/stand
ubuntu@stand:~$
docker compose up -d
 ✔ Container provision-db-1     Healthy
 ✔ Container provision-app-1    Healthy
 ✔ Container provision-proxy-1  Started

Пересоздан только proxy, остальные не тронуты. Чтобы команды остались короткими, заведём две переменные, как в миссии раздела 08: сертификат, которому доверяем, и адрес стенда.

ubuntu@stand:~$
CA=~/devops-lab/tls/ca.crt
ubuntu@stand:~$
B=https://stand.provision.internal:8443

Сделай один запрос, чтобы в файле появилась строка. Флаг -o /dev/null выбрасывает тело ответа, --cacert говорит доверять сертификату стенда.

ubuntu@stand:~$
curl -s -o /dev/null --cacert $CA $B/api/health

Посмотри последнюю строку журнала. Флаг -1 у tail — одна строка с конца.

ubuntu@stand:~$
tail -1 /var/log/stand/access.log
172.18.0.1 [01/Oct/2026:12:05:31 +0000] "GET /api/health HTTP/1.1" 200 0.003

Адрес клиента, время, запрос, код 200 и последнее число — время ответа, три миллисекунды. Если файла нет, nginx не перечитал настройки: docker compose logs proxy покажет ошибку, обычно забытую точку с запятой.

Шаг 5. Настройки экспортёра

Вернёмся к мониторингу. Экспортёру нужно знать, где журнал и в каком он формате, — формат должен совпасть со строкой из шага 2 буква в букву.

ubuntu@stand:~$
cd ~/infra/monitoring
ubuntu@stand:~$
mkdir nginxlog
nano nginxlog/config.hcl
namespace "stand" {
  format = "$remote_addr [$time_local] \"$request\" $status $request_time"
  source {
    files = ["/var/log/stand/access.log"]
  }
  histogram_buckets = [0.01, 0.05, 0.1, 0.25, 0.5, 1, 2.5]
}

namespace "stand" станет началом имён метрик: stand_http_response_count_total. histogram_buckets — границы корзин гистограммы в секундах, те самые le из урока про PromQL. Обратная косая перед кавычкой значит «эта кавычка — часть формата, а не конец строки».

Шаг 6. Экспортёр в описании

Добавь сервис в compose.yaml мониторинга, в раздел services.

compose.yaml, раздел services
  nginxlog:
    image: quay.io/martinhelmich/prometheus-nginxlog-exporter:v1.11.0
    command: ["-config-file", "/etc/nginxlog/config.hcl"]
    volumes:
      - ./nginxlog:/etc/nginxlog:ro
      - /var/log/stand:/var/log/stand:ro
    restart: unless-stopped

command говорит программе, где её файл настроек. Каталог журнала смонтирован только на чтение: экспортёру незачем его менять. Метрики он отдаёт на порту 4040.

В prometheus/prometheus.yml в конец scrape_configs допиши цель:

prometheus.yml, scrape_configs
  - job_name: proxy
    static_configs:
      - targets: ["nginxlog:4040"]

Шаг 7. Поднять и проверить цель

Новый сервис поднимет up, а Prometheus перезапустим, чтобы он перечитал список целей.

ubuntu@stand:~$
docker compose up -d
 ✔ Container monitoring-nginxlog-1    Started

Остальные контейнеры в выводе помечены Running: они уже работали, Compose их не тронул.

ubuntu@stand:~$
docker compose restart prometheus

Через полминуты спроси список целей, как в первой практике. Адрес Prometheus снова кладём в переменную P.

ubuntu@stand:~$
P=localhost:9090
ubuntu@stand:~$
curl -s $P/api/v1/targets | grep -o 'health":"[a-z]*'
health":"up
health":"up
health":"up
health":"up

Четыре цели, все up. Если у новой цели down, docker compose logs nginxlog покажет причину: чаще всего опечатку в пути к файлу настроек.

Шаг 8. Трафик и первая буква RED

Метрикам нужен трафик. У curl есть встроенный перебор: запись [1-300] в адресе превращается в триста запросов подряд, с n=1 до n=300. Знак вопроса и скобки шелл трогает, поэтому адрес в кавычках.

ubuntu@stand:~$
curl -s -o /dev/null --cacert $CA "$B/api/whoami?n=[1-300]"

Команда молчит секунд пять. Если терминал успел закрыться после шага 4, переменных CA и B больше нет — задай их снова. Теперь в браузере, на вкладке Query, — Rate, запросов в секунду:

ubuntu@stand:~$
sum(rate(stand_http_response_count_total[5m]))

Ответ около 1 — триста запросов, размазанные по пятиминутному окну. Прибавь by (status) после sum, и ряды разложатся по кодам ответа: сейчас там только 200.

Шаг 9. Ошибки своими руками

Вторая буква — Errors. Устроим настоящие ошибки: остановим базу стенда, и адрес /items, который в неё ходит, начнёт отвечать кодом 503. Мы видели это в разделе 08.

ubuntu@stand:~$
docker stop provision-db-1

Тридцать запросов к сломанному адресу — тот же перебор:

ubuntu@stand:~$
curl -s -o /dev/null --cacert $CA "$B/api/items?e=[1-30]"

И сразу верни базу:

ubuntu@stand:~$
docker start provision-db-1

Доля ошибок — пятисотые, делённые на все запросы. Набери в браузере:

ubuntu@stand:~$
sum(rate(stand_http_response_count_total{status=~"5.."}[5m]))
  / sum(rate(stand_http_response_count_total[5m]))

Получится около 0.09: 30 ошибок из 330 запросов, девять процентов. Шаблон 5.. значит «пятёрка и любые две цифры». Через пять минут окно уедет за аварию, и ответ станет пустым: ошибок в окне нет, делить нечего.

Шаг 10. Длительность: p95

Третья буква — Duration. Здесь пригодится функция из урока про PromQL:

ubuntu@stand:~$
histogram_quantile(0.95,
  sum by (le) (rate(stand_http_response_time_seconds_hist_bucket[5m])))

Ответ около 0.0095: 95% запросов уложились примерно в 10 мс. Почти все ответы стенда попали в первую корзину, до 0,01 секунды, и внутри неё Prometheus оценивает перцентиль приблизительно — поэтому число не круглое. Будь у тебя корзины мельче, оценка стала бы точнее.

Сравни со средним — сумма времени, делённая на число запросов:

ubuntu@stand:~$
sum(rate(stand_http_response_time_seconds_sum[5m]))
  / sum(rate(stand_http_response_time_seconds_count[5m]))

На спокойном стенде среднее и p95 близки. Разойдутся они, когда часть запросов станет медленной, — ровно тогда среднее и начинает врать.

Шаг 11. Экспортёр базы

Последнее — база магазина из раздела 09. Экспортёру нужен её пароль. Посмотри его:

ubuntu@stand:~$
grep POSTGRES_PASSWORD ~/infra/db/.env
POSTGRES_PASSWORD=3f9c1e7a52b04d8e9a61c0f2b7d34e15

Создай в каталоге мониторинга файл .env с этим значением под именем DB_PASSWORD и сразу запрети Git его видеть. Знак >> дописывает строку в конец файла.

nano ~/infra/monitoring/.env
DB_PASSWORD=3f9c1e7a52b04d8e9a61c0f2b7d34e15
ubuntu@stand:~$
echo ".env" >> .gitignore

Теперь сервис. Экспортёр подключаем в две сети: свою, где его найдёт Prometheus, и сеть базы db_default, где он найдёт db.

compose.yaml, раздел services
  pg-exporter:
    image: quay.io/prometheuscommunity/postgres-exporter:v0.20.1
    networks: [default, db]
    environment:
      DATA_SOURCE_URI: "db:5432/shop?sslmode=disable"
      DATA_SOURCE_USER: shop
      DATA_SOURCE_PASS: ${DB_PASSWORD}
    restart: unless-stopped

В самом конце файла объяви чужую сеть. external: true значит «не создавать, она уже есть»: её создал Compose базы в разделе 09.

конец compose.yaml
networks:
  db:
    name: db_default
    external: true

И цель в prometheus.yml, в конец scrape_configs:

prometheus.yml, scrape_configs
  - job_name: postgres
    static_configs:
      - targets: ["pg-exporter:9187"]

Шаг 12. Поднять и спросить базу

Поднимаем и перечитываем, как в шаге 7.

ubuntu@stand:~$
docker compose up -d
 ✔ Container monitoring-pg-exporter-1  Started
ubuntu@stand:~$
docker compose restart prometheus

Ошибка network db_default declared as external, but could not be found значит, что база раздела 09 не запущена: подними её docker compose up -d в ~/infra/db. Целей теперь пять. В браузере проверь, что экспортёр достучался:

ubuntu@stand:~$
pg_up

1 — подключился, 0 — нет, и тогда docker compose logs pg-exporter назовёт причину, обычно password authentication failed. И главное число насыщения базы — сколько к ней подключено:

ubuntu@stand:~$
pg_stat_database_numbackends{datname="shop"}

Одно-два подключения — это сам экспортёр. Предел задан в pg_settings_max_connections, по умолчанию 100. Когда подключений становится близко к пределу, новые клиенты получают отказ — вот о чём предупреждает этот график. А pg_stat_activity_count{state="idle in transaction"} покажет зависшие транзакции из миссии раздела 09.

Шаг 13. Отчёт

Запиши три запроса RED — это шпаргалка, которой ты будешь пользоваться всю работу.

ubuntu@stand:~$
nano ~/devops-lab/reports/red.txt
~/devops-lab/reports/red.txt
Rate, запросов в секунду:
sum(rate(stand_http_response_count_total[5m]))

Errors, доля 5xx:
sum(rate(stand_http_response_count_total{status=~"5.."}[5m]))
  / sum(rate(stand_http_response_count_total[5m]))

Duration, p95:
histogram_quantile(0.95,
  sum by (le) (rate(stand_http_response_time_seconds_hist_bucket[5m])))

База: pg_stat_database_numbackends{datname="shop"}

Сохрани настройки в Git — без .env, его не пустит .gitignore:

ubuntu@stand:~$
git -C ~/infra add monitoring
ubuntu@stand:~$
git -C ~/infra commit -m "monitoring: метрики прокси и базы"

Файл журнала /var/log/stand/access.log растёт с каждым запросом. На стенде это мегабайты за месяц, а на работе такой файл чистят по расписанию программой logrotate.

Что дальше

Метрики со стороны пользователя есть. В следующем уроке они станут панелями в Grafana, а потом — оповещением на долю ошибок.

Практика 03+475 XP

Отвечать запросом на главный вопрос дежурного: сколько запросов идёт, какая доля падает и сколько ждут пользователи.

  • Опрашиваются пять целей
  • Запросы стенда считаются
  • Ошибки устроены и видны
  • Экспортёр базы видит базу
  • В отчёте есть перцентиль
  • В отчёте есть доля ошибок
Команда сдачи — выполни на своей машине
команда
cd ~/infra/monitoring && echo "UP=$(curl -s localhost:9090/api/v1/targets | grep -o 'health":"up' | wc -l)"; curl -sG localhost:9090/api/v1/query --data-urlencode 'query=sum by (status) (increase(stand_http_response_count_total[7d]))' | grep -o '"status":"[1-5][0-9][0-9]"'; curl -sG localhost:9090/api/v1/query --data-urlencode 'query=pg_up' | grep -o '"value":[^}]*'; echo ---; cat ~/devops-lab/reports/red.txt

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.