В прошлом уроке Prometheus был картинкой. Сейчас он станет тремя контейнерами на твоём стенде: сам Prometheus и два экспортёра — node-exporter для машины и cAdvisor для контейнеров.
Всё описываем в Compose, как стенд из раздела 08: так сбор метрик лежит в репозитории и поднимается одной командой. Начнём с одного Prometheus, который опрашивает сам себя, и будем добавлять по одному сервису, каждый раз проверяя список целей. Готовый полный пример похожей связки есть в открытом репозитории dockprom — заглядывай туда, если запутаешься в отступах.
Шаг 1. Каталог
Метрики живут отдельно от стенда, в своём каталоге рядом с ним. Флаг -p у mkdir создаёт и вложенный каталог, и все промежуточные.
mkdir -p ~/infra/monitoring/prometheuscd ~/infra/monitoringОбе команды молчат, если всё прошло хорошо.
Шаг 2. Кого опрашивать
Prometheus сам ходит к целям за метриками, и список целей задаётся в его файле настроек. Начнём с одной цели — самого Prometheus: он тоже отдаёт метрики о себе, и так видно, если он сам начал тормозить.
global: scrape_interval: 15s scrape_configs: - job_name: prometheus static_configs: - targets: ["localhost:9090"]
scrape_interval — как часто опрашивать цели; по умолчанию раз в минуту, для учебного стенда это слишком редко. job_name — имя группы целей, оно станет меткой job у каждой метрики. targets — адреса, где цель отдаёт метрики.
Шаг 3. Prometheus в описании
Открой файл compose.yaml в этом каталоге и впиши первый сервис.
name: monitoring services: prometheus: image: prom/prometheus:v3.14.0 ports: - "127.0.0.1:9090:9090" volumes: - ./prometheus:/etc/prometheus:ro
Порт опубликован только на 127.0.0.1: страница Prometheus без пароля, и наружу её не открывают. Каталог с настройками монтируется туда, где образ ищет prometheus.yml, а ro значит «только чтение». Сначала проверим, что Compose понимает файл. Флаг --quiet просит ничего не печатать, если ошибок нет.
docker compose config --quietПустой вывод — хороший знак. Ошибка отступа выглядит так: yaml: line 12: did not find expected key, и номер строки подскажет, где искать. Запускаем.
docker compose up -d[+] Running 2/2 ✔ Network monitoring_default Created ✔ Container monitoring-prometheus-1 Started
Prometheus умеет сказать, что здоров:
curl -s localhost:9090/-/healthyPrometheus Server is Healthy.Шаг 4. Список целей
Это главная проверка любого сбора: видит ли Prometheus то, что должен. Адрес будем набирать часто, поэтому сохраним его в переменной шелла P — дальше она подставится вместо $P.
P=localhost:9090Флаг -o у grep печатает только совпавший кусок, а не всю огромную строку ответа.
curl -s $P/api/v1/targets | grep -o 'health":"[a-z]*'health":"upОдна цель, up. Глазами удобнее смотреть в браузере. Стенд у тебя на виртуалке, поэтому сначала пробрось порт с неё на свой компьютер — в отдельном окне терминала, на своей машине. Флаг -L у ssh означает «локальный порт 9090 веди на порт 9090 там».
ssh -L 9090:localhost:9090 standstand — имя стенда из твоего ~/.ssh/config, у тебя оно может быть другим. Пока это окно открыто, адрес http://localhost:9090/targets в браузере показывает страницу целей стенда.
Шаг 5. Экспортёр машины
Prometheus собирает только то, что ему отдают. Метрики машины — процессор, память, диски — отдаёт node-exporter. Добавь его в compose.yaml, ниже Prometheus, в самом простом виде.
node-exporter: image: prom/node-exporter:v1.8.2
И новую цель в prometheus.yml, в конец списка scrape_configs:
- job_name: node static_configs: - targets: ["node-exporter:9100"]
Адрес — имя сервиса Compose, а не IP: внутри одной сети Compose сам превращает имя в адрес, мы разбирали это в разделе 08. Поднимаем новый сервис. Сам Prometheus изменения в своём файле не замечает — его надо перезапустить.
docker compose up -d ✔ Container monitoring-node-exporter-1 Starteddocker compose restart prometheus ✔ Container monitoring-prometheus-1 StartedЧерез полминуты в списке целей их две, обе up. Теперь проверим, что экспортёр рассказывает правду. Флаг -h у df печатает размеры в понятных единицах.
df -h /Filesystem Size Used Avail Use% Mounted on /dev/mapper/ubuntu--vg-ubuntu--lv 915G 360G 518G 41% /
У тебя размеры и имя диска будут свои. Запомни колонку Avail. Теперь в браузере, на вкладке Query, выполни запрос node_filesystem_avail_bytes — свободное место по всем дискам, которые видит экспортёр.
node_filesystem_avail_bytes{mountpoint="/etc/hostname", ...} 555182448640 node_filesystem_avail_bytes{mountpoint="/etc/hosts", ...} 555182448640 node_filesystem_avail_bytes{mountpoint="/etc/resolv.conf", ...} 555182448640
Корня / среди них нет вовсе, а точки монтирования — /etc/hostname, /etc/hosts: это файлы, которые Docker подкладывает в контейнер. Экспортёр честно описал машину, которую видит, — свой контейнер. Числа при этом выглядят правдоподобно, и в этом коварство: на графике ошибку не заметишь.
Экспортёру нужно смотреть на настоящую машину. Допиши к его сервису:
pid: host volumes: - /:/host:ro,rslave command: - --path.rootfs=/host
pid: host показывает ему процессы хоста, а не контейнера. Корень машины монтируется внутрь как /host только на чтение; rslave нужен, чтобы диски, подключённые к машине позже, тоже стали видны. Параметр --path.rootfs говорит экспортёру читать диски оттуда.
docker compose up -d ✔ Container monitoring-node-exporter-1 StartedПовтори запрос, теперь с меткой: node_filesystem_avail_bytes{mountpoint="/"}.
node_filesystem_avail_bytes{device="/dev/mapper/ubuntu--vg-ubuntu--lv", mountpoint="/", ...} 555182395392Тот же диск, что у df, и 555 миллиардов байт — те же 518 «гигабайт» из df: он считает в гибибайтах, по 1024³ байта. Совпало — экспортёр видит настоящий диск. Проверка «число в метрике против команды на машине» — привычка, которая спасает от красивых, но ложных графиков.
Шаг 6. Экспортёр контейнеров
Сколько ест каждый контейнер, node-exporter не знает. Это умеет cAdvisor от Google: он читает служебные каталоги Docker. Ему сразу нужен доступ к ним, без него он не работает вовсе, поэтому блок полный.
cadvisor: image: gcr.io/cadvisor/cadvisor:v0.49.1 privileged: true volumes: - /:/rootfs:ro - /var/run:/var/run:ro - /sys:/sys:ro - /var/lib/docker/:/var/lib/docker:ro
privileged: true даёт контейнеру доступ к устройствам хоста — cAdvisor без этого не видит часть счётчиков. Это тот редкий случай, когда так делают сознательно; своим приложениям этот флаг не ставят никогда.
Обрати внимание на /var/run: там лежит сокет Docker, через который cAdvisor спрашивает про контейнеры. Пометка ro здесь ничего не защищает: она запрещает менять сам файл сокета, но через сокет можно отдать Docker любую команду, вплоть до запуска нового контейнера с доступом ко всей машине. Доступ к сокету Docker равен правам root, поэтому его дают только программам, которым доверяют, как этому экспортёру от Google.
Третья цель — в конец prometheus.yml:
- job_name: cadvisor static_configs: - targets: ["cadvisor:8080"]
docker compose up -d ✔ Container monitoring-cadvisor-1 Starteddocker compose restart prometheus ✔ Container monitoring-prometheus-1 StartedЧерез полминуты:
curl -s $P/api/v1/targets | grep -o 'health":"[a-z]*'health":"up health":"up health":"up
Три цели, все up.
Шаг 7. Первая метрика
Спросим у Prometheus одно число — нагрузку машины за минуту. Кавычки вокруг адреса нужны, чтобы шелл не принял ? за свой спецсимвол.
curl -s "$P/api/v1/query?query=node_load1"{"status":"success","data":{"resultType":"vector","result":[{"metric":{"__name__":"node_load1","instance":"node-exporter:9100","job":"node"},"value":[1792754237.265,"1.44"]}]}}Читать так: status — запрос удался; в metric имя и метки, среди них job из настроек; в value время (секунды с 1970 года) и само значение, 1.44. Дальше такие запросы будем писать в браузере — это то же самое, только читается легче.
Шаг 8. История пропадает
Prometheus хранит всё, что собрал, и по этой истории строятся графики. Узнаем, сколько замеров о себе он уже накопил: запрос count_over_time(up{job="prometheus"}[1h]) в браузере считает их за последний час.
{instance="localhost:9090", job="prometheus"} 10Десять замеров — две с половиной минуты работы. Теперь снимем стек и поднимем заново, как при любом обновлении.
docker compose down[+] Running 4/4 ✔ Container monitoring-cadvisor-1 Removed ✔ Container monitoring-node-exporter-1 Removed ✔ Container monitoring-prometheus-1 Removed ✔ Network monitoring_default Removed
docker compose up -d[+] Running 4/4 ✔ Network monitoring_default Created ✔ Container monitoring-cadvisor-1 Started ✔ Container monitoring-node-exporter-1 Started ✔ Container monitoring-prometheus-1 Started
Тот же запрос через полминуты:
{instance="localhost:9090", job="prometheus"} 1История пропала. Ты уже встречал это в разделе про базы: образ объявляет каталог данных /prometheus томом, и каждый новый контейнер получает новый безымянный том. Лекарство то же — именованный том. Допиши Prometheus второе монтирование, а в самый низ файла — раздел volumes.
- prom-data:/prometheusvolumes: prom-data:
docker compose up -d✔ Volume monitoring_prom-data Created ✔ Container monitoring-prometheus-1 Recreated
Теперь после down и up счётчик замеров продолжит расти, а не начнётся с единицы. Сколько хранить, Prometheus решает сам: по умолчанию 15 дней, это видно в его журнале.
docker compose logs prometheus | grep retentionprometheus-1 | msg="TSDB retention updated" duration=15d size=0B percentage=0Изменить срок можно флагом --storage.tsdb.retention.time, например 30d, или ограничить размером — --storage.tsdb.retention.size. Будь осторожен: флаги задаются через command, а он заменяет все параметры запуска образа, включая путь к prometheus.yml, — их придётся перечислить заново. Нам 15 дней хватит.
Шаг 9. Перезапуск после сбоя
Последнее свойство постоянных сервисов — подниматься самим. Строки restart в описании нет, а значит, действует политика по умолчанию — no: упавший процесс или перезагрузка машины оставят сбор метрик выключенным, и узнаешь ты об этом, когда графики понадобятся. Допиши всем трём сервисам строку, как у стенда.
restart: unless-stoppeddocker compose up -d[+] Running 3/3 ✔ Container monitoring-cadvisor-1 Recreated ✔ Container monitoring-node-exporter-1 Recreated ✔ Container monitoring-prometheus-1 Recreated
Сверь итоговый файл. Начало — Prometheus:
name: monitoring services: prometheus: image: prom/prometheus:v3.14.0 ports: - "127.0.0.1:9090:9090" volumes: - ./prometheus:/etc/prometheus:ro - prom-data:/prometheus restart: unless-stopped
Экспортёр машины:
node-exporter: image: prom/node-exporter:v1.8.2 pid: host volumes: - /:/host:ro,rslave command: - --path.rootfs=/host restart: unless-stopped
Дальше — экспортёр контейнеров и том:
cadvisor: image: gcr.io/cadvisor/cadvisor:v0.49.1 privileged: true volumes: - /:/rootfs:ro - /var/run:/var/run:ro - /sys:/sys:ro - /var/lib/docker/:/var/lib/docker:ro restart: unless-stopped volumes: prom-data:
Шаг 10. Уронить цель
Посмотрим, как выглядит авария глазами Prometheus. Останови cAdvisor:
docker compose stop cadvisor ✔ Container monitoring-cadvisor-1 StoppedПодожди полминуты — два интервала опроса — и обнови страницу Targets. У цели cadvisor будет DOWN, а в колонке Error — причина:
Get "http://cadvisor:8080/metrics": dial tcp: lookup cadvisor on 127.0.0.11:53: server misbehavingКонтейнера нет, и имя cadvisor больше не находится во встроенном DNS Docker. Запрос up в браузере покажет у этой цели 0, у остальных 1. Верни цель на место:
docker compose start cadvisor ✔ Container monitoring-cadvisor-1 StartedЧерез полминуты она снова UP. Именно на up == 0 мы позже повесим первое оповещение.
Шаг 11. В репозиторий
Описание сбора — такая же часть инфраструктуры, как стенд. Сохрани его в Git. Флаг -C заставляет Git работать в указанном каталоге, где бы ты ни стоял.
git -C ~/infra add monitoringgit -C ~/infra commit -m "monitoring: prometheus"Данные Prometheus лежат в томе, а не в каталоге, поэтому в Git попадают только настройки.
Что дальше
Числа собираются. В следующем уроке научимся задавать по ним вопросы на языке PromQL.