Provision
—— XP

Практика: Prometheus и экспортёры на Compose

практика~25 минут+475 XP

В прошлом уроке Prometheus был картинкой. Сейчас он станет тремя контейнерами на твоём стенде: сам Prometheus и два экспортёра — node-exporter для машины и cAdvisor для контейнеров.

Всё описываем в Compose, как стенд из раздела 08: так сбор метрик лежит в репозитории и поднимается одной командой. Начнём с одного Prometheus, который опрашивает сам себя, и будем добавлять по одному сервису, каждый раз проверяя список целей. Готовый полный пример похожей связки есть в открытом репозитории dockprom — заглядывай туда, если запутаешься в отступах.

Шаг 1. Каталог

Метрики живут отдельно от стенда, в своём каталоге рядом с ним. Флаг -p у mkdir создаёт и вложенный каталог, и все промежуточные.

ubuntu@stand:~$
mkdir -p ~/infra/monitoring/prometheus
ubuntu@stand:~$
cd ~/infra/monitoring

Обе команды молчат, если всё прошло хорошо.

Шаг 2. Кого опрашивать

Prometheus сам ходит к целям за метриками, и список целей задаётся в его файле настроек. Начнём с одной цели — самого Prometheus: он тоже отдаёт метрики о себе, и так видно, если он сам начал тормозить.

nano ~/infra/monitoring/prometheus/prometheus.yml
global:
  scrape_interval: 15s

scrape_configs:
  - job_name: prometheus
    static_configs:
      - targets: ["localhost:9090"]

scrape_interval — как часто опрашивать цели; по умолчанию раз в минуту, для учебного стенда это слишком редко. job_name — имя группы целей, оно станет меткой job у каждой метрики. targets — адреса, где цель отдаёт метрики.

Шаг 3. Prometheus в описании

Открой файл compose.yaml в этом каталоге и впиши первый сервис.

nano ~/infra/monitoring/compose.yaml
name: monitoring

services:
  prometheus:
    image: prom/prometheus:v3.14.0
    ports:
      - "127.0.0.1:9090:9090"
    volumes:
      - ./prometheus:/etc/prometheus:ro

Порт опубликован только на 127.0.0.1: страница Prometheus без пароля, и наружу её не открывают. Каталог с настройками монтируется туда, где образ ищет prometheus.yml, а ro значит «только чтение». Сначала проверим, что Compose понимает файл. Флаг --quiet просит ничего не печатать, если ошибок нет.

ubuntu@stand:~$
docker compose config --quiet

Пустой вывод — хороший знак. Ошибка отступа выглядит так: yaml: line 12: did not find expected key, и номер строки подскажет, где искать. Запускаем.

ubuntu@stand:~$
docker compose up -d
ubuntu@stand:~$
[+] Running 2/2
 ✔ Network monitoring_default             Created
 ✔ Container monitoring-prometheus-1      Started

Prometheus умеет сказать, что здоров:

ubuntu@stand:~$
curl -s localhost:9090/-/healthy
ubuntu@stand:~$
Prometheus Server is Healthy.

Шаг 4. Список целей

Это главная проверка любого сбора: видит ли Prometheus то, что должен. Адрес будем набирать часто, поэтому сохраним его в переменной шелла P — дальше она подставится вместо $P.

ubuntu@stand:~$
P=localhost:9090

Флаг -o у grep печатает только совпавший кусок, а не всю огромную строку ответа.

ubuntu@stand:~$
curl -s $P/api/v1/targets | grep -o 'health":"[a-z]*'
ubuntu@stand:~$
health":"up

Одна цель, up. Глазами удобнее смотреть в браузере. Стенд у тебя на виртуалке, поэтому сначала пробрось порт с неё на свой компьютер — в отдельном окне терминала, на своей машине. Флаг -L у ssh означает «локальный порт 9090 веди на порт 9090 там».

ubuntu@stand:~$
ssh -L 9090:localhost:9090 stand

stand — имя стенда из твоего ~/.ssh/config, у тебя оно может быть другим. Пока это окно открыто, адрес http://localhost:9090/targets в браузере показывает страницу целей стенда.

Страница Targets в Prometheus у сбора побольше: четыре цели, три в состоянии UP, у экспортёра базы DOWN с ошибкой connection refused.
Так страница выглядит, когда целей больше; у тебя сейчас одна. У упавшей цели причина написана прямо в списке — это первое место, куда смотрят при настройке сбора.

Шаг 5. Экспортёр машины

Prometheus собирает только то, что ему отдают. Метрики машины — процессор, память, диски — отдаёт node-exporter. Добавь его в compose.yaml, ниже Prometheus, в самом простом виде.

в compose.yaml, раздел services
  node-exporter:
    image: prom/node-exporter:v1.8.2

И новую цель в prometheus.yml, в конец списка scrape_configs:

в prometheus.yml, в конец
  - job_name: node
    static_configs:
      - targets: ["node-exporter:9100"]

Адрес — имя сервиса Compose, а не IP: внутри одной сети Compose сам превращает имя в адрес, мы разбирали это в разделе 08. Поднимаем новый сервис. Сам Prometheus изменения в своём файле не замечает — его надо перезапустить.

ubuntu@stand:~$
docker compose up -d
ubuntu@stand:~$
 ✔ Container monitoring-node-exporter-1  Started
ubuntu@stand:~$
docker compose restart prometheus
ubuntu@stand:~$
 ✔ Container monitoring-prometheus-1  Started

Через полминуты в списке целей их две, обе up. Теперь проверим, что экспортёр рассказывает правду. Флаг -h у df печатает размеры в понятных единицах.

ubuntu@stand:~$
df -h /
ubuntu@stand:~$
Filesystem                         Size  Used Avail Use% Mounted on
/dev/mapper/ubuntu--vg-ubuntu--lv  915G  360G  518G  41% /

У тебя размеры и имя диска будут свои. Запомни колонку Avail. Теперь в браузере, на вкладке Query, выполни запрос node_filesystem_avail_bytes — свободное место по всем дискам, которые видит экспортёр.

результат запроса, сокращён
node_filesystem_avail_bytes{mountpoint="/etc/hostname", ...}     555182448640
node_filesystem_avail_bytes{mountpoint="/etc/hosts", ...}        555182448640
node_filesystem_avail_bytes{mountpoint="/etc/resolv.conf", ...}  555182448640

Корня / среди них нет вовсе, а точки монтирования — /etc/hostname, /etc/hosts: это файлы, которые Docker подкладывает в контейнер. Экспортёр честно описал машину, которую видит, — свой контейнер. Числа при этом выглядят правдоподобно, и в этом коварство: на графике ошибку не заметишь.

Экспортёру нужно смотреть на настоящую машину. Допиши к его сервису:

в compose.yaml, у сервиса node-exporter
    pid: host
    volumes:
      - /:/host:ro,rslave
    command:
      - --path.rootfs=/host

pid: host показывает ему процессы хоста, а не контейнера. Корень машины монтируется внутрь как /host только на чтение; rslave нужен, чтобы диски, подключённые к машине позже, тоже стали видны. Параметр --path.rootfs говорит экспортёру читать диски оттуда.

ubuntu@stand:~$
docker compose up -d
ubuntu@stand:~$
 ✔ Container monitoring-node-exporter-1  Started

Повтори запрос, теперь с меткой: node_filesystem_avail_bytes{mountpoint="/"}.

результат запроса
node_filesystem_avail_bytes{device="/dev/mapper/ubuntu--vg-ubuntu--lv", mountpoint="/", ...}  555182395392

Тот же диск, что у df, и 555 миллиардов байт — те же 518 «гигабайт» из df: он считает в гибибайтах, по 1024³ байта. Совпало — экспортёр видит настоящий диск. Проверка «число в метрике против команды на машине» — привычка, которая спасает от красивых, но ложных графиков.

Шаг 6. Экспортёр контейнеров

Сколько ест каждый контейнер, node-exporter не знает. Это умеет cAdvisor от Google: он читает служебные каталоги Docker. Ему сразу нужен доступ к ним, без него он не работает вовсе, поэтому блок полный.

в compose.yaml, раздел services
  cadvisor:
    image: gcr.io/cadvisor/cadvisor:v0.49.1
    privileged: true
    volumes:
      - /:/rootfs:ro
      - /var/run:/var/run:ro
      - /sys:/sys:ro
      - /var/lib/docker/:/var/lib/docker:ro

privileged: true даёт контейнеру доступ к устройствам хоста — cAdvisor без этого не видит часть счётчиков. Это тот редкий случай, когда так делают сознательно; своим приложениям этот флаг не ставят никогда.

Обрати внимание на /var/run: там лежит сокет Docker, через который cAdvisor спрашивает про контейнеры. Пометка ro здесь ничего не защищает: она запрещает менять сам файл сокета, но через сокет можно отдать Docker любую команду, вплоть до запуска нового контейнера с доступом ко всей машине. Доступ к сокету Docker равен правам root, поэтому его дают только программам, которым доверяют, как этому экспортёру от Google.

Третья цель — в конец prometheus.yml:

в prometheus.yml, в конец
  - job_name: cadvisor
    static_configs:
      - targets: ["cadvisor:8080"]
ubuntu@stand:~$
docker compose up -d
ubuntu@stand:~$
 ✔ Container monitoring-cadvisor-1  Started
ubuntu@stand:~$
docker compose restart prometheus
ubuntu@stand:~$
 ✔ Container monitoring-prometheus-1  Started

Через полминуты:

ubuntu@stand:~$
curl -s $P/api/v1/targets | grep -o 'health":"[a-z]*'
ubuntu@stand:~$
health":"up
health":"up
health":"up

Три цели, все up.

Шаг 7. Первая метрика

Спросим у Prometheus одно число — нагрузку машины за минуту. Кавычки вокруг адреса нужны, чтобы шелл не принял ? за свой спецсимвол.

ubuntu@stand:~$
curl -s "$P/api/v1/query?query=node_load1"
ubuntu@stand:~$
{"status":"success","data":{"resultType":"vector","result":[{"metric":{"__name__":"node_load1","instance":"node-exporter:9100","job":"node"},"value":[1792754237.265,"1.44"]}]}}

Читать так: status — запрос удался; в metric имя и метки, среди них job из настроек; в value время (секунды с 1970 года) и само значение, 1.44. Дальше такие запросы будем писать в браузере — это то же самое, только читается легче.

Шаг 8. История пропадает

Prometheus хранит всё, что собрал, и по этой истории строятся графики. Узнаем, сколько замеров о себе он уже накопил: запрос count_over_time(up{job="prometheus"}[1h]) в браузере считает их за последний час.

результат запроса
{instance="localhost:9090", job="prometheus"}  10

Десять замеров — две с половиной минуты работы. Теперь снимем стек и поднимем заново, как при любом обновлении.

ubuntu@stand:~$
docker compose down
ubuntu@stand:~$
[+] Running 4/4
 ✔ Container monitoring-cadvisor-1       Removed
 ✔ Container monitoring-node-exporter-1  Removed
 ✔ Container monitoring-prometheus-1     Removed
 ✔ Network monitoring_default            Removed
ubuntu@stand:~$
docker compose up -d
ubuntu@stand:~$
[+] Running 4/4
 ✔ Network monitoring_default            Created
 ✔ Container monitoring-cadvisor-1       Started
 ✔ Container monitoring-node-exporter-1  Started
 ✔ Container monitoring-prometheus-1     Started

Тот же запрос через полминуты:

результат запроса
{instance="localhost:9090", job="prometheus"}  1

История пропала. Ты уже встречал это в разделе про базы: образ объявляет каталог данных /prometheus томом, и каждый новый контейнер получает новый безымянный том. Лекарство то же — именованный том. Допиши Prometheus второе монтирование, а в самый низ файла — раздел volumes.

в compose.yaml, у сервиса prometheus, в volumes
      - prom-data:/prometheus
в compose.yaml, в самый низ, без отступа
volumes:
  prom-data:
ubuntu@stand:~$
docker compose up -d
ubuntu@stand:~$
 ✔ Volume monitoring_prom-data         Created
 ✔ Container monitoring-prometheus-1   Recreated

Теперь после down и up счётчик замеров продолжит расти, а не начнётся с единицы. Сколько хранить, Prometheus решает сам: по умолчанию 15 дней, это видно в его журнале.

ubuntu@stand:~$
docker compose logs prometheus | grep retention
ubuntu@stand:~$
prometheus-1  | msg="TSDB retention updated" duration=15d size=0B percentage=0

Изменить срок можно флагом --storage.tsdb.retention.time, например 30d, или ограничить размером — --storage.tsdb.retention.size. Будь осторожен: флаги задаются через command, а он заменяет все параметры запуска образа, включая путь к prometheus.yml, — их придётся перечислить заново. Нам 15 дней хватит.

Шаг 9. Перезапуск после сбоя

Последнее свойство постоянных сервисов — подниматься самим. Строки restart в описании нет, а значит, действует политика по умолчанию — no: упавший процесс или перезагрузка машины оставят сбор метрик выключенным, и узнаешь ты об этом, когда графики понадобятся. Допиши всем трём сервисам строку, как у стенда.

в compose.yaml, у каждого из трёх сервисов
    restart: unless-stopped
ubuntu@stand:~$
docker compose up -d
ubuntu@stand:~$
[+] Running 3/3
 ✔ Container monitoring-cadvisor-1       Recreated
 ✔ Container monitoring-node-exporter-1  Recreated
 ✔ Container monitoring-prometheus-1     Recreated

Сверь итоговый файл. Начало — Prometheus:

~/infra/monitoring/compose.yaml, начало
name: monitoring

services:
  prometheus:
    image: prom/prometheus:v3.14.0
    ports:
      - "127.0.0.1:9090:9090"
    volumes:
      - ./prometheus:/etc/prometheus:ro
      - prom-data:/prometheus
    restart: unless-stopped

Экспортёр машины:

~/infra/monitoring/compose.yaml, середина
  node-exporter:
    image: prom/node-exporter:v1.8.2
    pid: host
    volumes:
      - /:/host:ro,rslave
    command:
      - --path.rootfs=/host
    restart: unless-stopped

Дальше — экспортёр контейнеров и том:

~/infra/monitoring/compose.yaml, конец
  cadvisor:
    image: gcr.io/cadvisor/cadvisor:v0.49.1
    privileged: true
    volumes:
      - /:/rootfs:ro
      - /var/run:/var/run:ro
      - /sys:/sys:ro
      - /var/lib/docker/:/var/lib/docker:ro
    restart: unless-stopped

volumes:
  prom-data:

Шаг 10. Уронить цель

Посмотрим, как выглядит авария глазами Prometheus. Останови cAdvisor:

ubuntu@stand:~$
docker compose stop cadvisor
ubuntu@stand:~$
 ✔ Container monitoring-cadvisor-1  Stopped

Подожди полминуты — два интервала опроса — и обнови страницу Targets. У цели cadvisor будет DOWN, а в колонке Error — причина:

страница Targets, колонка Error
Get "http://cadvisor:8080/metrics": dial tcp: lookup cadvisor on 127.0.0.11:53: server misbehaving

Контейнера нет, и имя cadvisor больше не находится во встроенном DNS Docker. Запрос up в браузере покажет у этой цели 0, у остальных 1. Верни цель на место:

ubuntu@stand:~$
docker compose start cadvisor
ubuntu@stand:~$
 ✔ Container monitoring-cadvisor-1  Started

Через полминуты она снова UP. Именно на up == 0 мы позже повесим первое оповещение.

Шаг 11. В репозиторий

Описание сбора — такая же часть инфраструктуры, как стенд. Сохрани его в Git. Флаг -C заставляет Git работать в указанном каталоге, где бы ты ни стоял.

ubuntu@stand:~$
git -C ~/infra add monitoring
ubuntu@stand:~$
git -C ~/infra commit -m "monitoring: prometheus"

Данные Prometheus лежат в томе, а не в каталоге, поэтому в Git попадают только настройки.

Что дальше

Числа собираются. В следующем уроке научимся задавать по ним вопросы на языке PromQL.

Практика 01+475 XP

Поднять сбор метрик на Compose и научиться первым делом смотреть список целей.

  • Prometheus работает
  • Оба экспортёра работают
  • Все три цели живы
  • Метрики машины собираются
Команда сдачи — выполни на своей машине
команда
cd ~/infra/monitoring && docker compose ps --format '{{.Service}} {{.State}}'; curl -s localhost:9090/api/v1/targets | grep -o 'health":"[a-z]*'; curl -s 'localhost:9090/api/v1/query?query=node_load1' | grep -o 'node_load1' | head -1

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.