Prometheus собирает числа, но смотреть на них через строку запроса неудобно. Сейчас добавим к нему Grafana и за двадцать минут получим два больших дашборда, которые другие инженеры собирали неделями.
Работаем в том же каталоге ~/infra/monitoring и в том же compose.yaml: Grafana станет четвёртым сервисом, и адрес Prometheus она найдёт по имени.
Шаг 1. Grafana в описании
Работаем в каталоге стенда мониторинга из практики про Prometheus.
cd ~/infra/monitoringДобавь сервис в compose.yaml, ниже cAdvisor и выше раздела volumes. Начнём с минимума: образ и порт.
grafana: image: grafana/grafana:12.4.0 ports: - "127.0.0.1:3000:3000" restart: unless-stopped
Шаг 2. Поднять
Compose поднимет только то, что изменилось, — остальные контейнеры не тронет.
docker compose up -d[+] Running 2/2 ✔ Container monitoring-prometheus-1 Running ✔ Container monitoring-grafana-1 Started
Строка Running у Prometheus значит «уже работал, не трогал». Grafana при первом старте готовит свою базу, это занимает до полуминуты. Проверим, что она ответила:
curl -s localhost:3000/api/health{ "database": "ok", "version": "12.4.0", "commit": "d1729c53a7f44e2e58947eb44eb896c2fb1c30b3" }
database: ok — её внутренняя база в порядке. Если вместо ответа Connection refused, подожди ещё немного или посмотри docker compose logs grafana.
Шаг 3. Войти
Пробрасываем порт 3000 со стенда так же, как 9090 для Prometheus. Команда на твоей машине, флаг -L — локальный порт ведёт на порт стенда.
ssh -L 3000:localhost:3000 standОткрой http://localhost:3000 и войди как admin с паролем admin — таким его ставит образ. Grafana сразу предложит сменить пароль; нажми Skip, пароль зададим файлом в шаге 7. Домашняя страница пустая: Grafana пока не знает, откуда брать данные.
Шаг 4. Источник данных мышкой
Меню Connections → Data sources → Add data source → Prometheus. В поле Prometheus server URL впиши http://localhost:9090 — так ты открываешь Prometheus в браузере — и внизу нажми Save & test.
Post "http://localhost:9090/api/v1/query": dial tcp [::1]:9090: connect: connection refused - There was an error returned querying the Prometheus API.Ошибка, которую делают почти все. Запрос идёт не из твоего браузера, а из контейнера Grafana, и localhost для него — сам контейнер Grafana, где Prometheus нет. Нужно имя сервиса в сети Compose: исправь адрес на http://prometheus:9090 и снова Save & test.
Successfully queried the Prometheus API.Шаг 5. Настройки пропадают
Пересоздадим стек, как при любом обновлении.
docker compose down[+] Running 5/5 ✔ Container monitoring-grafana-1 Removed ✔ Container monitoring-cadvisor-1 Removed ✔ Container monitoring-node-exporter-1 Removed ✔ Container monitoring-prometheus-1 Removed ✔ Network monitoring_default Removed
docker compose up -d[+] Running 5/5 ✔ Network monitoring_default Created ✔ Container monitoring-cadvisor-1 Started ✔ Container monitoring-node-exporter-1 Started ✔ Container monitoring-prometheus-1 Started ✔ Container monitoring-grafana-1 Started
Обнови страницу Data sources — список пуст, источника нет. Пароль снова admin. Grafana хранит всё — пользователей, источники, дашборды — в своей базе внутри каталога /var/lib/grafana. Образ, в отличие от Postgres и Prometheus, не объявляет этот каталог томом, поэтому база жила прямо в контейнере и ушла вместе с ним. Именованный том — допиши сервису:
volumes: - grafana-data:/var/lib/grafana
И объяви том в самом низу файла:
volumes: prom-data: grafana-data:
Подними стек: docker compose up -d. Теперь база переживёт пересоздание.
Шаг 6. Источник данных файлом
Источник, заведённый мышкой, живёт только в базе Grafana: в Git его нет, и на новой машине его придётся заводить заново, вспоминая адрес. Поэтому источники описывают файлом — Grafana при старте читает папку provisioning и подключает всё, что там описано. Флаг -p создаёт все уровни папок сразу.
mkdir -p grafana/provisioning/datasourcesapiVersion: 1 datasources: - name: Prometheus type: prometheus url: http://prometheus:9090 isDefault: true
Тот же адрес, что ты подобрал мышкой. Подключи папку к контейнеру — второй строкой в volumes сервиса, только на чтение:
- ./grafana/provisioning:/etc/grafana/provisioning:roШаг 7. Пароль отдельно
Пароль admin годится на пять минут. Пароль администратора не пишем в compose.yaml — он уйдёт в Git. Кладём его в тот же файл .env, где с прошлой практики лежит пароль базы; Compose читает его сам. Случайный пароль из латиницы и цифр даст уже знакомая команда:
openssl rand -hex 129b41c07e5fd2a836e1c4b0d7У тебя строка будет своя. Допиши её в .env второй строкой:
DB_PASSWORD=3f9c1e7a52b04d8e9a61c0f2b7d34e15 GRAFANA_PASSWORD=9b41c07e5fd2a836e1c4b0d7
Убедись, что Git этот файл не видит: строку .env в .gitignore мы добавили в прошлой практике.
cat .gitignore.envВ сервис — переменная, которая задаёт пароль пользователя admin:
environment: GF_SECURITY_ADMIN_PASSWORD: ${GRAFANA_PASSWORD}
Примени docker compose up -d и попробуй войти — пароль по-прежнему admin. Переменная срабатывает только при первом запуске, пока в томе нет базы Grafana, а база уже создана в шаге 5. Том придётся создать заново. Это безопасно: источник теперь описан файлом, а дашбордов ещё нет.
docker compose down[+] Running 5/5 ✔ Container monitoring-grafana-1 Removed ✔ Container monitoring-cadvisor-1 Removed ✔ Container monitoring-node-exporter-1 Removed ✔ Container monitoring-prometheus-1 Removed ✔ Network monitoring_default Removed
docker volume rm monitoring_grafana-datamonitoring_grafana-datadocker compose up -d[+] Running 6/6 ✔ Network monitoring_default Created ✔ Volume monitoring_grafana-data Created ✔ Container monitoring-cadvisor-1 Started ✔ Container monitoring-node-exporter-1 Started ✔ Container monitoring-prometheus-1 Started ✔ Container monitoring-grafana-1 Started
Теперь вход — с паролем из .env, а admin/admin получит отказ. Сменить пароль позже можно в интерфейсе, в профиле пользователя, — и тогда обнови его в .env, иначе проверка при сдаче получит отказ 401.
Шаг 8. Источник на месте
Открой Connections → Data sources. Prometheus уже в списке — его создала Grafana из файла, руками заводить не нужно. Источник из файла помечен как управляемый настройками: менять его в интерфейсе нельзя, только правкой файла. Внизу его страницы нажми Test — ответ Successfully queried the Prometheus API.
Шаг 9. Дашборд машины
Меню Dashboards → New → Import. В поле «Find and import dashboards» впиши 1860 и нажми Load. Внизу выбери источник Prometheus и нажми Import.
Если кнопка Load отвечает ошибкой, у Grafana нет выхода на grafana.com — так бывает в сетях за прокси. Тогда на своей машине открой страницу дашборда 1860, нажми Download JSON и загрузи файл в том же окне кнопкой Upload dashboard JSON file.
Откроется Node Exporter Full. Сверху блок Quick CPU / Mem / Disk — те же числа, что ты набирал запросами в прошлой практике, только уже готовыми. Сверь занятое место с df -h /: панель покажет на 3–5 пунктов больше. Это не ошибка — дашборд делит на полный размер диска, а df не считает запас для root, как мы видели в практике про запросы.
Шаг 10. Дашборд контейнеров
Так же импортируй номер 14282 — дашборд Cadvisor exporter. Здесь каждый контейнер стенда отдельной линией: процессор, память, сеть.
Проверим его в деле. Запусти уже знакомую нагрузку:
docker run -d --name burn alpine md5sum /dev/zero 4f1a7b2c9e3d5f8a1b4c7e9d2f5a8c1e3b6d9f2a5c8e1b4d7f9a2c5e8b1d4f7a
Через минуту на панели CPU Usage появится линия burn, которая уходит вверх. Найти виновника на графике — дело секунды, без единого запроса.
Шаг 11. Убрать нагрузку
Не забудь остановить контейнер, флаг -f останавливает и удаляет сразу.
docker rm -f burn burn
Шаг 12. Своя панель: ошибки
Готовые дашборды знают машину и контейнеры, но не знают твой стенд. Панель с метриками прокси из прошлой практики соберём сами — это пять минут и навык, который нужен каждую неделю.
Меню Dashboards → New → New dashboard → Add visualization, источник Prometheus. Внизу, в поле запроса, переключи режим с Builder на Code и вставь долю ошибок из отчёта red.txt:
sum(rate(stand_http_response_count_total{status=~"5.."}[5m])) / sum(rate(stand_http_response_count_total[5m]))
Справа три настройки. Title — «Доля ошибок». Standard options → Unit — Percent (0.0-1.0): Grafana сама покажет 0.09 как 9%. Thresholds — порог 0.05 красным: выше пяти процентов линия станет красной. Если в окне ошибок не было, график пустой — повтори шаг 9 прошлой практики и подожди минуту.
Шаг 13. Вторая панель и сохранение
Кнопка Back to dashboard, потом Add → Visualization — вторая панель. Запрос — p95 из отчёта, Title «p95 ответа», Unit — seconds (s). Под запросом в поле Legend выбери Custom и впиши p95, иначе подпись будет длинным запросом.
Сохрани дашборд кнопкой Save dashboard вверху справа, имя — Стенд RED. Две панели, ошибки и задержка, — то, что дежурный открывает первым. Трафик добавь третьей панелью сам: запрос Rate из того же отчёта.
Дашборд живёт в базе Grafana, в томе. Чтобы он хранился в Git, его выгружают кнопкой Export → Export as JSON и кладут файлом в provisioning, как источник данных, — это следующий шаг, когда дашбордов станет много.
Шаг 14. В репозиторий
Сохраняем настройки Grafana. Флаг --short у git status показывает изменения коротко, по строке на файл.
cd ~/infragit status --short M monitoring/compose.yaml ?? monitoring/grafana/
Обрати внимание, чего в списке нет: .env. Значит, .gitignore работает, и пароль останется только на стенде. Дальше — обычные git add monitoring и git commit.
Что дальше
Теперь стенд видно. Но смотреть на графики круглые сутки никто не будет — в следующем уроке научим Prometheus самому звать на помощь.