До сих пор ты смотрел на метрики по одному запросу во вкладке Query. Для проверки догадки этого хватает, а когда ночью пришло оповещение и за минуту надо понять, что с машиной, нужен один экран, где сразу видно процессор, память, диск и ошибки. Такой экран собирают в Grafana — программе, которая превращает числа в графики за последний час, сутки или неделю.
Её написал в 2014 году шведский разработчик Торкель Эдегор, и сейчас вокруг неё выросла целая компания Grafana Labs. Grafana стоит почти везде, где стоит Prometheus: вместе они — самая частая связка мониторинга в вакансиях. Важно понять с первого урока: сама Grafana ничего не хранит, как телевизор, который показывает то, что приходит по кабелю. Каждая панель при открытии спрашивает число у источника данных и рисует ответ. Поэтому она не заменяет Prometheus, а дополняет его — и поэтому одна Grafana умеет показывать на одном экране и метрики, и логи из следующего раздела.
Из чего состоит
В Grafana четыре понятия, и все они встретятся в первый же день.
Связь между ними простая: дашборд состоит из панелей, каждая панель отправляет свой запрос в источник. Если панель пустая, первым делом проверяют источник и сам запрос — вставь его на вкладке Query у Prometheus и посмотри, есть ли ответ.
Собирать такие панели с нуля под каждую программу — работа на дни, и делать её почти никогда не приходится.
Готовые дашборды по номеру
На сайте grafana.com/grafana/dashboards лежат тысячи дашбордов, которые сделали и выложили другие инженеры. У каждого есть номер. Ставится такой дашборд за минуту: меню Dashboards → New → Import, вписать номер, выбрать источник.
| Номер | Название | Что показывает |
|---|---|---|
| 1860 | Node Exporter Full | машину целиком: процессор, память, диски, сеть |
| 14282 | Cadvisor exporter | контейнеры: процессор, память и сеть каждого |
| 13639 | Logs / App | логи из Loki — понадобится в следующем разделе |
Возьмём первую строку. Node Exporter Full — один из самых скачиваемых дашбордов на сайте: десятки панелей по метрикам node-exporter, сгруппированные по разделам. Собирать такое руками — день работы, а импорт занимает минуту.
Учти одну вещь: готовый дашборд сделан под чужую версию экспортёра. Бывает, что часть панелей пустая, потому что метрику с тех пор переименовали. Это не поломка стенда — открой панель, посмотри запрос, и станет видно, какой метрики не хватает.
Когда разберёшься, что тебе на самом деле нужно, захочется собрать и свой дашборд. Для этого есть простое правило.
Свой дашборд: четыре панели
Готовые дашборды показывают всё, и в аварии в них трудно найти главное. Поэтому для своего сервиса делают короткий дашборд — те самые четыре золотых сигнала из первого урока.
Задержка, трафик, ошибки, насыщение — по панели на каждый. Видно, что всплеск у задержки и ошибок совпал по времени: это одна авария, а не две. Такой дашборд проверяют простым вопросом: поймёт ли его дежурный за десять секунд, разбуженный ночью.
Только всё это собрано мышкой и живёт внутри контейнера: пересоздашь его без тома — и источники с дашбордами придётся настраивать заново.
Настройки из файлов
Всё, что создано мышкой, Grafana хранит в своей маленькой базе внутри контейнера. Удалишь том — пропадут и источники, и дашборды. Поэтому источник данных описывают файлом, который Grafana читает при старте; это называется provisioning — подготовка при запуске.
apiVersion: 1 datasources: - name: Prometheus type: prometheus url: http://prometheus:9090 isDefault: true
Пять смысловых строк: имя, тип, адрес и «использовать по умолчанию». Адрес — имя сервиса Compose, как в целях Prometheus. Дашборды подкладываются тем же способом: экспорт в JSON-файл, файл в репозиторий. Здесь достаточно знать, что так можно; подробности — в документации Grafana про provisioning.
Словарь урока
Что спросят на собеседовании
- Хранит ли Grafana метрики?Нет. Она ходит в источник данных при каждом открытии панели. Хранит только настройки и дашборды.
- Как перенести Grafana на другую машину без ручной настройки?Источники и дашборды описать файлами provisioning и держать в репозитории; новая Grafana подхватит их при старте.
- Что положишь на главный дашборд сервиса?Четыре золотых сигнала: задержку, трафик, долю ошибок и насыщение. Подробности — на отдельных дашбордах.
Что дальше
В практике поднимем Grafana рядом с Prometheus, подключим источник файлом, поставим два готовых дашборда и соберём свой — с ошибками и задержкой стенда.