Provision
—— XP

Grafana и готовые дашборды

теория~6 минут+190 XP

До сих пор ты смотрел на метрики по одному запросу во вкладке Query. Для проверки догадки этого хватает, а когда ночью пришло оповещение и за минуту надо понять, что с машиной, нужен один экран, где сразу видно процессор, память, диск и ошибки. Такой экран собирают в Grafana — программе, которая превращает числа в графики за последний час, сутки или неделю.

Её написал в 2014 году шведский разработчик Торкель Эдегор, и сейчас вокруг неё выросла целая компания Grafana Labs. Grafana стоит почти везде, где стоит Prometheus: вместе они — самая частая связка мониторинга в вакансиях. Важно понять с первого урока: сама Grafana ничего не хранит, как телевизор, который показывает то, что приходит по кабелю. Каждая панель при открытии спрашивает число у источника данных и рисует ответ. Поэтому она не заменяет Prometheus, а дополняет его — и поэтому одна Grafana умеет показывать на одном экране и метрики, и логи из следующего раздела.

Из чего состоит

В Grafana четыре понятия, и все они встретятся в первый же день.

Четыре понятия Grafana
Источник данных
Подключение к хранилищу: «Prometheus по адресу http://prometheus:9090». Без него панелям нечего спрашивать.
Дашборд
Страница с панелями — например, «Машина» или «Сервис стенда».
Панель
Один график или одно число. Внутри — запрос PromQL, такой же, как ты набирал в браузере Prometheus.
Переменная
Выпадающий список сверху дашборда: выбрал сервер — все панели перерисовались под него.

Связь между ними простая: дашборд состоит из панелей, каждая панель отправляет свой запрос в источник. Если панель пустая, первым делом проверяют источник и сам запрос — вставь его на вкладке Query у Prometheus и посмотри, есть ли ответ.

Собирать такие панели с нуля под каждую программу — работа на дни, и делать её почти никогда не приходится.

Готовые дашборды по номеру

На сайте grafana.com/grafana/dashboards лежат тысячи дашбордов, которые сделали и выложили другие инженеры. У каждого есть номер. Ставится такой дашборд за минуту: меню Dashboards → New → Import, вписать номер, выбрать источник.

НомерНазваниеЧто показывает
1860Node Exporter Fullмашину целиком: процессор, память, диски, сеть
14282Cadvisor exporterконтейнеры: процессор, память и сеть каждого
13639Logs / Appлоги из Loki — понадобится в следующем разделе

Возьмём первую строку. Node Exporter Full — один из самых скачиваемых дашбордов на сайте: десятки панелей по метрикам node-exporter, сгруппированные по разделам. Собирать такое руками — день работы, а импорт занимает минуту.

Учти одну вещь: готовый дашборд сделан под чужую версию экспортёра. Бывает, что часть панелей пустая, потому что метрику с тех пор переименовали. Это не поломка стенда — открой панель, посмотри запрос, и станет видно, какой метрики не хватает.

Когда разберёшься, что тебе на самом деле нужно, захочется собрать и свой дашборд. Для этого есть простое правило.

Свой дашборд: четыре панели

Готовые дашборды показывают всё, и в аварии в них трудно найти главное. Поэтому для своего сервиса делают короткий дашборд — те самые четыре золотых сигнала из первого урока.

Дашборд Grafana: четыре панели — задержка, трафик, доля ошибок и насыщение. У задержки и ошибок виден всплеск в одно и то же время.
Главный дашборд сервиса читается за десять секунд, потому что панелей четыре, а не сорок.

Задержка, трафик, ошибки, насыщение — по панели на каждый. Видно, что всплеск у задержки и ошибок совпал по времени: это одна авария, а не две. Такой дашборд проверяют простым вопросом: поймёт ли его дежурный за десять секунд, разбуженный ночью.

Только всё это собрано мышкой и живёт внутри контейнера: пересоздашь его без тома — и источники с дашбордами придётся настраивать заново.

Настройки из файлов

Всё, что создано мышкой, Grafana хранит в своей маленькой базе внутри контейнера. Удалишь том — пропадут и источники, и дашборды. Поэтому источник данных описывают файлом, который Grafana читает при старте; это называется provisioning — подготовка при запуске.

grafana/provisioning/datasources/prometheus.yml
apiVersion: 1
datasources:
  - name: Prometheus
    type: prometheus
    url: http://prometheus:9090
    isDefault: true

Пять смысловых строк: имя, тип, адрес и «использовать по умолчанию». Адрес — имя сервиса Compose, как в целях Prometheus. Дашборды подкладываются тем же способом: экспорт в JSON-файл, файл в репозиторий. Здесь достаточно знать, что так можно; подробности — в документации Grafana про provisioning.

Словарь урока

Источник данных
Подключение Grafana к хранилищу: тип, адрес, способ входа. ↩ к тексту
Дашборд
Страница с панелями графиков. ↩ к тексту
Панель
Один график или число; внутри — запрос к источнику. ↩ к тексту
Provisioning
Подготовка при запуске: Grafana читает источники и дашборды из файлов. ↩ к тексту

Что спросят на собеседовании

  • Хранит ли Grafana метрики?
    Нет. Она ходит в источник данных при каждом открытии панели. Хранит только настройки и дашборды.
  • Как перенести Grafana на другую машину без ручной настройки?
    Источники и дашборды описать файлами provisioning и держать в репозитории; новая Grafana подхватит их при старте.
  • Что положишь на главный дашборд сервиса?
    Четыре золотых сигнала: задержку, трафик, долю ошибок и насыщение. Подробности — на отдельных дашбордах.

Что дальше

В практике поднимем Grafana рядом с Prometheus, подключим источник файлом, поставим два готовых дашборда и соберём свой — с ошибками и задержкой стенда.

Проверь себя+190 XPдве попытки
1
Что делает Grafana
Где Grafana хранит метрики, которые показывает?
2
Из чего состоит
Что такое источник данных в Grafana?
3
Готовые дашборды
Как поставить дашборд Node Exporter Full?
4
Настройки из файлов
Зачем источник данных описывают файлом, а не создают мышкой?
ответь на все вопросы, чтобы проверить

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.