Этот урок открывает раздел про мониторинг — постоянное наблюдение за тем, как живёт твой стенд: отвечает ли сайт, сколько места осталось на диске, не растёт ли число ошибок. До сих пор ты узнавал о поломке, только когда сам открывал сайт и видел ошибку. В бою так не бывает: первыми о поломке узнают пользователи, а инженер — от них, и это самый дорогой способ узнать.
Датчик топлива и лампочка давления масла в машине ничего не чинят — они просто говорят заранее, что скоро будет плохо. Мониторинг делает для стенда то же самое, и в этом разделе мы соберём его из готовых программ: Prometheus будет собирать числа, Grafana — рисовать графики, а Alertmanager — присылать оповещение, когда что-то идёт не так: на работе в мессенджер, а на учебном стенде в маленький приёмник, где сообщение видно в журнале. Ими пользуется большинство компаний — от стартапов до крупных банков, — и на собеседовании про них спросят почти наверняка.
Мониторинг и наблюдаемость
Рядом со словом «мониторинг» ты часто встретишь слово наблюдаемость (по-английски observability). Их путают, хотя разница простая и практическая.
Мониторинг отвечает на вопросы, придуманные заранее: «сайт отвечает?», «диск заполнен больше чем на 90%?». Это как лампочки на приборной панели — их набор решили на заводе. Наблюдаемость — когда данных достаточно, чтобы задать новый вопрос прямо во время аварии: «почему тормозит только страница корзины и только с утра?». Это уже диагностический компьютер, подключённый к машине.
Джуну в первый месяц нужен в основном мониторинг: поставить сбор, повесить оповещения на известные поломки, открыть готовый дашборд. Наблюдаемость нарастает сама, когда сигналов становится больше. А сигналы бывают трёх видов.
Три вида сигналов
Всё, что система может рассказать о себе, укладывается в три вида данных. Они отвечают на разные вопросы, и брать надо тот, что подходит к вопросу.
| Сигнал | Что это | На какой вопрос отвечает |
|---|---|---|
| Метрики | числа во времени: запросов в секунду, свободное место | сломано ли и когда началось |
| Логи | записи о событиях: строка на каждый запрос | что именно случилось с этим запросом |
| Трассировка | путь одного запроса через все сервисы | в каком сервисе он застрял |
Посмотри на первую строку: метрика — самый дешёвый сигнал, одно число раз в пятнадцать секунд. Поэтому разбор почти всегда начинается с графика: он показывает, что сломалось и во сколько. Логи открывают уже потом, когда понятно, где искать, — им посвящён следующий раздел курса. Трассировка нужна, когда сервисов десятки, на нашем стенде её нет.
Метрик у любой системы сотни, и смотреть на все сразу бессмысленно. Есть четыре, с которых начинают.
Что смотреть первым
Инженеры Google в книге про надёжность (Site Reliability Engineering, 2016) предложили смотреть на сервис глазами пользователя. Получилось четыре показателя, их называют золотыми сигналами.
Обрати внимание, чего в списке нет: загрузки процессора. Процессор на 90% — это не проблема, пока пользователи получают быстрые ответы. Проблемой он становится, только когда растёт задержка или ошибки, и тогда это видно по ним.
Насыщение — самое полезное из четырёх: оно предупреждает заранее. Ошибки появляются, когда уже плохо, а заполненный на 85% диск говорит «через два дня будет плохо».
Четыре сигнала легко забыть в три часа ночи, особенно когда смотришь не на сервис, а на диск или процессор. Поэтому их свели в два коротких чек-листа.
USE и RED
Брендан Грегг, тогда инженер компании Joyent (позже он работал в Netflix), придумал чек-лист для железа и назвал его USE: для каждого ресурса (процессор, память, диск, сеть) проверить загрузку (Utilization), насыщение (Saturation) и ошибки (Errors). Том Уилки, тогда инженер Weaveworks (сейчас Grafana Labs), сделал похожий для сервисов — RED: частота запросов (Rate), ошибки (Errors), длительность (Duration).
Правило выбора простое: смотришь на машину — идёшь по USE, смотришь на сайт или API — по RED. RED мы соберём на своём стенде в практике про метрики приложения, а оба списка вернутся в разделе про отладку: по ним удобно искать узкое место, когда «всё тормозит» и непонятно, с чего начать.
Осталась одна ловушка, в которую попадают почти все, когда впервые смотрят на время ответа.
Почему среднее врёт
Допустим, сто запросов: девяносто девять отработали за 10 миллисекунд, один — за 10 секунд. Среднее получится около 110 миллисекунд, и график выглядит спокойно. А один человек из ста ждал десять секунд и закрыл вкладку.
Поэтому время ответа смотрят перцентилем. 95-й перцентиль (пишут p95) — это значение, быстрее которого отработали 95% запросов. Если p95 равен 300 мс, значит, 5% пользователей ждали дольше. Как перцентиль считается из метрик, разберём в уроке про язык запросов, а посчитаем его на живом стенде в практике про метрики приложения. Пока запомни: «среднее время ответа» на дашборде — повод насторожиться.
Словарь урока
Что спросят на собеседовании
- С каких показателей начнёшь мониторинг нового сервиса?С четырёх золотых сигналов: задержка, трафик, ошибки, насыщение. Для машин — USE, для сервисов — RED.
- Почему нельзя смотреть только загрузку процессора?Она не говорит о пользователе. Высокая загрузка при быстрых ответах — норма, а низкая не спасает от ошибок.
- Зачем нужны и метрики, и логи?Метрики показывают, что сломано и с какого момента. Логи объясняют, что именно произошло с конкретным запросом.
Что дальше
Что смотреть, понятно. В следующем уроке познакомимся с Prometheus — программой, которая эти числа собирает и хранит.