Provision
—— XP

Зачем мониторинг

теория~6 минут+190 XP

Этот урок открывает раздел про мониторинг — постоянное наблюдение за тем, как живёт твой стенд: отвечает ли сайт, сколько места осталось на диске, не растёт ли число ошибок. До сих пор ты узнавал о поломке, только когда сам открывал сайт и видел ошибку. В бою так не бывает: первыми о поломке узнают пользователи, а инженер — от них, и это самый дорогой способ узнать.

Датчик топлива и лампочка давления масла в машине ничего не чинят — они просто говорят заранее, что скоро будет плохо. Мониторинг делает для стенда то же самое, и в этом разделе мы соберём его из готовых программ: Prometheus будет собирать числа, Grafana — рисовать графики, а Alertmanager — присылать оповещение, когда что-то идёт не так: на работе в мессенджер, а на учебном стенде в маленький приёмник, где сообщение видно в журнале. Ими пользуется большинство компаний — от стартапов до крупных банков, — и на собеседовании про них спросят почти наверняка.

Мониторинг и наблюдаемость

Рядом со словом «мониторинг» ты часто встретишь слово наблюдаемость (по-английски observability). Их путают, хотя разница простая и практическая.

Мониторинг отвечает на вопросы, придуманные заранее: «сайт отвечает?», «диск заполнен больше чем на 90%?». Это как лампочки на приборной панели — их набор решили на заводе. Наблюдаемость — когда данных достаточно, чтобы задать новый вопрос прямо во время аварии: «почему тормозит только страница корзины и только с утра?». Это уже диагностический компьютер, подключённый к машине.

Джуну в первый месяц нужен в основном мониторинг: поставить сбор, повесить оповещения на известные поломки, открыть готовый дашборд. Наблюдаемость нарастает сама, когда сигналов становится больше. А сигналы бывают трёх видов.

Три вида сигналов

Всё, что система может рассказать о себе, укладывается в три вида данных. Они отвечают на разные вопросы, и брать надо тот, что подходит к вопросу.

СигналЧто этоНа какой вопрос отвечает
Метрикичисла во времени: запросов в секунду, свободное местосломано ли и когда началось
Логизаписи о событиях: строка на каждый запросчто именно случилось с этим запросом
Трассировкапуть одного запроса через все сервисыв каком сервисе он застрял

Посмотри на первую строку: метрика — самый дешёвый сигнал, одно число раз в пятнадцать секунд. Поэтому разбор почти всегда начинается с графика: он показывает, что сломалось и во сколько. Логи открывают уже потом, когда понятно, где искать, — им посвящён следующий раздел курса. Трассировка нужна, когда сервисов десятки, на нашем стенде её нет.

Метрик у любой системы сотни, и смотреть на все сразу бессмысленно. Есть четыре, с которых начинают.

Что смотреть первым

Инженеры Google в книге про надёжность (Site Reliability Engineering, 2016) предложили смотреть на сервис глазами пользователя. Получилось четыре показателя, их называют золотыми сигналами.

Четыре золотых сигнала
Задержка
Сколько пользователь ждёт ответа.
Трафик
Сколько запросов приходит. Резкое падение — тоже тревога: значит, до тебя не доходят.
Ошибки
Какая доля запросов закончилась неудачей, например ответом 500.
Насыщение
Насколько система близка к пределу: заполненный диск, очередь, исчерпанный пул соединений.

Обрати внимание, чего в списке нет: загрузки процессора. Процессор на 90% — это не проблема, пока пользователи получают быстрые ответы. Проблемой он становится, только когда растёт задержка или ошибки, и тогда это видно по ним.

Насыщение — самое полезное из четырёх: оно предупреждает заранее. Ошибки появляются, когда уже плохо, а заполненный на 85% диск говорит «через два дня будет плохо».

Четыре сигнала легко забыть в три часа ночи, особенно когда смотришь не на сервис, а на диск или процессор. Поэтому их свели в два коротких чек-листа.

USE и RED

Брендан Грегг, тогда инженер компании Joyent (позже он работал в Netflix), придумал чек-лист для железа и назвал его USE: для каждого ресурса (процессор, память, диск, сеть) проверить загрузку (Utilization), насыщение (Saturation) и ошибки (Errors). Том Уилки, тогда инженер Weaveworks (сейчас Grafana Labs), сделал похожий для сервисов — RED: частота запросов (Rate), ошибки (Errors), длительность (Duration).

Правило выбора простое: смотришь на машину — идёшь по USE, смотришь на сайт или API — по RED. RED мы соберём на своём стенде в практике про метрики приложения, а оба списка вернутся в разделе про отладку: по ним удобно искать узкое место, когда «всё тормозит» и непонятно, с чего начать.

Осталась одна ловушка, в которую попадают почти все, когда впервые смотрят на время ответа.

Почему среднее врёт

Допустим, сто запросов: девяносто девять отработали за 10 миллисекунд, один — за 10 секунд. Среднее получится около 110 миллисекунд, и график выглядит спокойно. А один человек из ста ждал десять секунд и закрыл вкладку.

Поэтому время ответа смотрят перцентилем. 95-й перцентиль (пишут p95) — это значение, быстрее которого отработали 95% запросов. Если p95 равен 300 мс, значит, 5% пользователей ждали дольше. Как перцентиль считается из метрик, разберём в уроке про язык запросов, а посчитаем его на живом стенде в практике про метрики приложения. Пока запомни: «среднее время ответа» на дашборде — повод насторожиться.

Словарь урока

Мониторинг
Постоянная проверка заранее известных признаков беды: сайт отвечает, диск не заполнен. ↩ к тексту
Наблюдаемость
Достаточно данных, чтобы задать новый вопрос во время аварии, а не только заготовленный. ↩ к тексту
Метрика
Число, которое меняется во времени: запросов в секунду, байтов свободно. ↩ к тексту
Золотые сигналы
Задержка, трафик, ошибки, насыщение — показатели сервиса глазами пользователя.
Перцентиль
Значение, быстрее которого отработала заданная доля запросов. p95 = 300 мс: 95% уложились в 300 мс. ↩ к тексту

Что спросят на собеседовании

  • С каких показателей начнёшь мониторинг нового сервиса?
    С четырёх золотых сигналов: задержка, трафик, ошибки, насыщение. Для машин — USE, для сервисов — RED.
  • Почему нельзя смотреть только загрузку процессора?
    Она не говорит о пользователе. Высокая загрузка при быстрых ответах — норма, а низкая не спасает от ошибок.
  • Зачем нужны и метрики, и логи?
    Метрики показывают, что сломано и с какого момента. Логи объясняют, что именно произошло с конкретным запросом.

Что дальше

Что смотреть, понятно. В следующем уроке познакомимся с Prometheus — программой, которая эти числа собирает и хранит.

Проверь себя+190 XPдве попытки
1
Мониторинг и наблюдаемость
Чем наблюдаемость отличается от мониторинга?
2
Три вида сигналов
Какой сигнал первым показывает, что сервис сломан и когда это началось?
3
Четыре сигнала
Что входит в четыре золотых сигнала?
4
Среднее врёт
Почему время ответа смотрят перцентилем, а не средним?
ответь на все вопросы, чтобы проверить

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.