Как понять, что сервис работает «достаточно хорошо»? Разработчик скажет «нормально, пара ошибок», менеджер — «всё лежит», и спорить они могут бесконечно. Спор заканчивает SLO (Service Level Objective, цель уровня обслуживания) — число, которым команда заранее договаривается о надёжности. Не «чтобы всегда работало», а например «99,5% запросов за месяц отвечают без ошибки».
Идея пришла из той же книги Google про надёжность, и сегодня SLO спрашивают на собеседованиях почти так же часто, как Prometheus. У этого числа два прямых следствия: перестаёт быть спорным, «плохо» сейчас или «нормально», и становится понятно, когда будить дежурного. Поэтому вторая половина урока — про само дежурство: кто отвечает за сервис ночью и что ему нужно, чтобы не гадать спросонья.
SLI, SLO, SLA
Три сокращения различаются одной буквой, и их постоянно путают. На деле это три шага от измерения к обещанию.
| Буквы | Что это | Пример |
|---|---|---|
| SLI | показатель: что меряем | доля ответов без кода 5xx |
| SLO | цель: какую планку держим | 99,5% за 30 дней |
| SLA | договор с клиентом и штраф | 99% или скидка 10% на счёт |
Обрати внимание на третью строку: SLA ставят ниже SLO. Если внутренняя цель 99,5%, а обещано клиенту 99%, у команды есть запас: она заметит проблему и починит её раньше, чем придётся платить. У внутреннего стенда SLA нет вовсе, а SLO есть.
Число для SLO не берут из головы. Его выводят из того, что система может дать: стенд на одной машине без резерва не выдержит 99,99% — это четыре минуты простоя в месяц, а одна перезагрузка уже съедает две-три.
У цели есть неожиданное следствие: раз 100% никто не обещал, часть ошибок сервису можно простить — и даже посчитать сколько.
Бюджет ошибок
Если цель 99,5%, то оставшиеся 0,5% — это бюджет ошибок: сколько неудач сервису разрешено за период. За 30 дней (720 часов) это 3,6 часа простоя или каждый двухсотый неудачный запрос.
| SLO | Простоя за 30 дней |
|---|---|
| 99% | 7,2 часа |
| 99,5% | 3,6 часа |
| 99,9% | 43 минуты |
| 99,99% | 4 минуты |
Каждая лишняя девятка уменьшает бюджет в десять раз — и стоит в десять раз дороже: резервные машины, дежурства, автоматическое переключение.
Бюджет помогает договориться. Пока он не потрачен, разработка выкатывает новое смело: ошибки допустимы. Кончился — новые выкаты ждут, и команда занимается надёжностью. Спор «можно ли выкатывать в пятницу» решается числом, а не характером.
И бюджет же подсказывает, когда будить человека: не при каждой ошибке, а когда он сгорает слишком быстро. Если за час потрачено столько, что при таком темпе месяц кончится за двое суток, — это повод для звонка. Такие правила называют оповещениями по скорости сжигания; их формулы есть в книге The Site Reliability Workbook, джуну достаточно знать идею.
Дежурство
Оповещение кто-то должен получить. Дежурство (on-call) — договорённость, кто отвечает за сервис в конкретную неделю, включая ночи и выходные. Обычно дежурят по очереди, по неделе, и в смене два человека: основной и запасной.
Самое ценное здесь — инструкция. Разбуженный в три часа человек соображает хуже, и хорошая инструкция начинается с самых простых проверок: жива ли цель, был ли выкат, свободен ли диск. Мы напишем такую в миссии.
Расписание, звонки и эскалацию в компаниях ведут специальные сервисы. Здесь нам достаточно знать, что они есть, например PagerDuty или Grafana IRM; маленькие команды часто начинают просто с общего чата и таблицы смен.
Что делать после аварии — как её разобрать и не искать виноватых, — разберём в разделе 20 «Отладка и инциденты».
Словарь урока
Что спросят на собеседовании
- Чем SLO отличается от SLA?SLO — внутренняя цель команды. SLA — обещание клиенту со штрафом; его ставят ниже SLO, чтобы был запас на починку.
- Почему не ставить SLO 100%?Это недостижимо и бесконечно дорого: каждая девятка стоит вдесятеро больше. И не оставляет бюджета на выкаты и эксперименты.
- Что должно быть в оповещении, которое будит дежурного?Что сломано с точки зрения пользователя, насколько срочно и ссылка на инструкцию с первыми шагами.
Что дальше
Теория раздела закончилась. В миссии соберём всю цепочку на стенде: метрики, дашборд, правила и инструкцию — и проверим её аварией.