Provision
—— XP

SLO и дежурство на пальцах

теория~6 минут+190 XP

Как понять, что сервис работает «достаточно хорошо»? Разработчик скажет «нормально, пара ошибок», менеджер — «всё лежит», и спорить они могут бесконечно. Спор заканчивает SLO (Service Level Objective, цель уровня обслуживания) — число, которым команда заранее договаривается о надёжности. Не «чтобы всегда работало», а например «99,5% запросов за месяц отвечают без ошибки».

Идея пришла из той же книги Google про надёжность, и сегодня SLO спрашивают на собеседованиях почти так же часто, как Prometheus. У этого числа два прямых следствия: перестаёт быть спорным, «плохо» сейчас или «нормально», и становится понятно, когда будить дежурного. Поэтому вторая половина урока — про само дежурство: кто отвечает за сервис ночью и что ему нужно, чтобы не гадать спросонья.

SLI, SLO, SLA

Три сокращения различаются одной буквой, и их постоянно путают. На деле это три шага от измерения к обещанию.

БуквыЧто этоПример
SLIпоказатель: что меряемдоля ответов без кода 5xx
SLOцель: какую планку держим99,5% за 30 дней
SLAдоговор с клиентом и штраф99% или скидка 10% на счёт

Обрати внимание на третью строку: SLA ставят ниже SLO. Если внутренняя цель 99,5%, а обещано клиенту 99%, у команды есть запас: она заметит проблему и починит её раньше, чем придётся платить. У внутреннего стенда SLA нет вовсе, а SLO есть.

Число для SLO не берут из головы. Его выводят из того, что система может дать: стенд на одной машине без резерва не выдержит 99,99% — это четыре минуты простоя в месяц, а одна перезагрузка уже съедает две-три.

У цели есть неожиданное следствие: раз 100% никто не обещал, часть ошибок сервису можно простить — и даже посчитать сколько.

Бюджет ошибок

Если цель 99,5%, то оставшиеся 0,5% — это бюджет ошибок: сколько неудач сервису разрешено за период. За 30 дней (720 часов) это 3,6 часа простоя или каждый двухсотый неудачный запрос.

SLOПростоя за 30 дней
99%7,2 часа
99,5%3,6 часа
99,9%43 минуты
99,99%4 минуты

Каждая лишняя девятка уменьшает бюджет в десять раз — и стоит в десять раз дороже: резервные машины, дежурства, автоматическое переключение.

Бюджет помогает договориться. Пока он не потрачен, разработка выкатывает новое смело: ошибки допустимы. Кончился — новые выкаты ждут, и команда занимается надёжностью. Спор «можно ли выкатывать в пятницу» решается числом, а не характером.

И бюджет же подсказывает, когда будить человека: не при каждой ошибке, а когда он сгорает слишком быстро. Если за час потрачено столько, что при таком темпе месяц кончится за двое суток, — это повод для звонка. Такие правила называют оповещениями по скорости сжигания; их формулы есть в книге The Site Reliability Workbook, джуну достаточно знать идею.

Дежурство

Оповещение кто-то должен получить. Дежурство (on-call) — договорённость, кто отвечает за сервис в конкретную неделю, включая ночи и выходные. Обычно дежурят по очереди, по неделе, и в смене два человека: основной и запасной.

Как устроено нормальное дежурство
Подтверждение
Получил оповещение — нажми «беру». Не подтвердил за 10–15 минут — звонят запасному. Это называют эскалацией.
Инструкция
К каждому оповещению — runbook: что значит, что проверить за минуту, что делать. Ссылка лежит прямо в оповещении.
Передача смены
В конце недели — короткая записка: что горело, что осталось, какие тишины поставлены.
Тишина без оповещений
Неделя без побудок — норма. Если будят каждую ночь, чинят не дежурного, а правила.

Самое ценное здесь — инструкция. Разбуженный в три часа человек соображает хуже, и хорошая инструкция начинается с самых простых проверок: жива ли цель, был ли выкат, свободен ли диск. Мы напишем такую в миссии.

Расписание, звонки и эскалацию в компаниях ведут специальные сервисы. Здесь нам достаточно знать, что они есть, например PagerDuty или Grafana IRM; маленькие команды часто начинают просто с общего чата и таблицы смен.

Что делать после аварии — как её разобрать и не искать виноватых, — разберём в разделе 20 «Отладка и инциденты».

Словарь урока

SLI
Показатель качества сервиса: доля успешных ответов, доля быстрых ответов.
SLO
Цель для показателя за период: 99,5% успешных ответов за 30 дней. ↩ к тексту
SLA
Обещание клиенту в договоре, обычно со штрафом. Ставится ниже SLO. ↩ к тексту
Бюджет ошибок
Допустимая доля неудач по SLO: при 99,5% — 0,5%, или 3,6 часа за месяц. ↩ к тексту
Runbook
Инструкция к оповещению: что значит, что проверить, что сделать.
Эскалация
Передача оповещения следующему человеку, если первый не ответил. ↩ к тексту

Что спросят на собеседовании

  • Чем SLO отличается от SLA?
    SLO — внутренняя цель команды. SLA — обещание клиенту со штрафом; его ставят ниже SLO, чтобы был запас на починку.
  • Почему не ставить SLO 100%?
    Это недостижимо и бесконечно дорого: каждая девятка стоит вдесятеро больше. И не оставляет бюджета на выкаты и эксперименты.
  • Что должно быть в оповещении, которое будит дежурного?
    Что сломано с точки зрения пользователя, насколько срочно и ссылка на инструкцию с первыми шагами.

Что дальше

Теория раздела закончилась. В миссии соберём всю цепочку на стенде: метрики, дашборд, правила и инструкцию — и проверим её аварией.

Проверь себя+190 XPдве попытки
1
SLI, SLO, SLA
Что такое SLO?
2
Бюджет ошибок
Сколько простоя за 30 дней допускает SLO 99,5%?
3
Бюджет ошибок
Что обычно делают, когда бюджет ошибок за месяц исчерпан?
4
Дежурство
Что такое runbook?
ответь на все вопросы, чтобы проверить

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.