Provision
—— XP

Процесс инцидента: роли, серьёзность, общение

теория~7 минут+290 XP

Авария, трое инженеров в одном чате. Двое перезапускают один и тот же сервис, не зная друг о друге, третий молча читает логи, а руководитель каждые пять минут спрашивает «что там?» — и каждый раз ему отвечает кто-то новый, по-своему. Сервис при этом лежит дольше, чем мог бы.

Чтобы так не было, у команды есть процесс инцидента — договорённость о том, кто во время аварии решает, кто чинит, кто рассказывает остальным и как часто. Роли и правила общения решают заранее, а в аварии остаётся одно дело — вернуть работу пользователям. Одному дежурному на маленьком стенде это почти не нужно, но с основой джун сталкивается в первые месяцы дежурств. Подробное руководство есть в главе Google SRE о ведении инцидентов и в справочнике Atlassian.

Уровни серьёзности

Первое, что решают в начале аварии, — насколько она серьёзна. От этого зависит всё остальное: будить ли людей ночью, звать ли руководство, как часто писать статус. Уровень называют SEV (severity, «серьёзность») с числом: чем меньше число, тем хуже.

УровеньЧто видят пользователиПример на стенде
SEV1сервис недоступен всем или теряются данныесайт отдаёт 502 на всё
SEV2важная часть сломана у многихсписок товаров отдаёт 503
SEV3неудобство, есть обходной путьмедленно грузится одна страница

Возьмём вторую строку: сайт открывается, но список не работает. Это не «всё упало», но и не мелочь — люди не могут сделать то, ради чего пришли. Уровень ставят по влиянию на пользователей, а не по тому, насколько сложной кажется поломка, и меняют по ходу: через двадцать минут картина часто выглядит иначе.

Точные границы уровней у каждой компании свои и записаны в правилах дежурства. Джуну важно одно: уровень ставит не тот, кто сильнее волнуется, а по договорённому списку.

От уровня зависит, сколько людей поднимать, — а чем больше людей, тем важнее, чтобы каждый знал своё дело.

Роли

В аварии есть три работы, и смешивать их нельзя. Человек, который читает лог, не может одновременно отвечать в чате и решать, не пора ли откатывать: он сделает плохо все три.

Кто чем занят
Ведущий
Incident commander. Решает, что делать дальше, раздаёт задачи, объявляет начало и конец аварии. Сам руками не чинит.
Исполнитель
Тот, кто проходит слои, читает логи и выполняет команды. Докладывает ведущему, что нашёл.
Связной
Пишет статусы в общий канал и отвечает бизнесу и поддержке. Защищает исполнителя от вопросов.

Почему ведущий не чинит сам? Потому что исполнитель смотрит в одну точку — строку в логе, а кто-то должен видеть картину целиком: прошло сорок минут, гипотеза не подтвердилась, может, пора откатить и разбираться потом. Это то самое правило «сначала восстановить» из первого урока раздела, только теперь у него есть хозяин.

Журнал с временем, который ты будешь вести в миссии, ведёт связной или отдельный помощник, если людей хватает. В маленькой команде одна и та же пара людей держит все роли, но правило остаётся: кто-то один решает, и все знают, кто.

Самая заметная для остальной компании роль — связной, и у его работы свои правила.

Общение с бизнесом

Руководителю, поддержке и продажам не нужны подробности про upstream и коды выхода. Им нужно понять три вещи: что не работает у клиентов, что сейчас делаем и когда будет новость. Поэтому статус пишут коротко и по одному шаблону.

статус в общий канал
SEV2 · 14:30 · не работает список товаров
Влияние: клиенты не видят каталог, сайт открывается.
Делаем: нашли причину в базе, восстанавливаем.
Следующий статус: 15:00 или раньше, если починим.

Последняя строка — самая важная. Пока она есть, никто не пишет в чат «ну что там?»: все знают, когда придёт новость. Ритм зависит от уровня: при SEV1 статус пишут каждые 15–30 минут, при SEV2 — раз в час, при SEV3 хватает сообщений в начале и в конце.

Два правила, которые нарушают чаще всего. Гипотезу не выдают за факт: «предполагаем проблему с базой», а не «база сломалась». И срок починки не обещают, пока его не знают: «следующий статус в 15:00» честнее, чем «починим к 15:00».

Бывает, что статус писать не о чем: прошло полчаса, а причина не найдена. Тогда пора звать подмогу.

Когда звать на помощь

Зовут не тогда, когда стыдно не справиться, а по заранее понятным признакам. Их три: прошло 30 минут без продвижения; поломка вышла за пределы того, что ты понимаешь, — например, нужна база, а ты в ней не разбираешься; уровень вырос до SEV1. При SEV1 руководство узнаёт об аварии сразу, даже ночью, — пусть лучше узнает от тебя, чем от клиента.

Позвать на помощь — это решение ведущего, а не признание поражения. Новичка, который сорок минут молча копается в логах, ругают чаще, чем того, кто на десятой минуте написал «нужен человек, который знает базу».

Авария закончилась — остаются цифры, по которым видно, становится ли команда лучше.

Четыре цифры DORA

По ходу курса ты уже записывал время: сколько идёт выкат в разделе про CI/CD, за сколько откатился, через сколько мониторинг заметил поломку в разделе про мониторинг. Руководители говорят о надёжности теми же цифрами, только под общими названиями — метриками DORA. Это исследовательская группа (сейчас она работает в Google), которая с середины 2010-х каждый год опрашивает тысячи команд и выяснила, что сильные команды отличаются именно этими числами; описание метрик — на сайте DORA.

МетрикаЧто измеряетГде ты это уже видел
Частота выкатовкак часто изменения уходят в продкаждый зелёный пайплайн в разделе 12
Время до продаот коммита до работающего выкатавремя пайплайна build и deploy
Доля неудачных выкатовсколько выкатов пришлось чинить или откатыватьнамеренно битый выкат в разделе 12
Время восстановленияот поломки после выката до рабочего сервисаоткат и миссия этого раздела

Посмотри на две последние строки. Они не про скорость, а про стабильность и про то, как быстро команда возвращает сервис людям. Время обнаружения из мониторинга входит во время восстановления целиком: пока поломку никто не заметил, её никто и не чинит. Поэтому дыра в мониторинге, которую ты закроешь в миссии, улучшает именно эту цифру.

В последних отчётах DORA добавила пятую метрику — долю внеплановых выкатов, сделанных из-за аварии. На собеседовании обычно спрашивают классические четыре.

Словарь урока

SEV
Уровень серьёзности аварии: SEV1 хуже всего. Ставят по влиянию на пользователей. ↩ к тексту
Ведущий инцидента
Incident commander: решает, что делать, раздаёт задачи, сам не чинит.
Связной
Пишет статусы бизнесу и поддержке по шаблону, с временем следующего сообщения. ↩ к тексту
DORA
Четыре метрики поставки: частота выкатов, время до прода, доля неудачных выкатов, время восстановления. ↩ к тексту

Что спросят на собеседовании

  • Как определить серьёзность инцидента?
    По влиянию на пользователей: недоступно всем — SEV1, сломана важная часть у многих — SEV2, неудобство с обходным путём — SEV3. Уровень меняют по ходу, если картина изменилась.
  • Почему ведущий инцидента не чинит сам?
    Исполнитель смотрит в одну точку, а кто-то должен видеть картину целиком и вовремя решить, например, откатывать.
  • Что такое метрики DORA?
    Частота выкатов, время от коммита до прода, доля неудачных выкатов и время восстановления. Первые две про скорость, последние две про стабильность.

Что дальше

Авария закрыта, статус «починили» отправлен. Следующий урок — про то, что делают потом: разбор инцидента без поиска виноватых.

Проверь себя+290 XPдве попытки
1
Уровни серьёзности
Сайт открывается, но у части пользователей не грузится список заказов. Какой уровень, скорее всего, поставят?
2
Роли
Чем занят ведущий инцидента?
3
Общение с бизнесом
Что обязательно есть в сообщении о ходе аварии для руководства?
4
DORA
Какая из метрик DORA говорит о скорости восстановления?
ответь на все вопросы, чтобы проверить

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.