Авария, трое инженеров в одном чате. Двое перезапускают один и тот же сервис, не зная друг о друге, третий молча читает логи, а руководитель каждые пять минут спрашивает «что там?» — и каждый раз ему отвечает кто-то новый, по-своему. Сервис при этом лежит дольше, чем мог бы.
Чтобы так не было, у команды есть процесс инцидента — договорённость о том, кто во время аварии решает, кто чинит, кто рассказывает остальным и как часто. Роли и правила общения решают заранее, а в аварии остаётся одно дело — вернуть работу пользователям. Одному дежурному на маленьком стенде это почти не нужно, но с основой джун сталкивается в первые месяцы дежурств. Подробное руководство есть в главе Google SRE о ведении инцидентов и в справочнике Atlassian.
Уровни серьёзности
Первое, что решают в начале аварии, — насколько она серьёзна. От этого зависит всё остальное: будить ли людей ночью, звать ли руководство, как часто писать статус. Уровень называют SEV (severity, «серьёзность») с числом: чем меньше число, тем хуже.
| Уровень | Что видят пользователи | Пример на стенде |
|---|---|---|
| SEV1 | сервис недоступен всем или теряются данные | сайт отдаёт 502 на всё |
| SEV2 | важная часть сломана у многих | список товаров отдаёт 503 |
| SEV3 | неудобство, есть обходной путь | медленно грузится одна страница |
Возьмём вторую строку: сайт открывается, но список не работает. Это не «всё упало», но и не мелочь — люди не могут сделать то, ради чего пришли. Уровень ставят по влиянию на пользователей, а не по тому, насколько сложной кажется поломка, и меняют по ходу: через двадцать минут картина часто выглядит иначе.
Точные границы уровней у каждой компании свои и записаны в правилах дежурства. Джуну важно одно: уровень ставит не тот, кто сильнее волнуется, а по договорённому списку.
От уровня зависит, сколько людей поднимать, — а чем больше людей, тем важнее, чтобы каждый знал своё дело.
Роли
В аварии есть три работы, и смешивать их нельзя. Человек, который читает лог, не может одновременно отвечать в чате и решать, не пора ли откатывать: он сделает плохо все три.
Почему ведущий не чинит сам? Потому что исполнитель смотрит в одну точку — строку в логе, а кто-то должен видеть картину целиком: прошло сорок минут, гипотеза не подтвердилась, может, пора откатить и разбираться потом. Это то самое правило «сначала восстановить» из первого урока раздела, только теперь у него есть хозяин.
Журнал с временем, который ты будешь вести в миссии, ведёт связной или отдельный помощник, если людей хватает. В маленькой команде одна и та же пара людей держит все роли, но правило остаётся: кто-то один решает, и все знают, кто.
Самая заметная для остальной компании роль — связной, и у его работы свои правила.
Общение с бизнесом
Руководителю, поддержке и продажам не нужны подробности про upstream и коды выхода. Им нужно понять три вещи: что не работает у клиентов, что сейчас делаем и когда будет новость. Поэтому статус пишут коротко и по одному шаблону.
SEV2 · 14:30 · не работает список товаров Влияние: клиенты не видят каталог, сайт открывается. Делаем: нашли причину в базе, восстанавливаем. Следующий статус: 15:00 или раньше, если починим.
Последняя строка — самая важная. Пока она есть, никто не пишет в чат «ну что там?»: все знают, когда придёт новость. Ритм зависит от уровня: при SEV1 статус пишут каждые 15–30 минут, при SEV2 — раз в час, при SEV3 хватает сообщений в начале и в конце.
Два правила, которые нарушают чаще всего. Гипотезу не выдают за факт: «предполагаем проблему с базой», а не «база сломалась». И срок починки не обещают, пока его не знают: «следующий статус в 15:00» честнее, чем «починим к 15:00».
Бывает, что статус писать не о чем: прошло полчаса, а причина не найдена. Тогда пора звать подмогу.
Когда звать на помощь
Зовут не тогда, когда стыдно не справиться, а по заранее понятным признакам. Их три: прошло 30 минут без продвижения; поломка вышла за пределы того, что ты понимаешь, — например, нужна база, а ты в ней не разбираешься; уровень вырос до SEV1. При SEV1 руководство узнаёт об аварии сразу, даже ночью, — пусть лучше узнает от тебя, чем от клиента.
Позвать на помощь — это решение ведущего, а не признание поражения. Новичка, который сорок минут молча копается в логах, ругают чаще, чем того, кто на десятой минуте написал «нужен человек, который знает базу».
Авария закончилась — остаются цифры, по которым видно, становится ли команда лучше.
Четыре цифры DORA
По ходу курса ты уже записывал время: сколько идёт выкат в разделе про CI/CD, за сколько откатился, через сколько мониторинг заметил поломку в разделе про мониторинг. Руководители говорят о надёжности теми же цифрами, только под общими названиями — метриками DORA. Это исследовательская группа (сейчас она работает в Google), которая с середины 2010-х каждый год опрашивает тысячи команд и выяснила, что сильные команды отличаются именно этими числами; описание метрик — на сайте DORA.
| Метрика | Что измеряет | Где ты это уже видел |
|---|---|---|
| Частота выкатов | как часто изменения уходят в прод | каждый зелёный пайплайн в разделе 12 |
| Время до прода | от коммита до работающего выката | время пайплайна build и deploy |
| Доля неудачных выкатов | сколько выкатов пришлось чинить или откатывать | намеренно битый выкат в разделе 12 |
| Время восстановления | от поломки после выката до рабочего сервиса | откат и миссия этого раздела |
Посмотри на две последние строки. Они не про скорость, а про стабильность и про то, как быстро команда возвращает сервис людям. Время обнаружения из мониторинга входит во время восстановления целиком: пока поломку никто не заметил, её никто и не чинит. Поэтому дыра в мониторинге, которую ты закроешь в миссии, улучшает именно эту цифру.
В последних отчётах DORA добавила пятую метрику — долю внеплановых выкатов, сделанных из-за аварии. На собеседовании обычно спрашивают классические четыре.
Словарь урока
Что спросят на собеседовании
- Как определить серьёзность инцидента?По влиянию на пользователей: недоступно всем — SEV1, сломана важная часть у многих — SEV2, неудобство с обходным путём — SEV3. Уровень меняют по ходу, если картина изменилась.
- Почему ведущий инцидента не чинит сам?Исполнитель смотрит в одну точку, а кто-то должен видеть картину целиком и вовремя решить, например, откатывать.
- Что такое метрики DORA?Частота выкатов, время от коммита до прода, доля неудачных выкатов и время восстановления. Первые две про скорость, последние две про стабильность.
Что дальше
Авария закрыта, статус «починили» отправлен. Следующий урок — про то, что делают потом: разбор инцидента без поиска виноватых.