В авиации после происшествия никто не ищет, кого уволить: пилоты, механики и диспетчеры вместе восстанавливают минуту за минутой, что произошло, и меняют правила, чтобы ошибку стало трудно повторить. Тот же подход в эксплуатации сервисов популяризировала Google в книге про надёжность, и сегодня так разбирают аварии почти все компании, где есть дежурства.
Документ, который получается из такого разбора, называют постмортемом (postmortem): коротко, что произошло, почему и что команда изменит, чтобы это не повторилось. Его пишут после каждого серьёзного инцидента — когда пользователи заметили поломку, когда сгорела заметная часть бюджета ошибок из раздела про мониторинг, а иногда и после аварии, которой чудом удалось избежать. Авария всё равно случилась, и разбор — единственный способ извлечь из неё пользу: понять, как система позволила ей случиться, и изменить систему.
Без поиска виноватых
Самое важное правило разбора звучит как blameless — «без обвинений». Вопрос «кто это сделал?» заменяют вопросом «что позволило этому произойти?». Это не доброта и не попытка выгородить небрежных. Это способ добраться до причины.
Человек, который боится наказания, рассказывает меньше: умалчивает, что выполнил команду не на том сервере, что не читал предупреждение, что сделал так, потому что «все так делают». А именно эти подробности и показывают дыру. Если команда, удалившая базу, выполнилась без единого вопроса, — виноват не уставший инженер, а система, где одна команда может удалить базу без подтверждения.
Хорошо это видно по статье о психологии обвинений на Хабре (2025): после перехода к разборам без поиска виноватых повторяющихся инцидентов становится заметно меньше, потому что люди перестают прятать ошибки. На практике правило выглядит так: в документе нет фамилий в роли причины, есть роли и действия — «дежурный выполнил откат», «выкат прошёл без проверки».
Без виноватых — значит, надо найти настоящую причину. Для этого есть простой приём.
Пять «почему»
Первый ответ на «почему сломалось» почти всегда поверхностный. Приём пять «почему» — задавать вопрос к каждому ответу снова, пока не дойдёшь до причины, которую можно исправить. Пять — ориентир, а не закон.
Посмотри, куда пришёл разбор. Остановка на третьем ответе дала бы вывод «работать внимательнее» — его нельзя ни выполнить, ни проверить. Пятый ответ дал конкретную правку: добавить в мониторинг проверку страницы, которая ходит в базу. Ровно это ты сделаешь в миссии раздела.
Из ответов складывается документ. У него устоявшийся состав.
Шаблон
Структура постмортема у разных компаний похожа, разница в мелочах. Подробное руководство по проведению разбора есть в статье на Хабре (2025), а наш шаблон — шесть разделов. Первые три описывают, что было:
# Постмортем: <короткое название>, <дата> ## Что случилось Два-три предложения для человека, который не был в аварии. ## Влияние Кто пострадал, как долго, сколько запросов или денег. ## Хронология 14:05 первые ответы 503 (по логу прокси) 14:21 жалоба пользователя в чат 14:24 дежурный начал разбор
Хронология пишется по журналу, который ты ведёшь во время аварии, — с точным временем. Отдельно видно время обнаружения: здесь ошибки начались в 14:05, а заметили их только в 14:21 по жалобе. Это само по себе находка.
Вторые три раздела объясняют, почему так вышло и что изменится:
## Причина Цепочка «почему» до исправимой причины. ## Что помогло и что мешало Помогло: откат за две минуты. Мешало: мониторинг промолчал, нашли по жалобе. ## Что меняем - Проверка /items в мониторинге — отвечает: дежурный, до 10.10
В разделе «Что помогло и что мешало» записывают и хорошее — то, что надо сохранить. Без него разбор кажется судом, даже если обвинений в нём нет.
Что меняем: главное в документе
Постмортем без изменений — пустая бумага. Каждый пункт раздела «Что меняем» должен быть действием с ответственным и сроком: добавить проверку, поставить подтверждение перед удалением, написать инструкцию к оповещению. Пункты «быть внимательнее» и «обсудить» вычёркивают сразу — их нельзя выполнить.
Пунктов лучше два-три настоящих, чем десять пожеланий. Их заводят задачами в трекер, и через пару недель проверяют, что сделано. Если та же авария случилась снова, первым делом открывают старый разбор: что не доделали.
И последнее: разбор пишут в течение нескольких дней после аварии, пока помнят подробности, и показывают всей команде. Чужой разбор — самый дешёвый способ выучить урок, не заплатив за него своей аварией.
Встреча по разбору
Черновик документа обычно пишет ведущий инцидента или исполнитель, а потом его обсуждают на короткой встрече — минут на тридцать-сорок, с теми, кто участвовал в аварии. Ведёт встречу не автор выката и не начальник, а кто-то нейтральный: его работа — останавливать фразы вида «а зачем ты это нажал» и возвращать разговор к вопросу «что позволило».
На встрече проходят хронологию сверху вниз, уточняют цепочку «почему» и договариваются о пунктах «Что меняем». Каждый пункт тут же заводят задачей в трекер — Jira, GitLab Issues, что принято в команде — со ссылкой на разбор, ответственным и сроком. Через две-три недели ведущий разбора проверяет, что задачи закрыты, и отмечает это в документе. Разбор, у которого задачи висят открытыми полгода, — тот самый пустой документ.
Словарь урока
Что спросят на собеседовании
- Что такое blameless postmortem и зачем он нужен?Разбор аварии без поиска виноватых. Люди не боятся рассказывать подробности, поэтому находится настоящая причина в системе, а не «человеческий фактор».
- Что обязательно должно быть в постмортеме?Влияние, хронология, причина и конкретные действия с ответственным и сроком.
- Коллега удалил базу командой по ошибке. Что напишешь в причине?Не фамилию, а то, что позволило: команда без подтверждения, доступ к проду с рабочей машины, нет проверенного бэкапа.
Что дальше
В миссии проведёшь учебную аварию целиком — от первого сигнала до постмортема по этому шаблону и одного выполненного пункта «Что меняем».