Provision
—— XP

Разбор инцидента без поиска виноватых

теория~7 минут+290 XP

В авиации после происшествия никто не ищет, кого уволить: пилоты, механики и диспетчеры вместе восстанавливают минуту за минутой, что произошло, и меняют правила, чтобы ошибку стало трудно повторить. Тот же подход в эксплуатации сервисов популяризировала Google в книге про надёжность, и сегодня так разбирают аварии почти все компании, где есть дежурства.

Документ, который получается из такого разбора, называют постмортемом (postmortem): коротко, что произошло, почему и что команда изменит, чтобы это не повторилось. Его пишут после каждого серьёзного инцидента — когда пользователи заметили поломку, когда сгорела заметная часть бюджета ошибок из раздела про мониторинг, а иногда и после аварии, которой чудом удалось избежать. Авария всё равно случилась, и разбор — единственный способ извлечь из неё пользу: понять, как система позволила ей случиться, и изменить систему.

Без поиска виноватых

Самое важное правило разбора звучит как blameless — «без обвинений». Вопрос «кто это сделал?» заменяют вопросом «что позволило этому произойти?». Это не доброта и не попытка выгородить небрежных. Это способ добраться до причины.

Человек, который боится наказания, рассказывает меньше: умалчивает, что выполнил команду не на том сервере, что не читал предупреждение, что сделал так, потому что «все так делают». А именно эти подробности и показывают дыру. Если команда, удалившая базу, выполнилась без единого вопроса, — виноват не уставший инженер, а система, где одна команда может удалить базу без подтверждения.

Хорошо это видно по статье о психологии обвинений на Хабре (2025): после перехода к разборам без поиска виноватых повторяющихся инцидентов становится заметно меньше, потому что люди перестают прятать ошибки. На практике правило выглядит так: в документе нет фамилий в роли причины, есть роли и действия — «дежурный выполнил откат», «выкат прошёл без проверки».

Без виноватых — значит, надо найти настоящую причину. Для этого есть простой приём.

Пять «почему»

Первый ответ на «почему сломалось» почти всегда поверхностный. Приём пять «почему» — задавать вопрос к каждому ответу снова, пока не дойдёшь до причины, которую можно исправить. Пять — ориентир, а не закон.

Пример: сайт отдавал 503 на списке товаров
Почему 503?
Приложение не могло подключиться к базе.
Почему не могло?
Контейнер базы был остановлен.
Почему остановлен?
Его остановили при плановых работах и забыли запустить.
Почему не заметили сразу?
Мониторинг проверял только /health, а он в базу не ходит.
Почему проверка только /health?
Когда настраивали мониторинг, проверку зависимостей не предусмотрели.

Посмотри, куда пришёл разбор. Остановка на третьем ответе дала бы вывод «работать внимательнее» — его нельзя ни выполнить, ни проверить. Пятый ответ дал конкретную правку: добавить в мониторинг проверку страницы, которая ходит в базу. Ровно это ты сделаешь в миссии раздела.

Из ответов складывается документ. У него устоявшийся состав.

Шаблон

Структура постмортема у разных компаний похожа, разница в мелочах. Подробное руководство по проведению разбора есть в статье на Хабре (2025), а наш шаблон — шесть разделов. Первые три описывают, что было:

шаблон постмортема, начало
# Постмортем: <короткое название>, <дата>

## Что случилось
Два-три предложения для человека, который не был в аварии.

## Влияние
Кто пострадал, как долго, сколько запросов или денег.

## Хронология
14:05  первые ответы 503 (по логу прокси)
14:21  жалоба пользователя в чат
14:24  дежурный начал разбор

Хронология пишется по журналу, который ты ведёшь во время аварии, — с точным временем. Отдельно видно время обнаружения: здесь ошибки начались в 14:05, а заметили их только в 14:21 по жалобе. Это само по себе находка.

Вторые три раздела объясняют, почему так вышло и что изменится:

шаблон постмортема, продолжение
## Причина
Цепочка «почему» до исправимой причины.

## Что помогло и что мешало
Помогло: откат за две минуты.
Мешало: мониторинг промолчал, нашли по жалобе.

## Что меняем
- Проверка /items в мониторинге — отвечает: дежурный, до 10.10

В разделе «Что помогло и что мешало» записывают и хорошее — то, что надо сохранить. Без него разбор кажется судом, даже если обвинений в нём нет.

Что меняем: главное в документе

Постмортем без изменений — пустая бумага. Каждый пункт раздела «Что меняем» должен быть действием с ответственным и сроком: добавить проверку, поставить подтверждение перед удалением, написать инструкцию к оповещению. Пункты «быть внимательнее» и «обсудить» вычёркивают сразу — их нельзя выполнить.

Пунктов лучше два-три настоящих, чем десять пожеланий. Их заводят задачами в трекер, и через пару недель проверяют, что сделано. Если та же авария случилась снова, первым делом открывают старый разбор: что не доделали.

И последнее: разбор пишут в течение нескольких дней после аварии, пока помнят подробности, и показывают всей команде. Чужой разбор — самый дешёвый способ выучить урок, не заплатив за него своей аварией.

Встреча по разбору

Черновик документа обычно пишет ведущий инцидента или исполнитель, а потом его обсуждают на короткой встрече — минут на тридцать-сорок, с теми, кто участвовал в аварии. Ведёт встречу не автор выката и не начальник, а кто-то нейтральный: его работа — останавливать фразы вида «а зачем ты это нажал» и возвращать разговор к вопросу «что позволило».

На встрече проходят хронологию сверху вниз, уточняют цепочку «почему» и договариваются о пунктах «Что меняем». Каждый пункт тут же заводят задачей в трекер — Jira, GitLab Issues, что принято в команде — со ссылкой на разбор, ответственным и сроком. Через две-три недели ведущий разбора проверяет, что задачи закрыты, и отмечает это в документе. Разбор, у которого задачи висят открытыми полгода, — тот самый пустой документ.

Словарь урока

Постмортем
Документ после аварии: что случилось, почему, что изменим. ↩ к тексту
Blameless
Разбор без поиска виноватых: ищут, что в системе позволило ошибке случиться. ↩ к тексту
Пять «почему»
Задавать «почему» к каждому ответу, пока не дойдёшь до исправимой причины. ↩ к тексту
Время обнаружения
Сколько прошло от начала поломки до момента, когда о ней узнали. ↩ к тексту

Что спросят на собеседовании

  • Что такое blameless postmortem и зачем он нужен?
    Разбор аварии без поиска виноватых. Люди не боятся рассказывать подробности, поэтому находится настоящая причина в системе, а не «человеческий фактор».
  • Что обязательно должно быть в постмортеме?
    Влияние, хронология, причина и конкретные действия с ответственным и сроком.
  • Коллега удалил базу командой по ошибке. Что напишешь в причине?
    Не фамилию, а то, что позволило: команда без подтверждения, доступ к проду с рабочей машины, нет проверенного бэкапа.

Что дальше

В миссии проведёшь учебную аварию целиком — от первого сигнала до постмортема по этому шаблону и одного выполненного пункта «Что меняем».

Проверь себя+290 XPдве попытки
1
Что это
Зачем пишут постмортем?
2
Без поиска виноватых
Какой вопрос задают в разборе без поиска виноватых?
3
Пять почему
Как работает приём «пять почему»?
4
Что меняем
Какой пункт в разделе «Что меняем» сформулирован правильно?
ответь на все вопросы, чтобы проверить

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.