Это последняя миссия перед итоговым проектом, и она проверяет не одну команду, а весь навык дежурного целиком. Ты устроишь аварию, которую твой мониторинг не заметит: база остановлена, пользователи видят ошибку, а все проверки зелёные. Такие аварии в жизни самые неприятные — о них узнают от пользователей.
Дальше всё как по-настоящему: журнал с временем, поиск по слоям, восстановление, постмортем по шаблону из урока про разбор и один пункт «Что меняем», выполненный руками. Команды в миссии — задание: что они покажут, увидишь сам и запишешь.
Требования
Задача одна, но проверяется по пунктам.
Шаг 1. Журнал
Открой новый файл для журнала и держи его открытым в отдельном окне. Каждую запись начинай со времени — его печатает date +%T.
nano ~/devops-lab/reports/incident-log.txtПервая запись — время начала. В бою журнал ведёт связной или помощник ведущего, как в уроке про процесс инцидента; сегодня все роли у тебя. Сразу запиши и уровень: список не работает, а сайт открывается — это SEV2. Потом по журналу пишется хронология.
Шаг 2. Авария
Сейчас ты в роли того, кто «проводил плановые работы и забыл». Останови базу стенда:
cd ~/infra/stand docker compose stop db
С этого момента забудь, что сделал, и действуй как дежурный, которому написали: «список товаров не открывается».
Шаг 3. Мониторинг молчит
Первое, что смотрит дежурный, — мониторинг. Открой страницу Alerts у Prometheus из раздела 10. StandDown не горит: проверка /health проходит, ведь этот маршрут в базу не ходит. Запиши в журнал: «мониторинг зелёный».
Это и есть главная находка будущего постмортема, но пока просто двигаемся дальше.
Шаг 4. Симптом
Проверим жалобу сами. Задай переменные адреса и сертификата, как в практиках раздела, и запроси список:
U=https://stand.provision.internal:8443 CA=~/devops-lab/tls/ca.crt curl -sSI --cacert $CA $U/api/items
Запиши код ответа и строку Server. По таблице из урока про слои реши, какие слои код уже исключил: пришёл HTTP-код, значит, имя, порт и TLS в порядке. Код 503 в той таблице означает, что приложение живо, но не достало то, от чего зависит. Тело ответа подскажет больше — запроси его без -I:
curl -sS --cacert $CA $U/api/itemsШаг 5. Сузить
Сравни с маршрутом, который в базу не ходит:
curl -sSI --cacert $CA $U/api/whoamiЕсли здесь 200, а на списке нет, — прокси и приложение живы, а беда в том, что нужно только списку. Запиши гипотезу в журнал одной фразой.
Шаг 6. Логи приложения
Смотрим, что пишет приложение. Флаг --tail 10 — десять последних строк.
docker compose logs --tail 10 appПодробной ошибки здесь не будет. Приложение ловит неудачу подключения к базе и отвечает 503, а сама ошибка в лог не попадает — gunicorn пишет только строку доступа: адрес, запрос, код. Найди строку с /items и кодом 503, скопируй её в журнал вместе со временем. Отсутствие подробностей — тоже находка для разбора: приложение молчит о причине, и дежурному приходится догадываться.
Шаг 7. Подтвердить
Одна гипотеза — одна проверка. Флаг -a покажет и остановленные сервисы:
docker compose ps -a dbЗапиши, что увидел, и как давно база остановлена — это время начала аварии для хронологии.
Шаг 8. Восстановить
Сначала вернуть пользователям работу, разбираться потом.
docker compose start dbДождись healthy и повтори запрос из шага 4. Запиши время, когда список снова ответил 200, — это конец аварии.
Шаг 9. Что меняем: проверка, которая ходит в базу
Пять «почему» из урока приводят к дыре в мониторинге: он проверяет только /health. Исправим. В ~/infra/monitoring/prometheus/prometheus.yml у задания stand добавь вторую цель:
static_configs: - targets: - "http://app:8000/health" - "http://app:8000/items"
Перезапусти Prometheus из каталога мониторинга:
cd ~/infra/monitoring docker compose restart prometheus
На странице Targets у задания stand должно стать две цели, обе UP.
Шаг 10. Проверить исправление аварией
Исправление, которое не проверили, — это надежда, а не исправление. Повтори аварию:
cd ~/infra/stand docker compose stop db
Засеки время. Через полторы-две минуты StandDown загорится — теперь для instance="http://app:8000/items". Запиши время обнаружения и сразу верни базу командой docker compose start db.
Шаг 11. Постмортем
Напиши разбор по шаблону из урока про разбор инцидента. Шесть разделов, ровно с такими заголовками:
## Что случилось ## Влияние ## Хронология ## Причина ## Что помогло и что мешало ## Что меняем
В хронологию перенеси события из журнала с временем: начало, жалоба, найденная причина, восстановление, повторная проверка. В причину — свою цепочку «почему». В «Что меняем» — выполненный пункт про проверку /items и ещё один-два, которые стоило бы сделать, каждый строкой списка, начинающейся с - . Подсказка из шага 6: приложение не пишет причину 503 в лог — это кандидат во второй пункт.
Проверка сдачи считает слова и пункты, но хороший ли разбор, она не знает. Перечитай его глазами человека, который не был в аварии: понятно ли из одного документа, что случилось и что теперь изменится. Помни правило раздела: в причине нет фамилий, только то, что позволило аварии случиться.
Чем закрывается раздел
Ты прошёл весь путь дежурного: заметил, нашёл по слоям, восстановил, разобрал и изменил систему так, что та же авария больше не пройдёт незаметно. Это и есть базовая отладка, с которой приходят на первую работу. Впереди итоговый проект, где всё из курса соберётся в одну систему, — и шаблон постмортема из этого раздела пригодится там снова.