Provision
—— XP

Миссия: учебная авария от сигнала до постмортема

практика~60 минут+725 XP

Это последняя миссия перед итоговым проектом, и она проверяет не одну команду, а весь навык дежурного целиком. Ты устроишь аварию, которую твой мониторинг не заметит: база остановлена, пользователи видят ошибку, а все проверки зелёные. Такие аварии в жизни самые неприятные — о них узнают от пользователей.

Дальше всё как по-настоящему: журнал с временем, поиск по слоям, восстановление, постмортем по шаблону из урока про разбор и один пункт «Что меняем», выполненный руками. Команды в миссии — задание: что они покажут, увидишь сам и запишешь.

Требования

Задача одна, но проверяется по пунктам.

Что должно получиться
Журнал
Каждое действие записано по ходу аварии, строка начинается со времени. Записей не меньше четырёх.
Восстановление
Стенд снова отдаёт список через прокси, база работает.
Постмортем
~/devops-lab/reports/postmortem.md по шаблону: шесть разделов и текст под ними, не меньше 150 слов.
Хронология
Не меньше четырёх событий с временем.
Что меняем
Мониторинг проверяет страницу, которая ходит в базу, — и это проверено повторной аварией.

Шаг 1. Журнал

Открой новый файл для журнала и держи его открытым в отдельном окне. Каждую запись начинай со времени — его печатает date +%T.

ubuntu@stand:~$
nano ~/devops-lab/reports/incident-log.txt

Первая запись — время начала. В бою журнал ведёт связной или помощник ведущего, как в уроке про процесс инцидента; сегодня все роли у тебя. Сразу запиши и уровень: список не работает, а сайт открывается — это SEV2. Потом по журналу пишется хронология.

Шаг 2. Авария

Сейчас ты в роли того, кто «проводил плановые работы и забыл». Останови базу стенда:

ubuntu@stand:~$
cd ~/infra/stand
docker compose stop db

С этого момента забудь, что сделал, и действуй как дежурный, которому написали: «список товаров не открывается».

Шаг 3. Мониторинг молчит

Первое, что смотрит дежурный, — мониторинг. Открой страницу Alerts у Prometheus из раздела 10. StandDown не горит: проверка /health проходит, ведь этот маршрут в базу не ходит. Запиши в журнал: «мониторинг зелёный».

Это и есть главная находка будущего постмортема, но пока просто двигаемся дальше.

Шаг 4. Симптом

Проверим жалобу сами. Задай переменные адреса и сертификата, как в практиках раздела, и запроси список:

ubuntu@stand:~$
U=https://stand.provision.internal:8443
CA=~/devops-lab/tls/ca.crt
curl -sSI --cacert $CA $U/api/items

Запиши код ответа и строку Server. По таблице из урока про слои реши, какие слои код уже исключил: пришёл HTTP-код, значит, имя, порт и TLS в порядке. Код 503 в той таблице означает, что приложение живо, но не достало то, от чего зависит. Тело ответа подскажет больше — запроси его без -I:

ubuntu@stand:~$
curl -sS --cacert $CA $U/api/items

Шаг 5. Сузить

Сравни с маршрутом, который в базу не ходит:

ubuntu@stand:~$
curl -sSI --cacert $CA $U/api/whoami

Если здесь 200, а на списке нет, — прокси и приложение живы, а беда в том, что нужно только списку. Запиши гипотезу в журнал одной фразой.

Шаг 6. Логи приложения

Смотрим, что пишет приложение. Флаг --tail 10 — десять последних строк.

ubuntu@stand:~$
docker compose logs --tail 10 app

Подробной ошибки здесь не будет. Приложение ловит неудачу подключения к базе и отвечает 503, а сама ошибка в лог не попадает — gunicorn пишет только строку доступа: адрес, запрос, код. Найди строку с /items и кодом 503, скопируй её в журнал вместе со временем. Отсутствие подробностей — тоже находка для разбора: приложение молчит о причине, и дежурному приходится догадываться.

Шаг 7. Подтвердить

Одна гипотеза — одна проверка. Флаг -a покажет и остановленные сервисы:

ubuntu@stand:~$
docker compose ps -a db

Запиши, что увидел, и как давно база остановлена — это время начала аварии для хронологии.

Шаг 8. Восстановить

Сначала вернуть пользователям работу, разбираться потом.

ubuntu@stand:~$
docker compose start db

Дождись healthy и повтори запрос из шага 4. Запиши время, когда список снова ответил 200, — это конец аварии.

Шаг 9. Что меняем: проверка, которая ходит в базу

Пять «почему» из урока приводят к дыре в мониторинге: он проверяет только /health. Исправим. В ~/infra/monitoring/prometheus/prometheus.yml у задания stand добавь вторую цель:

prometheus.yml, job stand
    static_configs:
      - targets:
          - "http://app:8000/health"
          - "http://app:8000/items"

Перезапусти Prometheus из каталога мониторинга:

ubuntu@stand:~$
cd ~/infra/monitoring
docker compose restart prometheus

На странице Targets у задания stand должно стать две цели, обе UP.

Шаг 10. Проверить исправление аварией

Исправление, которое не проверили, — это надежда, а не исправление. Повтори аварию:

ubuntu@stand:~$
cd ~/infra/stand
docker compose stop db

Засеки время. Через полторы-две минуты StandDown загорится — теперь для instance="http://app:8000/items". Запиши время обнаружения и сразу верни базу командой docker compose start db.

Шаг 11. Постмортем

Напиши разбор по шаблону из урока про разбор инцидента. Шесть разделов, ровно с такими заголовками:

~/devops-lab/reports/postmortem.md, разделы
## Что случилось
## Влияние
## Хронология
## Причина
## Что помогло и что мешало
## Что меняем

В хронологию перенеси события из журнала с временем: начало, жалоба, найденная причина, восстановление, повторная проверка. В причину — свою цепочку «почему». В «Что меняем» — выполненный пункт про проверку /items и ещё один-два, которые стоило бы сделать, каждый строкой списка, начинающейся с - . Подсказка из шага 6: приложение не пишет причину 503 в лог — это кандидат во второй пункт.

Проверка сдачи считает слова и пункты, но хороший ли разбор, она не знает. Перечитай его глазами человека, который не был в аварии: понятно ли из одного документа, что случилось и что теперь изменится. Помни правило раздела: в причине нет фамилий, только то, что позволило аварии случиться.

Чем закрывается раздел

Ты прошёл весь путь дежурного: заметил, нашёл по слоям, восстановил, разобрал и изменил систему так, что та же авария больше не пройдёт незаметно. Это и есть базовая отладка, с которой приходят на первую работу. Впереди итоговый проект, где всё из курса соберётся в одну систему, — и шаблон постмортема из этого раздела пригодится там снова.

Практика 04+725 XP

Пройти аварию целиком, как дежурный: симптом, слои, восстановление, журнал, постмортем и исправление, которое не даст ей повториться незаметно.

  • Стенд восстановлен
  • База работает
  • Пункт «Что меняем» выполнен
  • Постмортем по шаблону
  • Хронология с временем
  • Разбор написан, а не только размечен
  • В «Что меняем» есть действия
  • Журнал вёлся по ходу
Команда сдачи — выполни на своей машине
команда
cd ~/infra/stand 2>/dev/null || echo NOSTAND; echo "ITEMS=$(curl -sS -o /dev/null -w '%{http_code}' --cacert ~/devops-lab/tls/ca.crt https://stand.provision.internal:8443/api/items)"; docker compose ps --format 'SVC={{.Service}} {{.State}}'; echo "PROBE=$(grep -c 'app:8000/items' ~/infra/monitoring/prometheus/prometheus.yml)"; echo ---; P=~/devops-lab/reports/postmortem.md; grep '^## ' $P; echo "TIMES=$(grep -cE '[0-9]{2}:[0-9]{2}' $P)"; echo "WORDS=$(wc -w < $P)"; echo "CHANGES=$(sed -n '/^## Что меняем/,$p' $P | grep -c '^- ')"; echo "LOG=$(grep -cE '^[0-9]{2}:[0-9]{2}' ~/devops-lab/reports/incident-log.txt)"

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.