Provision
—— XP

Миссия: база не отвечает

практика~40 минут+450 XP

Два вызова за одну смену. В первом база действительно упала. Во втором она жива, отвечает на проверки — а приложение висит. Снаружи жалоба одна и та же: «база не отвечает». Разница становится видна только тем, кто проверяет по порядку.

Это миссия: аварии ты устроишь сам, а дальше команды выбираешь сам — готового вывода у них здесь нет. Работаешь в каталоге ~/infra/db со стендом из этого раздела. Для второго вызова понадобятся три терминала, все в этом же каталоге.

Подготовка к вызову 1

Сначала устрой поломку — останови базу, как если бы её процесс упал.

стенд · подготовка к вызову 1скрипт подготовки, выполняется целиком
cd ~/infra/db
docker compose stop db

С этого момента представь, что ты ничего не знаешь, а в чат пришло «база не отвечает».

Задание 1. База не отвечает

Приложение не может подключиться к базе. Ответь на вопросы и почини:

  • жив ли контейнер базы, и если нет — как он кончился: штатно или с ошибкой;
  • что база написала в журнал перед остановкой и есть ли там FATAL или PANIC;
  • хватит ли места на диске, чтобы база не упала снова сразу после подъёма;
  • подними базу и убедись, что она принимает подключения, а не просто что контейнер запущен.

Ответы записывай сразу — они пойдут в отчёт.

Подготовка к вызову 2

Когда первый вызов закрыт, устрой второй. В первом терминале открой psql, начни транзакцию и измени строку — но не фиксируй, как будто коллега отошёл за кофе посреди правки. BEGIN открывает транзакцию, а без COMMIT правка так и висит незаконченной.

терминал 1 · подготовка к вызову 2скрипт подготовки, выполняется целиком
docker compose exec db psql -U shop
shop=# BEGIN;
shop=*# UPDATE customers SET city = 'Сочи' WHERE id = 2;

Во втором терминале попробуй изменить ту же строку — как это сделало бы приложение.

терминал 2 · подготовка к вызову 2скрипт подготовки, выполняется целиком
docker compose exec db psql -U shop
shop=# UPDATE customers SET city = 'Омск' WHERE id = 2;

Ответа не будет: курсор мигает, приглашение не возвращается. Оба терминала оставь как есть и не прерывай запрос.

Задание 2. Запрос висит

Приложение снова жалуется: «база не отвечает». Работай в третьем терминале и ответь:

  • жива ли база и принимает ли подключения — то есть та же ли это авария, что в первом вызове;
  • сколько подключений открыто и кто из них чем занят;
  • кто кого ждёт: какое подключение держит строку, а какое стоит в очереди;
  • сними виновника так, чтобы запрос из второго терминала прошёл, и в базе для покупателя 2 оказался город Омск.

Отчёт

Запиши разбор в ~/devops-lab/reports/db-incident.txt. Короткий разбор после каждой аварии — привычка, которая через полгода превращается в базу знаний команды. Пиши по строке на каждую команду и то, что она показала, и в конце — чем починил и как не допустить повтора. Скелет:

~/devops-lab/reports/db-incident.txt — скелет
Вызов 1: что увидел и в каком порядке
  починка: что сделал
Вызов 2: что увидел и в каком порядке
  виновник: какое подключение и в каком состоянии
  починка: что сделал
  профилактика: как не допустить повтора

Порядок, которым это делают

Опытный инженер не ищет наугад, а идёт от дешёвого к дорогому — одним и тем же списком при любой жалобе на базу. Он же — быстрая отладка этого слоя.

  1. Процесс: docker compose ps -a. Флаг -a показывает и остановленные контейнеры, без него упавшая база просто исчезнет из списка. В колонке STATUS смотри Up или Exited и код в скобках.
  2. Подключения: docker compose exec db pg_isready -U shop. -U — имя пользователя, пароль не нужен. Ответ accepting connections — сервер принимает подключения.
  3. Журнал: docker compose logs db --tail 20, где --tail 20 — двадцать последних строк. Ищи FATAL и PANIC: в них почти всегда названа причина.
  4. Диск: df -h /, флаг -h печатает размеры в понятных единицах. Смотри колонку Use%.
  5. Что внутри: в psql запрос SELECT count(*) FROM pg_stat_activity; — сколько подключений, и SELECT pid, state, wait_event_type FROM pg_stat_activity WHERE datname = 'shop'; — кто чем занят. pid — номер подключения, state — что оно делает, wait_event_type — чего ждёт.

Чинят двумя способами: базу без процесса поднимают docker compose start db, а мешающее подключение снимают функциями pg_cancel_backend(pid) — отменить текущий запрос — и pg_terminate_backend(pid) — закрыть подключение целиком, с откатом его транзакции. Какую выбрать, реши сам по тому, что увидишь.

Как понять, что миссия сдана

Перед сдачей пройди список ещё раз. pg_isready отвечает accepting connections, в журнале базы есть строка terminating connection due to administrator command, SELECT city FROM customers WHERE id = 2; отвечает Омск, а подключений в состоянии idle in transaction не осталось ни одного. В отчёте названо, что нашёл в pg_stat_activity. Выйди из psql во всех терминалах.

Чем закрывается раздел

Ты поднял базу в Compose, научился читать и менять данные так, чтобы ошибку можно было отменить, ускорил запрос индексом, сделал копию и восстановился после аварии, поставил рядом Redis и узнал, как выглядит сломанная очередь. А теперь ещё и умеешь отличить упавшую базу от зависшей.

Дальше база будет с тобой постоянно. В мониторинге ты повесишь на неё экспортёр и увидишь число подключений и зависшие транзакции на графике, в логировании научишься искать по журналам стенда, а в CI/CD узнаешь, почему изменение схемы выкатывают отдельно от приложения.

Как это решал бы инженер

Разбор откроется, когда миссию примут: сначала разбери оба вызова сам, потом сравни ход мысли.

Решение откроется после сдачи.

Сначала попробуй сам — блок сдачи внизу страницы. Когда сдачу примут, здесь появится, как её решал бы инженер: в каком порядке, какими командами и как проверял.

Что спросят на собеседовании

  • Приложение говорит, что база не отвечает. Ваши действия?
    Жив ли контейнер или служба, отвечает ли pg_isready, что в журнале базы, есть ли место на диске. Если база жива — смотреть pg_stat_activity: число подключений и кто ждёт блокировку.
  • Что такое idle in transaction и чем опасно?
    Подключение открыло транзакцию и ничего не делает. Оно держит блокировки и мешает очистке старых версий строк. Лечится pg_terminate_backend и настройкой idle_in_transaction_session_timeout.
  • Чем pg_cancel_backend отличается от pg_terminate_backend?
    Первый отменяет текущий запрос, подключение остаётся. Второй закрывает подключение целиком, и его открытая транзакция откатывается.
Практика 07+450 XP

Разбирать жалобу «база не отвечает» по порядку: жив ли процесс, что в журнале, есть ли место, кто держит подключения.

  • База принимает подключения
  • Виновник найден и снят
  • Зависший запрос прошёл
  • Висящих транзакций не осталось
  • Разбор записан
Команда сдачи — выполни на своей машине
команда
cd ~/infra/db 2>/dev/null || echo NODB; echo READY=$(docker compose exec -T db pg_isready -U shop | grep -c accepting); echo KILLED=$(docker compose logs db | grep -c 'administrator command'); echo CITY=$(docker compose exec -T db psql -U shop -Atc 'SELECT city FROM customers WHERE id = 2'); echo IDLETX=$(docker compose exec -T db psql -U shop -Atc "SELECT count(*) FROM pg_stat_activity WHERE state = 'idle in transaction'"); echo ---; cat ~/devops-lab/reports/db-incident.txt

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.