Два вызова за одну смену. В первом база действительно упала. Во втором она жива, отвечает на проверки — а приложение висит. Снаружи жалоба одна и та же: «база не отвечает». Разница становится видна только тем, кто проверяет по порядку.
Это миссия: аварии ты устроишь сам, а дальше команды выбираешь сам — готового вывода у них здесь нет. Работаешь в каталоге ~/infra/db со стендом из этого раздела. Для второго вызова понадобятся три терминала, все в этом же каталоге.
Подготовка к вызову 1
Сначала устрой поломку — останови базу, как если бы её процесс упал.
cd ~/infra/db docker compose stop db
С этого момента представь, что ты ничего не знаешь, а в чат пришло «база не отвечает».
Задание 1. База не отвечает
Приложение не может подключиться к базе. Ответь на вопросы и почини:
- жив ли контейнер базы, и если нет — как он кончился: штатно или с ошибкой;
- что база написала в журнал перед остановкой и есть ли там
FATALилиPANIC; - хватит ли места на диске, чтобы база не упала снова сразу после подъёма;
- подними базу и убедись, что она принимает подключения, а не просто что контейнер запущен.
Ответы записывай сразу — они пойдут в отчёт.
Подготовка к вызову 2
Когда первый вызов закрыт, устрой второй. В первом терминале открой psql, начни транзакцию и измени строку — но не фиксируй, как будто коллега отошёл за кофе посреди правки. BEGIN открывает транзакцию, а без COMMIT правка так и висит незаконченной.
docker compose exec db psql -U shop shop=# BEGIN; shop=*# UPDATE customers SET city = 'Сочи' WHERE id = 2;
Во втором терминале попробуй изменить ту же строку — как это сделало бы приложение.
docker compose exec db psql -U shop shop=# UPDATE customers SET city = 'Омск' WHERE id = 2;
Ответа не будет: курсор мигает, приглашение не возвращается. Оба терминала оставь как есть и не прерывай запрос.
Задание 2. Запрос висит
Приложение снова жалуется: «база не отвечает». Работай в третьем терминале и ответь:
- жива ли база и принимает ли подключения — то есть та же ли это авария, что в первом вызове;
- сколько подключений открыто и кто из них чем занят;
- кто кого ждёт: какое подключение держит строку, а какое стоит в очереди;
- сними виновника так, чтобы запрос из второго терминала прошёл, и в базе для покупателя 2 оказался город
Омск.
Отчёт
Запиши разбор в ~/devops-lab/reports/db-incident.txt. Короткий разбор после каждой аварии — привычка, которая через полгода превращается в базу знаний команды. Пиши по строке на каждую команду и то, что она показала, и в конце — чем починил и как не допустить повтора. Скелет:
Вызов 1: что увидел и в каком порядке починка: что сделал Вызов 2: что увидел и в каком порядке виновник: какое подключение и в каком состоянии починка: что сделал профилактика: как не допустить повтора
Порядок, которым это делают
Опытный инженер не ищет наугад, а идёт от дешёвого к дорогому — одним и тем же списком при любой жалобе на базу. Он же — быстрая отладка этого слоя.
- Процесс:
docker compose ps -a. Флаг-aпоказывает и остановленные контейнеры, без него упавшая база просто исчезнет из списка. В колонкеSTATUSсмотриUpилиExitedи код в скобках. - Подключения:
docker compose exec db pg_isready -U shop.-U— имя пользователя, пароль не нужен. Ответaccepting connections— сервер принимает подключения. - Журнал:
docker compose logs db --tail 20, где--tail 20— двадцать последних строк. ИщиFATALиPANIC: в них почти всегда названа причина. - Диск:
df -h /, флаг-hпечатает размеры в понятных единицах. Смотри колонкуUse%. - Что внутри: в psql запрос
SELECT count(*) FROM pg_stat_activity;— сколько подключений, иSELECT pid, state, wait_event_type FROM pg_stat_activity WHERE datname = 'shop';— кто чем занят.pid— номер подключения,state— что оно делает,wait_event_type— чего ждёт.
Чинят двумя способами: базу без процесса поднимают docker compose start db, а мешающее подключение снимают функциями pg_cancel_backend(pid) — отменить текущий запрос — и pg_terminate_backend(pid) — закрыть подключение целиком, с откатом его транзакции. Какую выбрать, реши сам по тому, что увидишь.
Как понять, что миссия сдана
Перед сдачей пройди список ещё раз. pg_isready отвечает accepting connections, в журнале базы есть строка terminating connection due to administrator command, SELECT city FROM customers WHERE id = 2; отвечает Омск, а подключений в состоянии idle in transaction не осталось ни одного. В отчёте названо, что нашёл в pg_stat_activity. Выйди из psql во всех терминалах.
Чем закрывается раздел
Ты поднял базу в Compose, научился читать и менять данные так, чтобы ошибку можно было отменить, ускорил запрос индексом, сделал копию и восстановился после аварии, поставил рядом Redis и узнал, как выглядит сломанная очередь. А теперь ещё и умеешь отличить упавшую базу от зависшей.
Дальше база будет с тобой постоянно. В мониторинге ты повесишь на неё экспортёр и увидишь число подключений и зависшие транзакции на графике, в логировании научишься искать по журналам стенда, а в CI/CD узнаешь, почему изменение схемы выкатывают отдельно от приложения.
Как это решал бы инженер
Разбор откроется, когда миссию примут: сначала разбери оба вызова сам, потом сравни ход мысли.
Сначала попробуй сам — блок сдачи внизу страницы. Когда сдачу примут, здесь появится, как её решал бы инженер: в каком порядке, какими командами и как проверял.
Что спросят на собеседовании
- Приложение говорит, что база не отвечает. Ваши действия?Жив ли контейнер или служба, отвечает ли pg_isready, что в журнале базы, есть ли место на диске. Если база жива — смотреть pg_stat_activity: число подключений и кто ждёт блокировку.
- Что такое idle in transaction и чем опасно?Подключение открыло транзакцию и ничего не делает. Оно держит блокировки и мешает очистке старых версий строк. Лечится pg_terminate_backend и настройкой idle_in_transaction_session_timeout.
- Чем pg_cancel_backend отличается от pg_terminate_backend?Первый отменяет текущий запрос, подключение остаётся. Второй закрывает подключение целиком, и его открытая транзакция откатывается.