Этап 6. Мониторинг сообщит, что база сломалась, но не вернёт её. Вернуть может только копия — и только та, из которой уже однажды восстанавливались.
Здесь собирается всё, что ты прошёл в разделах про скрипты, расписание и базы данных: скрипт копии в строгом режиме, таймер systemd, вторая копия на другой машине, метрика свежести и проверка восстановления в чистый контейнер.
Шаг 1. Куда и под каким именем
Скрипт пишется на рабочей машине в ~/final/backup/pg-backup.sh, как и всё в проекте. Его начало — строгий режим из раздела про bash и имя файла с датой и временем, чтобы копии не затирали друг друга:
#!/usr/bin/env bash set -euo pipefail dir=/var/backups/final file="$dir/final-$(date +%F-%H%M).dump"
set -euo pipefail останавливает скрипт на первой же ошибке. Это важно ниже: если копия не снялась, скрипт не дойдёт до строки, которая сообщает «копия свежая».
Шаг 2. Снять копию
Копию снимает pg_dump внутри контейнера базы, вывод уходит в файл на машине:
docker exec final-db-1 pg_dump -U postgres -Fc postgres > "$file" ln -sf "$(basename "$file")" "$dir/latest.dump"
Имя контейнера final-db-1 постоянное: его задаёт строка name: final в описании Compose. -Fc — собственный сжатый формат PostgreSQL, из которого pg_restore умеет восстанавливать выборочно. Последняя строка делает ссылку latest.dump на свежую копию — она пригодится при проверке.
Шаг 3. Вторая копия и уборка
Копия на той же машине пропадёт вместе с её диском. Поэтому сразу отправляем её на final-ops и удаляем местные копии старше недели:
rsync -a "$file" final-ops:/srv/backups/final/ find "$dir" -name 'final-*.dump' -mtime +7 -delete
-mtime +7 — файлы, изменённые больше семи суток назад. На final-ops храни дольше, хотя бы месяц: это и есть смысл второго места.
Чтобы rsync прошёл без пароля, у final-app должен быть свой ключ к final-ops — как ключ стенда в разделе 03. Это единственное, что делается прямо на машине: закрытый ключ не должен покидать final-app. Там создай его командой ssh-keygen -t ed25519, публичную половину допиши в ~/.ssh/authorized_keys на final-ops, а в ~/.ssh/config на final-app заведи Host final-ops с внутренним адресом 10.10.1.12. Каталоги /var/backups/final на final-app и /srv/backups/final на final-ops с владельцем devops создай задачей роли base — модулем file.
Шаг 4. Метрика свежести
Последний кусок скрипта пишет время успешной копии в каталог, который читает node_exporter из прошлого этапа:
prom=/var/lib/node_exporter/backup.prom echo "final_backup_last_success_timestamp_seconds $(date +%s)" > "$prom.tmp" mv "$prom.tmp" "$prom"
Запись через временный файл и mv нужна, чтобы экспортёр никогда не прочитал файл наполовину написанным. echo сам ставит перевод строки в конце, а без него экспортёр файл не примет. Благодаря строгому режиму эта строка выполняется, только если всё выше прошло без ошибки. Каталог /var/lib/node_exporter принадлежит devops — так его создала роль в прошлом этапе; если владелец root, mv упадёт с Permission denied.
Шаг 5. Сделать исполняемым и отвезти
systemd запускает скрипт напрямую, как программу, а не через bash. Для этого у файла должен стоять бит исполнения — без него служба упадёт с кодом 203/EXEC. На рабочей машине:
chmod +x ~/final/backup/pg-backup.shФлаг +x добавляет право на исполнение. Git запоминает этот бит, а rsync -a переносит его на машину. Отвези:
rsync -a ~/final/ final-app:final/Шаг 6. Первый запуск руками
Прежде чем ставить скрипт на расписание, зайди на final-app, запусти его сам — так же, как его запустит systemd, — и посмотри, что получилось:
~/final/backup/pg-backup.shls -lh /var/backups/final-rw-r--r-- 1 devops devops 2.1M Oct 1 14:20 final-2026-10-01-1420.dump lrwxrwxrwx 1 devops devops 26 Oct 1 14:20 latest.dump -> final-2026-10-01-1420.dump
Флаг -l даёт подробный список, -h — размеры в понятных единицах. Копия весит 2 МБ, а latest.dump — ссылка на неё. Размер в ноль байт значит, что pg_dump упал, а файл создало перенаправление. Permission denied при запуске — не сработал chmod +x.
Шаг 7. Копия на второй машине
Проверим, что rsync довёз её на final-ops:
ssh final-ops ls -lh /srv/backups/final-rw-r--r-- 1 devops devops 2.1M Oct 1 14:20 final-2026-10-01-1420.dumpТот же размер — копия доехала целиком.
Шаг 8. Расписание
Расписание — таймер systemd из раздела про сервер, а не cron: у него есть журнал и он догоняет пропущенный запуск. Оба файла юнитов пишутся в репозиторий, в backup/, а на машину их кладёт задача роли Ansible: модуль copy в /etc/systemd/system/ и модуль systemd с daemon_reload: true, enabled: true и state: started для таймера. Сервис backup/final-backup.service:
[Service] Type=oneshot User=devops ExecStart=/home/devops/final/backup/pg-backup.sh
И таймер final-backup.timer рядом:
[Timer] OnCalendar=*-*-* 03:00 Persistent=true [Install] WantedBy=timers.target
Persistent=true — если в три ночи машина была выключена, копия снимется сразу после включения. С рабочей машины примени роль к final-app командой ansible-playbook ansible/site.yml --limit app, затем на машине проверь таймер:
systemctl list-timers final-backup.timerNEXT LEFT LAST PASSED UNIT ACTIVATES Sat 2026-10-03 03:00:00 UTC 17h - - final-backup.timer final-backup.service
В колонке NEXT — когда будет следующая копия, прочерк в LAST значит, что таймер ещё ни разу не срабатывал. Ждать трёх ночи, чтобы узнать, работает ли служба, не нужно: запусти её сейчас так, как это сделает таймер.
Шаг 9. Служба под systemd
Ручной запуск в шаге 6 шёл от тебя и из твоей оболочки. systemd запускает скрипт иначе: от пользователя из User=, без твоих переменных и напрямую. Поэтому проверяем отдельно:
sudo systemctl start final-backup.serviceКоманда ждёт, пока служба отработает, и молчит при успехе. Итог смотрим свойствами службы — флаг -p выбирает нужные:
systemctl show final-backup -p Result -p ExecMainStatusResult=success ExecMainStatus=0
Result=success и код 0 — служба отработала. Если там exit-code и 203, скрипт не исполняемый — вернись к шагу 5. Другой код — смотри, что скрипт написал, командой journalctl -u final-backup.service -n 20.
Шаг 10. Алерт на пропуск
Копия может перестать делаться тихо: кончилось место на final-ops, сменился ключ SSH. Поэтому в alerts.yml добавляется третье правило — копия старше 26 часов:
- alert: BackupTooOld expr: time() - final_backup_last_success_timestamp_seconds > 26 * 3600 for: 10m
26, а не 24 — запас на то, что копия может сняться на полчаса позже. Отвези alerts.yml на final-ops и перезапусти Prometheus, чтобы он прочитал правило.
Шаг 11. Чистый контейнер для проверки
Теперь главное. Проверяем ту копию, на которую придётся надеяться, когда final-app сгорит, — внешнюю, на final-ops. Восстанавливать будем не в рабочую базу, а в пустую, поднятую там на минуту. Файл backup/restore-test.yaml:
services: restore: image: postgres:17 environment: { POSTGRES_PASSWORD: test } volumes: ["/srv/backups/final:/backups:ro"]
Каталог копий смонтирован только для чтения: проверка не должна иметь возможности испортить копию. Отвези файл на final-ops, зайди туда и перейди в его каталог:
cd final/backupПодними проверочную базу и зайди внутрь:
docker compose -f restore-test.yaml up -d ✔ Container backup-restore-1 Starteddocker compose -f restore-test.yaml exec restore bashroot@5c1e2a9b7d40:/#Приглашение сменилось на root@… — ты внутри проверочного контейнера, а не на машине.
Шаг 12. Восстановление с секундомером
Ссылки latest.dump на final-ops нет — rsync возит только сами копии. Посмотри, какая свежая:
ls /backupsfinal-2026-10-01-1420.dumpПоложи её имя в переменную, чтобы не набирать длинную строку дважды:
F=/backups/final-2026-10-01-1420.dumpВосстанавливаем, а time впереди замеряет, сколько это заняло:
time pg_restore -U postgres -d postgres $Freal 0m1.842s user 0m0.091s sys 0m0.034s
Флаг -U — пользователь, -d — база, в которую восстанавливать. Смотреть нужно на real — настоящее время по часам. Дальше проверь, что данные на месте:
psql -U postgres -c '\dt'List of relations Schema | Name | Type | Owner --------+--------+-------+---------- public | visits | table | postgres
Флаг -c выполняет одну команду и выходит, \dt — список таблиц. Таблицы те же, что в рабочей базе. Сверь число строк запросом select count(*) from visits здесь и ответом /items сайта: числа должны совпасть, если после копии никто не заходил.
Шаг 13. Убрать и записать
Выйди из контейнера командой exit и снеси его вместе с томом:
docker compose -f restore-test.yaml down -v ✔ Container backup-restore-1 RemovedФлаг -v удаляет и тома — проверочная база больше не нужна. Теперь на рабочей машине запиши в README строку, ради которой всё делалось: «Восстановление из внешней копии: 2 с на 2 МБ, проверено 01.10». Это и есть твоё время восстановления, о котором шла речь в разделе про базы данных.
Шаг 14. Зафиксировать
Скрипт, юниты, задачи роли, правило и строка в README уходят в репозиторий одним коммитом:
git add backup/ ansible/ ops/monitoring/alerts.yml README.mdgit commit -m "backup: копия по таймеру и проверка"Скрипт стоит прогнать через shellcheck и добавить эту проверку задачей в стадию check конвейера — тогда ошибку в скрипте поймает не ночь, а коммит. Вставь команду сдачи в блок ниже.
Что дальше
Всё построено. Остался экзамен, которого не избежать ни одной системе: авария. В следующем уроке ты устроишь её себе сам, поймаешь по алерту, починишь и напишешь разбор.