Provision
—— XP

Практика: бэкап и проверка восстановления

практика~90 минут+750 XP

Этап 6. Мониторинг сообщит, что база сломалась, но не вернёт её. Вернуть может только копия — и только та, из которой уже однажды восстанавливались.

Здесь собирается всё, что ты прошёл в разделах про скрипты, расписание и базы данных: скрипт копии в строгом режиме, таймер systemd, вторая копия на другой машине, метрика свежести и проверка восстановления в чистый контейнер.

Шаг 1. Куда и под каким именем

Скрипт пишется на рабочей машине в ~/final/backup/pg-backup.sh, как и всё в проекте. Его начало — строгий режим из раздела про bash и имя файла с датой и временем, чтобы копии не затирали друг друга:

pg-backup.sh — начало
#!/usr/bin/env bash
set -euo pipefail
dir=/var/backups/final
file="$dir/final-$(date +%F-%H%M).dump"

set -euo pipefail останавливает скрипт на первой же ошибке. Это важно ниже: если копия не снялась, скрипт не дойдёт до строки, которая сообщает «копия свежая».

Шаг 2. Снять копию

Копию снимает pg_dump внутри контейнера базы, вывод уходит в файл на машине:

pg-backup.sh — копия
docker exec final-db-1 pg_dump -U postgres -Fc postgres > "$file"
ln -sf "$(basename "$file")" "$dir/latest.dump"

Имя контейнера final-db-1 постоянное: его задаёт строка name: final в описании Compose. -Fc — собственный сжатый формат PostgreSQL, из которого pg_restore умеет восстанавливать выборочно. Последняя строка делает ссылку latest.dump на свежую копию — она пригодится при проверке.

Шаг 3. Вторая копия и уборка

Копия на той же машине пропадёт вместе с её диском. Поэтому сразу отправляем её на final-ops и удаляем местные копии старше недели:

pg-backup.sh — вторая копия
rsync -a "$file" final-ops:/srv/backups/final/
find "$dir" -name 'final-*.dump' -mtime +7 -delete

-mtime +7 — файлы, изменённые больше семи суток назад. На final-ops храни дольше, хотя бы месяц: это и есть смысл второго места.

Чтобы rsync прошёл без пароля, у final-app должен быть свой ключ к final-ops — как ключ стенда в разделе 03. Это единственное, что делается прямо на машине: закрытый ключ не должен покидать final-app. Там создай его командой ssh-keygen -t ed25519, публичную половину допиши в ~/.ssh/authorized_keys на final-ops, а в ~/.ssh/config на final-app заведи Host final-ops с внутренним адресом 10.10.1.12. Каталоги /var/backups/final на final-app и /srv/backups/final на final-ops с владельцем devops создай задачей роли base — модулем file.

Шаг 4. Метрика свежести

Последний кусок скрипта пишет время успешной копии в каталог, который читает node_exporter из прошлого этапа:

pg-backup.sh — метрика
prom=/var/lib/node_exporter/backup.prom
echo "final_backup_last_success_timestamp_seconds $(date +%s)" > "$prom.tmp"
mv "$prom.tmp" "$prom"

Запись через временный файл и mv нужна, чтобы экспортёр никогда не прочитал файл наполовину написанным. echo сам ставит перевод строки в конце, а без него экспортёр файл не примет. Благодаря строгому режиму эта строка выполняется, только если всё выше прошло без ошибки. Каталог /var/lib/node_exporter принадлежит devops — так его создала роль в прошлом этапе; если владелец root, mv упадёт с Permission denied.

Шаг 5. Сделать исполняемым и отвезти

systemd запускает скрипт напрямую, как программу, а не через bash. Для этого у файла должен стоять бит исполнения — без него служба упадёт с кодом 203/EXEC. На рабочей машине:

ubuntu@stand:~$
chmod +x ~/final/backup/pg-backup.sh

Флаг +x добавляет право на исполнение. Git запоминает этот бит, а rsync -a переносит его на машину. Отвези:

ubuntu@stand:~$
rsync -a ~/final/ final-app:final/

Шаг 6. Первый запуск руками

Прежде чем ставить скрипт на расписание, зайди на final-app, запусти его сам — так же, как его запустит systemd, — и посмотри, что получилось:

ubuntu@stand:~$
~/final/backup/pg-backup.sh
ubuntu@stand:~$
ls -lh /var/backups/final
ubuntu@stand:~$
-rw-r--r-- 1 devops devops 2.1M Oct  1 14:20 final-2026-10-01-1420.dump
lrwxrwxrwx 1 devops devops   26 Oct  1 14:20 latest.dump -> final-2026-10-01-1420.dump

Флаг -l даёт подробный список, -h — размеры в понятных единицах. Копия весит 2 МБ, а latest.dump — ссылка на неё. Размер в ноль байт значит, что pg_dump упал, а файл создало перенаправление. Permission denied при запуске — не сработал chmod +x.

Шаг 7. Копия на второй машине

Проверим, что rsync довёз её на final-ops:

ubuntu@stand:~$
ssh final-ops ls -lh /srv/backups/final
ubuntu@stand:~$
-rw-r--r-- 1 devops devops 2.1M Oct  1 14:20 final-2026-10-01-1420.dump

Тот же размер — копия доехала целиком.

Шаг 8. Расписание

Расписание — таймер systemd из раздела про сервер, а не cron: у него есть журнал и он догоняет пропущенный запуск. Оба файла юнитов пишутся в репозиторий, в backup/, а на машину их кладёт задача роли Ansible: модуль copy в /etc/systemd/system/ и модуль systemd с daemon_reload: true, enabled: true и state: started для таймера. Сервис backup/final-backup.service:

backup/final-backup.service
[Service]
Type=oneshot
User=devops
ExecStart=/home/devops/final/backup/pg-backup.sh

И таймер final-backup.timer рядом:

backup/final-backup.timer
[Timer]
OnCalendar=*-*-* 03:00
Persistent=true

[Install]
WantedBy=timers.target

Persistent=true — если в три ночи машина была выключена, копия снимется сразу после включения. С рабочей машины примени роль к final-app командой ansible-playbook ansible/site.yml --limit app, затем на машине проверь таймер:

ubuntu@stand:~$
systemctl list-timers final-backup.timer
ubuntu@stand:~$
NEXT                        LEFT LAST PASSED UNIT               ACTIVATES
Sat 2026-10-03 03:00:00 UTC  17h -         - final-backup.timer final-backup.service

В колонке NEXT — когда будет следующая копия, прочерк в LAST значит, что таймер ещё ни разу не срабатывал. Ждать трёх ночи, чтобы узнать, работает ли служба, не нужно: запусти её сейчас так, как это сделает таймер.

Шаг 9. Служба под systemd

Ручной запуск в шаге 6 шёл от тебя и из твоей оболочки. systemd запускает скрипт иначе: от пользователя из User=, без твоих переменных и напрямую. Поэтому проверяем отдельно:

ubuntu@stand:~$
sudo systemctl start final-backup.service

Команда ждёт, пока служба отработает, и молчит при успехе. Итог смотрим свойствами службы — флаг -p выбирает нужные:

ubuntu@stand:~$
systemctl show final-backup -p Result -p ExecMainStatus
ubuntu@stand:~$
Result=success
ExecMainStatus=0

Result=success и код 0 — служба отработала. Если там exit-code и 203, скрипт не исполняемый — вернись к шагу 5. Другой код — смотри, что скрипт написал, командой journalctl -u final-backup.service -n 20.

Шаг 10. Алерт на пропуск

Копия может перестать делаться тихо: кончилось место на final-ops, сменился ключ SSH. Поэтому в alerts.yml добавляется третье правило — копия старше 26 часов:

alerts.yml — бэкап
      - alert: BackupTooOld
        expr: time() - final_backup_last_success_timestamp_seconds > 26 * 3600
        for: 10m

26, а не 24 — запас на то, что копия может сняться на полчаса позже. Отвези alerts.yml на final-ops и перезапусти Prometheus, чтобы он прочитал правило.

Шаг 11. Чистый контейнер для проверки

Теперь главное. Проверяем ту копию, на которую придётся надеяться, когда final-app сгорит, — внешнюю, на final-ops. Восстанавливать будем не в рабочую базу, а в пустую, поднятую там на минуту. Файл backup/restore-test.yaml:

backup/restore-test.yaml
services:
  restore:
    image: postgres:17
    environment: { POSTGRES_PASSWORD: test }
    volumes: ["/srv/backups/final:/backups:ro"]

Каталог копий смонтирован только для чтения: проверка не должна иметь возможности испортить копию. Отвези файл на final-ops, зайди туда и перейди в его каталог:

ubuntu@stand:~$
cd final/backup

Подними проверочную базу и зайди внутрь:

ubuntu@stand:~$
docker compose -f restore-test.yaml up -d
ubuntu@stand:~$
 ✔ Container backup-restore-1  Started
ubuntu@stand:~$
docker compose -f restore-test.yaml exec restore bash
ubuntu@stand:~$
root@5c1e2a9b7d40:/#

Приглашение сменилось на root@… — ты внутри проверочного контейнера, а не на машине.

Шаг 12. Восстановление с секундомером

Ссылки latest.dump на final-ops нет — rsync возит только сами копии. Посмотри, какая свежая:

ubuntu@stand:~$
ls /backups
ubuntu@stand:~$
final-2026-10-01-1420.dump

Положи её имя в переменную, чтобы не набирать длинную строку дважды:

ubuntu@stand:~$
F=/backups/final-2026-10-01-1420.dump

Восстанавливаем, а time впереди замеряет, сколько это заняло:

ubuntu@stand:~$
time pg_restore -U postgres -d postgres $F
ubuntu@stand:~$
real    0m1.842s
user    0m0.091s
sys     0m0.034s

Флаг -U — пользователь, -d — база, в которую восстанавливать. Смотреть нужно на real — настоящее время по часам. Дальше проверь, что данные на месте:

ubuntu@stand:~$
psql -U postgres -c '\dt'
ubuntu@stand:~$
         List of relations
 Schema |  Name  | Type  |  Owner
--------+--------+-------+----------
 public | visits | table | postgres

Флаг -c выполняет одну команду и выходит, \dt — список таблиц. Таблицы те же, что в рабочей базе. Сверь число строк запросом select count(*) from visits здесь и ответом /items сайта: числа должны совпасть, если после копии никто не заходил.

Шаг 13. Убрать и записать

Выйди из контейнера командой exit и снеси его вместе с томом:

ubuntu@stand:~$
docker compose -f restore-test.yaml down -v
ubuntu@stand:~$
 ✔ Container backup-restore-1  Removed

Флаг -v удаляет и тома — проверочная база больше не нужна. Теперь на рабочей машине запиши в README строку, ради которой всё делалось: «Восстановление из внешней копии: 2 с на 2 МБ, проверено 01.10». Это и есть твоё время восстановления, о котором шла речь в разделе про базы данных.

Шаг 14. Зафиксировать

Скрипт, юниты, задачи роли, правило и строка в README уходят в репозиторий одним коммитом:

ubuntu@stand:~$
git add backup/ ansible/ ops/monitoring/alerts.yml README.md
ubuntu@stand:~$
git commit -m "backup: копия по таймеру и проверка"

Скрипт стоит прогнать через shellcheck и добавить эту проверку задачей в стадию check конвейера — тогда ошибку в скрипте поймает не ночь, а коммит. Вставь команду сдачи в блок ниже.

Что дальше

Всё построено. Остался экзамен, которого не избежать ни одной системе: авария. В следующем уроке ты устроишь её себе сам, поймаешь по алерту, починишь и напишешь разбор.

Практика 05+750 XP

Сделать бэкап, которому можно верить: он делается сам, лежит на другой машине, о его пропуске сообщит алерт, а восстановление из него проверено и замерено.

  • Копия лежит на другой машине
  • Копия делается по расписанию
  • Служба копии отработала под systemd
  • Пропуск копии поймает алерт
  • Последняя копия моложе суток с запасом
  • Время восстановления записано
Команда сдачи — выполни на своей машине
команда
ssh final-ops ls -l /srv/backups/final; ssh final-app systemctl list-timers final-backup.timer --no-pager; ssh final-app systemctl show final-backup.service -p Result -p ExecMainStatus -p ExecMainExitTimestamp; ssh final-ops curl -s localhost:9090/api/v1/rules | grep -o BackupTooOld | head -n 1; ssh final-ops curl -s localhost:9090/api/v1/query?query=time%28%29-final_backup_last_success_timestamp_seconds; echo; grep -i 'восстановлен' ~/final/README.md

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.