Когда база одна, её авария — это авария всего сервиса, а рост нагрузки упирается в одну машину. Две самые частые вещи, которые ставят рядом с базой, — реплика и пул соединений. Реплика — это вторая база, которая непрерывно повторяет за основной все изменения. Пул — программа-посредник, которая экономит подключения к базе. Обе есть почти в любом проекте, где базе нельзя надолго падать, и обе ты будешь встречать в описаниях стендов и в разговорах на собеседованиях. Чего они не делают: реплика не заменяет резервные копии, а пул не ускоряет медленные запросы.
Реплику проще всего представить как второго писаря, который сидит рядом и пишет под ту же диктовку. Заболел первый — второй продолжит. Но если продиктовали ошибку, её запишут оба.
Из урока ты узнаешь, что такие штуки дают, где их пределы и что из этого джуну нужно уметь узнать по виду. Настраивать их своими руками на старте не придётся.
Реплика: что даёт и чего не даёт
Основную базу называют ведущей (в английских статьях — primary, раньше master). Каждое изменение она записывает в свой журнал и отправляет его реплике, а та проигрывает журнал у себя. Получается вторая база, байт в байт такая же, но только для чтения.
ДАЁТ НЕ ДАЁТ
переживание отказа машины защиты от ошибки человека:
разгрузку чтения: отчёты DROP TABLE доедет до реплики
можно гонять на реплике за доли секунды
копии без нагрузки на ведущую ускорения записи: пишет
по-прежнему одна ведущаяГлавное из этой таблицы: реплика и резервная копия решают разные задачи. Реплика спасает от сгоревшего диска, копия — от неверной команды и ошибки в коде. Фраза «у нас есть реплика, копии не нужны» — самая дорогая экономия в эксплуатации баз.
Изменения доезжают до реплики не мгновенно. Разница во времени называется отставанием (replication lag). Обычно это доли секунды, но под нагрузкой или при плохой сети отставание вырастает до минут, и тогда с реплики читаются устаревшие данные: пользователь оплатил заказ, а на странице, которая читает с реплики, он всё ещё «не оплачен». Отставание — первое, что выводят на график, когда реплика появляется.
Реплика сама по себе не берёт на себя работу при аварии. Для этого нужен ещё один участник.
Переключение
Когда ведущая падает, кто-то должен сказать реплике «теперь ты главная» и перевести приложение на новый адрес. Это называется переключением (failover). Вручную на это уходят десятки минут, поэтому его поручают программам. Самая известная для Postgres — Patroni: она следит за узлами и сама назначает новую ведущую. В облаках то же самое делает управляемая база, например Amazon RDS или Yandex Managed Service for PostgreSQL, — там переключение входит в услугу.
Для джуна здесь достаточно знать слова и смысл: в каком состоянии узлы и кто сейчас ведущий, показывает сам инструмент переключения. Подробная настройка — работа для того, кто через год будет отвечать за кластер баз.
Теперь о пределе, в который база упирается гораздо раньше, чем в отказ машины.
Соединения: предел, о котором не думают
Масштабировать приложение до сих пор было просто: подняли ещё три копии — стало втрое больше рук. С базой это даёт обратный эффект. В Postgres каждое подключение — отдельный процесс операционной системы со своей памятью, и их число ограничено настройкой max_connections, по умолчанию 100.
Посчитай: десять копий приложения, у каждой свой набор по двадцать подключений, — это двести процессов. Сто первое подключение база не пустит, и приложение получит ошибку:
FATAL: sorry, too many clients alreadyУзнать, сколько подключений сейчас и сколько можно, — два коротких запроса:
shop=# SELECT count(*) FROM pg_stat_activity; count ------- 6 (1 row) shop=# SHOW max_connections; max_connections ----------------- 100
Представление pg_stat_activity перечисляет все процессы базы, включая служебные, поэтому даже на пустом стенде их несколько. Если число подбирается к max_connections, это тревога задолго до ошибки.
Поднять max_connections до тысячи — не выход: каждый процесс берёт память, и база уходит в своп. Решают это иначе.
Пул соединений: PgBouncer
PgBouncer — маленькая программа, которая встаёт между приложением и базой. Приложение думает, что держит двести подключений, а PgBouncer держит к базе двадцать настоящих и раздаёт их по очереди: подключение возвращается в общий пул сразу после окончания транзакции.
приложение x10 ──200 подключений──► PgBouncer ──20──► Postgres
Работает это как кассы в магазине: покупателей сотня, касс пять, и никто не держит кассу за собой весь поход по магазину: подошёл, пробил, ушёл.
Есть у пула и цена: некоторые возможности, привязанные к одному подключению, в таком режиме перестают работать. Это забота разработчиков, но фразу «у нас PgBouncer в режиме transaction» ты услышишь и теперь поймёшь, о чём она. Число подключений ты выведешь на график в следующем разделе, про мониторинг: у экспортёра postgres-exporter есть и метрика отставания реплики, pg_replication_lag_seconds, она появится, когда реплика будет настоящей.
Словарь урока
Что спросят на собеседовании
- Заменяет ли реплика резервные копии?Нет. Реплика повторяет все изменения, включая ошибочные удаления. Она защищает от отказа машины, копия — от ошибки человека и кода.
- Зачем нужен PgBouncer?В Postgres каждое подключение — процесс с памятью, и их число ограничено. Пул позволяет сотням клиентов работать через десятки настоящих подключений.
- Чем опасно отставание реплики?Чтение с реплики может вернуть устаревшие данные. При переключении во время отставания теряются транзакции, которые не успели доехать.
Что дальше
Дальше — сосед базы, который почти всегда стоит в том же стеке: кеш Redis.