Provision
—— XP

Реплика и пул соединений

теория~6 минут+180 XP

Когда база одна, её авария — это авария всего сервиса, а рост нагрузки упирается в одну машину. Две самые частые вещи, которые ставят рядом с базой, — реплика и пул соединений. Реплика — это вторая база, которая непрерывно повторяет за основной все изменения. Пул — программа-посредник, которая экономит подключения к базе. Обе есть почти в любом проекте, где базе нельзя надолго падать, и обе ты будешь встречать в описаниях стендов и в разговорах на собеседованиях. Чего они не делают: реплика не заменяет резервные копии, а пул не ускоряет медленные запросы.

Реплику проще всего представить как второго писаря, который сидит рядом и пишет под ту же диктовку. Заболел первый — второй продолжит. Но если продиктовали ошибку, её запишут оба.

Из урока ты узнаешь, что такие штуки дают, где их пределы и что из этого джуну нужно уметь узнать по виду. Настраивать их своими руками на старте не придётся.

Реплика: что даёт и чего не даёт

Основную базу называют ведущей (в английских статьях — primary, раньше master). Каждое изменение она записывает в свой журнал и отправляет его реплике, а та проигрывает журнал у себя. Получается вторая база, байт в байт такая же, но только для чтения.

  ДАЁТ                              НЕ ДАЁТ

  переживание отказа машины         защиты от ошибки человека:
  разгрузку чтения: отчёты          DROP TABLE доедет до реплики
  можно гонять на реплике           за доли секунды
  копии без нагрузки на ведущую     ускорения записи: пишет
                                    по-прежнему одна ведущая

Главное из этой таблицы: реплика и резервная копия решают разные задачи. Реплика спасает от сгоревшего диска, копия — от неверной команды и ошибки в коде. Фраза «у нас есть реплика, копии не нужны» — самая дорогая экономия в эксплуатации баз.

Изменения доезжают до реплики не мгновенно. Разница во времени называется отставанием (replication lag). Обычно это доли секунды, но под нагрузкой или при плохой сети отставание вырастает до минут, и тогда с реплики читаются устаревшие данные: пользователь оплатил заказ, а на странице, которая читает с реплики, он всё ещё «не оплачен». Отставание — первое, что выводят на график, когда реплика появляется.

Реплика сама по себе не берёт на себя работу при аварии. Для этого нужен ещё один участник.

Переключение

Когда ведущая падает, кто-то должен сказать реплике «теперь ты главная» и перевести приложение на новый адрес. Это называется переключением (failover). Вручную на это уходят десятки минут, поэтому его поручают программам. Самая известная для Postgres — Patroni: она следит за узлами и сама назначает новую ведущую. В облаках то же самое делает управляемая база, например Amazon RDS или Yandex Managed Service for PostgreSQL, — там переключение входит в услугу.

Для джуна здесь достаточно знать слова и смысл: в каком состоянии узлы и кто сейчас ведущий, показывает сам инструмент переключения. Подробная настройка — работа для того, кто через год будет отвечать за кластер баз.

Теперь о пределе, в который база упирается гораздо раньше, чем в отказ машины.

Соединения: предел, о котором не думают

Масштабировать приложение до сих пор было просто: подняли ещё три копии — стало втрое больше рук. С базой это даёт обратный эффект. В Postgres каждое подключение — отдельный процесс операционной системы со своей памятью, и их число ограничено настройкой max_connections, по умолчанию 100.

Посчитай: десять копий приложения, у каждой свой набор по двадцать подключений, — это двести процессов. Сто первое подключение база не пустит, и приложение получит ошибку:

журнал приложения
FATAL:  sorry, too many clients already

Узнать, сколько подключений сейчас и сколько можно, — два коротких запроса:

SQL
shop=# SELECT count(*) FROM pg_stat_activity;
 count
-------
     6
(1 row)

shop=# SHOW max_connections;
 max_connections
-----------------
 100

Представление pg_stat_activity перечисляет все процессы базы, включая служебные, поэтому даже на пустом стенде их несколько. Если число подбирается к max_connections, это тревога задолго до ошибки.

Поднять max_connections до тысячи — не выход: каждый процесс берёт память, и база уходит в своп. Решают это иначе.

Пул соединений: PgBouncer

PgBouncer — маленькая программа, которая встаёт между приложением и базой. Приложение думает, что держит двести подключений, а PgBouncer держит к базе двадцать настоящих и раздаёт их по очереди: подключение возвращается в общий пул сразу после окончания транзакции.

  приложение x10 ──200 подключений──► PgBouncer ──20──► Postgres

Работает это как кассы в магазине: покупателей сотня, касс пять, и никто не держит кассу за собой весь поход по магазину: подошёл, пробил, ушёл.

Есть у пула и цена: некоторые возможности, привязанные к одному подключению, в таком режиме перестают работать. Это забота разработчиков, но фразу «у нас PgBouncer в режиме transaction» ты услышишь и теперь поймёшь, о чём она. Число подключений ты выведешь на график в следующем разделе, про мониторинг: у экспортёра postgres-exporter есть и метрика отставания реплики, pg_replication_lag_seconds, она появится, когда реплика будет настоящей.

Словарь урока

Реплика
Вторая база, которая непрерывно повторяет все изменения ведущей. Только для чтения. ↩ к тексту
Ведущая
Основная база, которая принимает запись. В английских статьях primary или master. ↩ к тексту
Отставание
Насколько реплика позади ведущей по свежести данных. ↩ к тексту
Переключение
Назначение реплики новой ведущей при аварии. Делают Patroni или управляемая база. ↩ к тексту
max_connections
Предел числа подключений к Postgres. По умолчанию 100.
PgBouncer
Пул соединений: держит немного настоящих подключений к базе и раздаёт их клиентам. ↩ к тексту

Что спросят на собеседовании

  • Заменяет ли реплика резервные копии?
    Нет. Реплика повторяет все изменения, включая ошибочные удаления. Она защищает от отказа машины, копия — от ошибки человека и кода.
  • Зачем нужен PgBouncer?
    В Postgres каждое подключение — процесс с памятью, и их число ограничено. Пул позволяет сотням клиентов работать через десятки настоящих подключений.
  • Чем опасно отставание реплики?
    Чтение с реплики может вернуть устаревшие данные. При переключении во время отставания теряются транзакции, которые не успели доехать.

Что дальше

Дальше — сосед базы, который почти всегда стоит в том же стеке: кеш Redis.

Проверь себя+180 XPдве попытки
1
Реплика
На ведущей базе выполнили DROP TABLE orders. Что станет с репликой?
2
Отставание
Что такое отставание реплики?
3
Соединения
Что значит ошибка FATAL: sorry, too many clients already?
4
Пул
Что делает PgBouncer?
ответь на все вопросы, чтобы проверить

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.