Пользователь оплатил заказ, а письмо с чеком пришло через час. Сайт при этом работал, база отвечала, ошибок в логах нет. Чаще всего это значит, что застряла очередь сообщений — сервис-посредник, через который одни программы передают другим задания и события: «отправь письмо», «пересчитай отчёт», «заказ оплачен». Урок о том, как она устроена и как по её виду понять, что задания перестали разбирать.
Программу, которая держит такие очереди, называют брокером сообщений. Два самых распространённых — RabbitMQ, который появился в 2007 году и написан на Erlang, и Apache Kafka, которую сделали в LinkedIn в 2011-м для потока событий сайта. Их ставят банки, маркетплейсы, сервисы доставки — везде, где сервисов больше двух и они не должны ждать друг друга. Чего брокер не делает: не выполняет работу сам и не знает, что внутри сообщений. Он только хранит и раздаёт, поэтому, когда обработчики встали, сообщения просто копятся, и снаружи это долго не видно.
Производитель, очередь, потребитель
У любой очереди три участника. Производитель кладёт сообщение — например, сайт при регистрации кладёт «отправь письмо Анне». Брокер хранит его в очереди. Потребитель — отдельный сервис-обработчик — забирает сообщение, делает работу и подтверждает: готово, можно удалять.
сайт ──► [ RabbitMQ: очередь emails ] ──► отправщик писем производитель брокер потребитель
Выигрыш двойной. Пользователь не ждёт, пока письмо уйдёт: сайт ответил сразу после того, как положил задание. И всплеск — тысяча регистраций за минуту — не роняет почтовый сервис: очередь растёт, отправщик разбирает её в своём темпе.
Цена тоже понятна: появился ещё один сервис, который может сломаться, и ещё одно место, куда смотреть при жалобе «письма не приходят».
RabbitMQ и Kafka: в чём разница
Снаружи оба выглядят одинаково — кладёшь сообщения, забираешь сообщения. Различаются они тем, что происходит с сообщением после чтения.
RabbitMQ — классическая очередь. Потребитель забрал сообщение и подтвердил — оно удаляется. Брокер сам решает, какому потребителю что отдать, и умеет сложную раскладку по разным очередям. Его берут для фоновых задач: письма, отчёты, обработка загруженных файлов.
Kafka — журнал. Сообщения пишутся в конец, как строки в лог, и хранятся заданный срок — например, неделю, — даже если их уже прочитали. Потребитель лишь сдвигает свою отметку «я дочитал досюда», а другой потребитель может читать тот же журнал с начала. Её берут, когда событий очень много и их читают несколько систем: аналитика, поиск, уведомления. Kafka рассчитана на очень большие потоки событий, RabbitMQ — на гибкую доставку и маршруты, и эксплуатировать Kafka сложнее; спокойное сравнение двух систем есть в разборе на Хабре (ноябрь 2025).
На старте тебе не нужно выбирать между ними, это решение архитектора. Нужно узнавать, что сломалось.
Что видит DevOps, когда очередь ломается
Девять из десяти проблем с очередью выглядят одинаково: сообщения кладут, а никто не разбирает. Очередь растёт, пользователи жалуются, что письма не приходят или статус заказа не меняется.
В RabbitMQ это видно командой rabbitmqctl, которую запускают внутри контейнера брокера — например, через docker compose exec:
rabbitmqctl list_queues name messages consumers Listing queues for vhost / ... name messages consumers emails 48210 0
Столбец messages — сколько сообщений ждёт, consumers — сколько потребителей подключено. Сорок восемь тысяч сообщений и ноль потребителей — диагноз ясен: отправщик писем лежит. То же самое показывает и веб-интерфейс RabbitMQ на порту 15672, там очередь видна графиком.
В Kafka то же самое называют отставанием (consumer lag). Его показывает утилита kafka-consumer-groups из комплекта Kafka:
GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG mailer emails 0 1520 9840 8320
LOG-END-OFFSET — номер последнего записанного сообщения, CURRENT-OFFSET — до какого дочитала группа потребителей mailer, LAG — разница. Восемь тысяч непрочитанных, и число растёт — потребители стоят или не успевают.
Ещё одна поломка встречается реже, но бьёт сильнее: у брокера кончается диск. RabbitMQ в этом случае перестаёт принимать сообщения от производителей, и ломается уже сайт, а не только письма. Поэтому место на диске брокера мониторят так же, как место под базой.
Что делать в первые минуты
Порядок действий короткий, и он повторяет то, чем ты чинил всё остальное в курсе. Сначала потребитель: жив ли его контейнер (docker compose ps), что в его журнале (docker compose logs). Чаще всего там видна причина — потерянное подключение к базе, ошибка в коде на каком-то сообщении, кончившаяся память. Если потребитель жив, но не успевает, запускают ещё несколько его копий.
Чего не делать: не очищать очередь, чтобы «стало зелёным». Сорок восемь тысяч сообщений — это сорок восемь тысяч неотправленных писем или необработанных заказов, и после очистки их уже не вернуть. Очищают только с согласия того, кто отвечает за эти данные.
Метрики очереди — длину, число потребителей и отставание — выводят на графики и вешают на них оповещения. Как это делается, будет в разделе про мониторинг.
Словарь урока
Что спросят на собеседовании
- Зачем нужен брокер сообщений?Чтобы сервисы не ждали друг друга: производитель кладёт задание и идёт дальше, потребитель обрабатывает в своём темпе. Очередь сглаживает всплески и переживает кратковременное падение обработчика.
- В чём разница между RabbitMQ и Kafka?RabbitMQ — очередь, сообщение удаляется после подтверждения, сильна в раскладке задач. Kafka — журнал с хранением по сроку, сообщения можно перечитать, рассчитана на огромный поток событий.
- Очередь растёт. Ваши действия?Проверить число потребителей и их журналы, найти причину остановки, при нехватке скорости добавить копий обработчика. Очередь без согласования не очищать.
Что дальше
Теория раздела закончилась. Дальше миссия: база перестаёт отвечать, и ты найдёшь причину теми командами, что собрал за раздел.