Provision
—— XP

Очереди сообщений: RabbitMQ и Kafka

теория~6 минут+180 XP

Пользователь оплатил заказ, а письмо с чеком пришло через час. Сайт при этом работал, база отвечала, ошибок в логах нет. Чаще всего это значит, что застряла очередь сообщений — сервис-посредник, через который одни программы передают другим задания и события: «отправь письмо», «пересчитай отчёт», «заказ оплачен». Урок о том, как она устроена и как по её виду понять, что задания перестали разбирать.

Программу, которая держит такие очереди, называют брокером сообщений. Два самых распространённых — RabbitMQ, который появился в 2007 году и написан на Erlang, и Apache Kafka, которую сделали в LinkedIn в 2011-м для потока событий сайта. Их ставят банки, маркетплейсы, сервисы доставки — везде, где сервисов больше двух и они не должны ждать друг друга. Чего брокер не делает: не выполняет работу сам и не знает, что внутри сообщений. Он только хранит и раздаёт, поэтому, когда обработчики встали, сообщения просто копятся, и снаружи это долго не видно.

Производитель, очередь, потребитель

У любой очереди три участника. Производитель кладёт сообщение — например, сайт при регистрации кладёт «отправь письмо Анне». Брокер хранит его в очереди. Потребитель — отдельный сервис-обработчик — забирает сообщение, делает работу и подтверждает: готово, можно удалять.

  сайт ──► [ RabbitMQ: очередь emails ] ──► отправщик писем
  производитель      брокер                  потребитель

Выигрыш двойной. Пользователь не ждёт, пока письмо уйдёт: сайт ответил сразу после того, как положил задание. И всплеск — тысяча регистраций за минуту — не роняет почтовый сервис: очередь растёт, отправщик разбирает её в своём темпе.

Цена тоже понятна: появился ещё один сервис, который может сломаться, и ещё одно место, куда смотреть при жалобе «письма не приходят».

RabbitMQ и Kafka: в чём разница

Снаружи оба выглядят одинаково — кладёшь сообщения, забираешь сообщения. Различаются они тем, что происходит с сообщением после чтения.

RabbitMQ — классическая очередь. Потребитель забрал сообщение и подтвердил — оно удаляется. Брокер сам решает, какому потребителю что отдать, и умеет сложную раскладку по разным очередям. Его берут для фоновых задач: письма, отчёты, обработка загруженных файлов.

Kafka — журнал. Сообщения пишутся в конец, как строки в лог, и хранятся заданный срок — например, неделю, — даже если их уже прочитали. Потребитель лишь сдвигает свою отметку «я дочитал досюда», а другой потребитель может читать тот же журнал с начала. Её берут, когда событий очень много и их читают несколько систем: аналитика, поиск, уведомления. Kafka рассчитана на очень большие потоки событий, RabbitMQ — на гибкую доставку и маршруты, и эксплуатировать Kafka сложнее; спокойное сравнение двух систем есть в разборе на Хабре (ноябрь 2025).

На старте тебе не нужно выбирать между ними, это решение архитектора. Нужно узнавать, что сломалось.

Что видит DevOps, когда очередь ломается

Девять из десяти проблем с очередью выглядят одинаково: сообщения кладут, а никто не разбирает. Очередь растёт, пользователи жалуются, что письма не приходят или статус заказа не меняется.

В RabbitMQ это видно командой rabbitmqctl, которую запускают внутри контейнера брокера — например, через docker compose exec:

ubuntu@stand:~$
rabbitmqctl list_queues name messages consumers
Listing queues for vhost / ...
name      messages  consumers
emails    48210     0

Столбец messages — сколько сообщений ждёт, consumers — сколько потребителей подключено. Сорок восемь тысяч сообщений и ноль потребителей — диагноз ясен: отправщик писем лежит. То же самое показывает и веб-интерфейс RabbitMQ на порту 15672, там очередь видна графиком.

В Kafka то же самое называют отставанием (consumer lag). Его показывает утилита kafka-consumer-groups из комплекта Kafka:

вывод kafka-consumer-groups --describe --group mailer
GROUP   TOPIC   PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG
mailer  emails  0          1520            9840            8320

LOG-END-OFFSET — номер последнего записанного сообщения, CURRENT-OFFSET — до какого дочитала группа потребителей mailer, LAG — разница. Восемь тысяч непрочитанных, и число растёт — потребители стоят или не успевают.

Ещё одна поломка встречается реже, но бьёт сильнее: у брокера кончается диск. RabbitMQ в этом случае перестаёт принимать сообщения от производителей, и ломается уже сайт, а не только письма. Поэтому место на диске брокера мониторят так же, как место под базой.

Что делать в первые минуты

Порядок действий короткий, и он повторяет то, чем ты чинил всё остальное в курсе. Сначала потребитель: жив ли его контейнер (docker compose ps), что в его журнале (docker compose logs). Чаще всего там видна причина — потерянное подключение к базе, ошибка в коде на каком-то сообщении, кончившаяся память. Если потребитель жив, но не успевает, запускают ещё несколько его копий.

Чего не делать: не очищать очередь, чтобы «стало зелёным». Сорок восемь тысяч сообщений — это сорок восемь тысяч неотправленных писем или необработанных заказов, и после очистки их уже не вернуть. Очищают только с согласия того, кто отвечает за эти данные.

Метрики очереди — длину, число потребителей и отставание — выводят на графики и вешают на них оповещения. Как это делается, будет в разделе про мониторинг.

Словарь урока

Брокер сообщений
Сервис, который хранит очереди и раздаёт сообщения. RabbitMQ, Kafka.
Производитель
Программа, которая кладёт сообщения в очередь. ↩ к тексту
Потребитель
Программа, которая забирает сообщения и выполняет работу. ↩ к тексту
Подтверждение
Сигнал потребителя брокеру «обработано», после которого RabbitMQ удаляет сообщение.
Consumer lag
Отставание в Kafka: сколько сообщений группа потребителей ещё не прочитала. ↩ к тексту

Что спросят на собеседовании

  • Зачем нужен брокер сообщений?
    Чтобы сервисы не ждали друг друга: производитель кладёт задание и идёт дальше, потребитель обрабатывает в своём темпе. Очередь сглаживает всплески и переживает кратковременное падение обработчика.
  • В чём разница между RabbitMQ и Kafka?
    RabbitMQ — очередь, сообщение удаляется после подтверждения, сильна в раскладке задач. Kafka — журнал с хранением по сроку, сообщения можно перечитать, рассчитана на огромный поток событий.
  • Очередь растёт. Ваши действия?
    Проверить число потребителей и их журналы, найти причину остановки, при нехватке скорости добавить копий обработчика. Очередь без согласования не очищать.

Что дальше

Теория раздела закончилась. Дальше миссия: база перестаёт отвечать, и ты найдёшь причину теми командами, что собрал за раздел.

Проверь себя+180 XPдве попытки
1
Зачем очередь
Зачем сайту отправлять письма через очередь, а не прямо в момент регистрации?
2
RabbitMQ и Kafka
Чем Kafka отличается от RabbitMQ по обращению с прочитанными сообщениями?
3
Поломка
В очереди 48 тысяч сообщений и 0 потребителей. Что проверить первым?
4
Отставание
Что показывает столбец LAG в выводе kafka-consumer-groups?
ответь на все вопросы, чтобы проверить

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.