Команд в разделе немного, но в аварию их нужно вспомнить сразу. Здесь собраны три вещи: порядок отладки, когда «журналы не видны», короткая шпаргалка и программы, с которыми журналы читать удобнее.
Быстрая отладка: строки не доходят до Loki
Путь строки короткий: контейнер → Docker → Alloy → Loki → Grafana. Отлаживают его с конца к началу, по одному звену. Все команды — из каталога ~/infra/logs. Флаг -s у curl убирает полоску загрузки, --tail 20 у журнала — двадцать последних строк. Флаг -h у df печатает размеры в понятных единицах.
docker compose ps # живы ли loki и alloy curl -s localhost:3100/ready # готов ли Loki: ждём ready docker compose logs alloy --tail 20 # ошибки отправки, доступ к сокету
curl -s localhost:3100/loki/api/v1/labels # доехала ли хоть одна метка df -h / # есть ли место под журналы
По журналу Alloy причина обычно видна сразу. permission denied на docker.sock — у сборщика нет доступа к сокету. connection refused на loki:3100 — Loki лежит или в другой сети. 429 Too Many Requests — слишком много потоков, кто-то сделал меткой идентификатор. timestamp too old при первом запуске — Loki отбросил строки старше недели, это безвредно.
Если Loki и Alloy в порядке, а в Grafana пусто — проверь окно времени и метку в запросе: опечатка в имени контейнера выглядит ровно как «журналов нет».
Шпаргалка раздела
Кроме команд отладки выше, в разделе было вот что.
docker compose restart alloy # перечитать config.alloy docker compose logs web --tail 20 # журнал без Loki, пока контейнер жив journalctl -u docker -n 50 # системный журнал службы
У journalctl флаг -u выбирает службу, -n 50 — пятьдесят последних строк. И четыре запроса LogQL, из которых складывается почти любой разбор:
{container="logs-web-1"} {container="logs-web-1"} |= " 500 " != "healthcheck" {container="logs-fakeapp-1"} | json | status >= 500 sum by (method) (count_over_time({container="logs-fakeapp-1"} | json [5m]))
Журналы самой машины, без Docker и Loki, читает journalctl. Три флага закрывают почти все вопросы дежурного: --since — с какого времени, -p err — только ошибки и хуже, -b -1 — предыдущая загрузка, если служба упала после перезагрузки.
journalctl -u nginx --since "10 min ago" # последние десять минут journalctl -p err -n 20 # двадцать последних ошибок journalctl -b -1 -u docker # что было до перезагрузки
Флаг -b -1 работает, только если journald хранит журнал на диске; в Ubuntu 24.04 это так по умолчанию, каталог /var/log/journal.
И одна настройка, которую стоит добавлять каждой болтливой службе Compose, — ограничение журнала на диске. Это три вложенные строки внутри службы, а не одна:
logging: options: max-size: "10m"
Когда файл журнала контейнера дорастёт до десяти мегабайт, Docker начнёт новый, а старый удалит.
Чем читать журналы
Grafana Explore — основной интерфейс, но не единственный.
| Инструмент | Что это | Когда пригодится |
|---|---|---|
| Logs Drilldown | Раздел Grafana: журналы без запросов, по щелчкам на метки и поля | Первый взгляд на незнакомый сервис |
| logcli | Консольный клиент Loki: те же запросы LogQL из терминала | Сервер без браузера, выгрузка строк в файл |
| lnav | Просмотрщик журналов в терминале с подсветкой и фильтрами | Разбор файла журнала на одной машине |
| Готовый дашборд | Logs / App (ID 13639 на grafana.com) | Поток и частота строк без ручной сборки панелей; строки выбирает по метке job |
Дашборд импортируется по номеру так же, как дашборды из раздела про мониторинг. Учти одну мелочь: переменная app в нём перебирает значения метки job, а у нас она одна на всё, docker. Поэтому после импорта дашборд покажет строки всех контейнеров вперемешку. Чтобы смотреть по одному, в настройках дашборда (Settings → Variables) замени в переменной job на container, а в запросах панелей — job="$app" на container="$app".
Что дальше
Раздел закончен: стек собран и виден — метрики в Prometheus, журналы в Loki, всё в одной Grafana. Дальше — CI/CD: как доставлять изменения на этот стенд не руками, а конвейером.