Provision
—— XP

Инструменты: шпаргалка по журналам

теория~4 минут+200 XP

Команд в разделе немного, но в аварию их нужно вспомнить сразу. Здесь собраны три вещи: порядок отладки, когда «журналы не видны», короткая шпаргалка и программы, с которыми журналы читать удобнее.

Быстрая отладка: строки не доходят до Loki

Путь строки короткий: контейнер → Docker → Alloy → Loki → Grafana. Отлаживают его с конца к началу, по одному звену. Все команды — из каталога ~/infra/logs. Флаг -s у curl убирает полоску загрузки, --tail 20 у журнала — двадцать последних строк. Флаг -h у df печатает размеры в понятных единицах.

ubuntu@stand:~$
docker compose ps                     # живы ли loki и alloy
curl -s localhost:3100/ready          # готов ли Loki: ждём ready
docker compose logs alloy --tail 20   # ошибки отправки, доступ к сокету
ubuntu@stand:~$
curl -s localhost:3100/loki/api/v1/labels   # доехала ли хоть одна метка
df -h /                               # есть ли место под журналы

По журналу Alloy причина обычно видна сразу. permission denied на docker.sock — у сборщика нет доступа к сокету. connection refused на loki:3100 — Loki лежит или в другой сети. 429 Too Many Requests — слишком много потоков, кто-то сделал меткой идентификатор. timestamp too old при первом запуске — Loki отбросил строки старше недели, это безвредно.

Если Loki и Alloy в порядке, а в Grafana пусто — проверь окно времени и метку в запросе: опечатка в имени контейнера выглядит ровно как «журналов нет».

Шпаргалка раздела

Кроме команд отладки выше, в разделе было вот что.

ubuntu@stand:~$
docker compose restart alloy        # перечитать config.alloy
docker compose logs web --tail 20   # журнал без Loki, пока контейнер жив
journalctl -u docker -n 50          # системный журнал службы

У journalctl флаг -u выбирает службу, -n 50 — пятьдесят последних строк. И четыре запроса LogQL, из которых складывается почти любой разбор:

LogQL
{container="logs-web-1"}
{container="logs-web-1"} |= " 500 " != "healthcheck"
{container="logs-fakeapp-1"} | json | status >= 500
sum by (method) (count_over_time({container="logs-fakeapp-1"} | json [5m]))

Журналы самой машины, без Docker и Loki, читает journalctl. Три флага закрывают почти все вопросы дежурного: --since — с какого времени, -p err — только ошибки и хуже, -b -1 — предыдущая загрузка, если служба упала после перезагрузки.

ubuntu@stand:~$
journalctl -u nginx --since "10 min ago"   # последние десять минут
journalctl -p err -n 20                    # двадцать последних ошибок
journalctl -b -1 -u docker                 # что было до перезагрузки

Флаг -b -1 работает, только если journald хранит журнал на диске; в Ubuntu 24.04 это так по умолчанию, каталог /var/log/journal.

И одна настройка, которую стоит добавлять каждой болтливой службе Compose, — ограничение журнала на диске. Это три вложенные строки внутри службы, а не одна:

compose.yaml, внутри службы
    logging:
      options:
        max-size: "10m"

Когда файл журнала контейнера дорастёт до десяти мегабайт, Docker начнёт новый, а старый удалит.

Чем читать журналы

Grafana Explore — основной интерфейс, но не единственный.

ИнструментЧто этоКогда пригодится
Logs DrilldownРаздел Grafana: журналы без запросов, по щелчкам на метки и поляПервый взгляд на незнакомый сервис
logcliКонсольный клиент Loki: те же запросы LogQL из терминалаСервер без браузера, выгрузка строк в файл
lnavПросмотрщик журналов в терминале с подсветкой и фильтрамиРазбор файла журнала на одной машине
Готовый дашбордLogs / App (ID 13639 на grafana.com)Поток и частота строк без ручной сборки панелей; строки выбирает по метке job

Дашборд импортируется по номеру так же, как дашборды из раздела про мониторинг. Учти одну мелочь: переменная app в нём перебирает значения метки job, а у нас она одна на всё, docker. Поэтому после импорта дашборд покажет строки всех контейнеров вперемешку. Чтобы смотреть по одному, в настройках дашборда (Settings → Variables) замени в переменной job на container, а в запросах панелей — job="$app" на container="$app".

Что дальше

Раздел закончен: стек собран и виден — метрики в Prometheus, журналы в Loki, всё в одной Grafana. Дальше — CI/CD: как доставлять изменения на этот стенд не руками, а конвейером.

Проверь себя+200 XPдве попытки
1
Отладка
В Grafana нет свежих строк. Что проверить после того, как Loki ответил ready?
2
Инструменты
Что такое logcli?
3
Ошибки
Alloy пишет timestamp too old сразу после первого запуска. Что это значит?
ответь на все вопросы, чтобы проверить

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.