Provision
—— XP

Практика: Loki и Alloy в Compose

практика~30 минут+500 XP

В этой практике у журналов появится своё хранилище. Loki и сборщик Alloy встанут отдельным стендом в ~/infra/logs, но в одну сеть со стендом мониторинга из прошлого раздела — так Grafana, которую ты уже настроил, увидит журналы рядом с метриками. Для живых строк добавим маленький nginx: в него можно стучаться и смотреть, как каждый запрос появляется в Loki.

Своего кода не будет ни строки: Loki работает на настройках из образа с тремя флагами про срок хранения, а конфиг Alloy — это четыре коротких блока из официальной документации.

Шаг 1. Стенд мониторинга работает

Loki будет показан через Grafana из раздела мониторинга, поэтому сначала убедись, что она жива.

ubuntu@stand:~$
cd ~/infra/monitoring
docker compose ps
NAME                        SERVICE         STATUS
monitoring-alert-echo-1     alert-echo      Up 9 days
monitoring-alertmanager-1   alertmanager    Up 9 days
monitoring-blackbox-1       blackbox        Up 9 days
monitoring-cadvisor-1       cadvisor        Up 9 days
monitoring-grafana-1        grafana         Up 9 days
monitoring-nginxlog-1       nginxlog        Up 9 days
monitoring-node-exporter-1  node-exporter   Up 9 days
monitoring-pg-exporter-1    pg-exporter     Up 9 days
monitoring-prometheus-1     prometheus      Up 9 days

Вывод сокращён до трёх столбцов, а служб столько, сколько ты собрал к миссии раздела про мониторинг. Время работы у тебя своё: здесь стенд работает девять дней, и это пригодится нам в шаге 8. Нужно, чтобы у grafana стояло Up. У стенда мониторинга есть своя сеть Docker — Compose назвал её по имени проекта.

ubuntu@stand:~$
docker network ls | grep monitoring
311e38e1e19f   monitoring_default   bridge   local

monitoring_default — к этой сети мы подключим стенд журналов.

Шаг 2. Каталог стенда журналов

Флаг -p у mkdir создаст каталог вместе с недостающими родительскими и промолчит, если он уже есть.

ubuntu@stand:~$
mkdir -p ~/infra/logs
cd ~/infra/logs

Шаг 3. Loki и nginx

Открой compose.yaml и впиши первую часть. Строка name задаёт имя проекта, и от него пойдут имена контейнеров: logs-loki-1, logs-web-1.

~/infra/logs/compose.yaml, часть 1
name: logs
services:
  loki:
    image: grafana/loki:3.7.8
    ports:
      - "127.0.0.1:3100:3100"
  web:
    image: nginx:alpine
    ports:
      - "127.0.0.1:8085:80"

Конфиг Loki не пишем: в официальном образе лежит рабочий файл, который хранит всё в каталоге /loki. Для стенда этого хватает, а длинные конфиги из статей рассчитаны на кластер из нескольких машин. Порт 3100 — API Loki: сюда сборщик отправляет строки, отсюда Grafana их читает.

Шаг 4. Общая сеть с мониторингом

Вторая часть файла говорит Compose: не создавай свою сеть, а подключись к уже существующей сети мониторинга.

~/infra/logs/compose.yaml, часть 2, в самом низу
networks:
  default:
    name: monitoring_default
    external: true

external: true значит «сеть создана кем-то другим, не трогай её». Теперь контейнеры обоих стендов видят друг друга по именам служб — Grafana сможет обратиться к loki, как к prometheus.

Шаг 5. Поднять Loki

Флаг -d возвращает терминал сразу.

ubuntu@stand:~$
docker compose up -d
 ✔ Container logs-web-1     Started
 ✔ Container logs-loki-1    Started

Если вместо этого пришло network monitoring_default declared as external, but could not be found — стенд мониторинга не поднят; вернись к шагу 1. Теперь спроси Loki, готов ли он. Флаг -s у curl убирает полоску загрузки.

ubuntu@stand:~$
curl -s localhost:3100/ready
Ingester not ready: waiting for 15s after being ready

Это нормально: Loki выжидает пятнадцать секунд после старта. Повтори через полминуты — должно прийти одно слово ready.

Шаг 6. Конфиг Alloy: самый короткий

Alloy настраивается файлом из блоков. Каждый блок — шаг конвейера, и блоки ссылаются друг на друга по именам. Для работы хватает трёх: найти контейнеры, читать их вывод, отправлять в Loki. Создай config.alloy и впиши первый: он спрашивает у Docker список работающих контейнеров.

~/infra/logs/config.alloy, блок 1
discovery.docker "local" {
  host = "unix:///var/run/docker.sock"
}

/var/run/docker.sock — сокет Docker: файл-дверь, через который программы разговаривают с демоном Docker. Через него docker ps узнаёт список контейнеров, и через него же это узнает Alloy. Новый контейнер попадёт в сбор сам, без правки конфига.

Второй блок читает вывод найденных контейнеров и добавляет общую метку job, третий отправляет строки в Loki.

~/infra/logs/config.alloy, блок 2
loki.source.docker "default" {
  host       = "unix:///var/run/docker.sock"
  targets    = discovery.docker.local.targets
  labels     = {"job" = "docker"}
  forward_to = [loki.write.local.receiver]
}

Строка targets берёт результат первого блока по его имени — так в Alloy собирают конвейер.

~/infra/logs/config.alloy, блок 3
loki.write "local" {
  endpoint {
    url = "http://loki:3100/loki/api/v1/push"
  }
}

Адрес loki — имя службы в Compose. Тот же пример лежит в документации Alloy на странице компонента loki.source.docker (grafana.com/docs/alloy, раздел Reference → Components).

Шаг 7. Служба Alloy

Допиши Alloy в compose.yaml в раздел services, под web.

~/infra/logs/compose.yaml, добавить в services
  alloy:
    image: grafana/alloy:v1.20.1
    command: run /etc/alloy/config.alloy
    volumes:
      - ./config.alloy:/etc/alloy/config.alloy:ro
      - /var/run/docker.sock:/var/run/docker.sock:ro

Первый том подкладывает наш конфиг, второй — сокет Docker. Пометка ro у конфига значит «только чтение» и работает как обычно. А у сокета она почти ничего не значит: запрещает менять сам файл, но не разговаривать через него с Docker. Через смонтированный сокет можно запустить любой контейнер, в том числе с доступом ко всей машине, — доступ к сокету Docker равен правам root. Поэтому сокет дают только программам, которым доверяют, вроде официального сборщика Grafana, и никогда — своим приложениям. Об этом любят спрашивать на собеседовании.

Шаг 8. Поднять Alloy и прочитать его журнал

Compose увидит новую службу и поднимет только её.

ubuntu@stand:~$
docker compose up -d
 ✔ Container logs-alloy-1  Started

Посмотри, что Alloy написал о себе. Флаг --tail 3 — три последние строки.

ubuntu@stand:~$
docker compose logs alloy --tail 3
alloy-1  | level=info msg="{^_^} Alloy is running"
alloy-1  | level=info msg="now listening for http traffic"
alloy-1  | level=error msg="final error sending batch, no retries left,
  dropping data" status=400 error="... has timestamp too old ..."

Строка с level=error и timestamp too old пугает, но безвредна. При первом запуске Alloy отправляет весь накопленный журнал каждого контейнера, а Loki по умолчанию не принимает строки старше недели и отбрасывает их. Поэтому ошибка появится, только если на машине есть контейнеры, работающие дольше недели, — например, стенд мониторинга, если ты поднял его на прошлой неделе, как в шаге 1. Новые строки пойдут без ошибок. Если ошибка повторяется на свежих строках — тогда разбираться.

Шаг 9. Что доехало до Loki

Сделай запрос к nginx, чтобы у него появилась свежая строка. Флаг -o /dev/null выбрасывает тело ответа.

ubuntu@stand:~$
curl -s -o /dev/null localhost:8085/

Теперь спроси у Loki, какие метки он знает:

ubuntu@stand:~$
curl -s localhost:3100/loki/api/v1/labels
ubuntu@stand:~$
{"status":"success","data":["job","service_name"]}

Строки доехали, но меток всего две: наша job и service_name, которую Loki добавляет сам. А различить по ним контейнеры нельзя — у всех job="docker". Спроси, сколько вообще потоков в Loki:

ubuntu@stand:~$
curl -s localhost:3100/loki/api/v1/series
ubuntu@stand:~$
{"status":"success","data":[{"job":"docker","service_name":"docker"}]}

Один поток на все контейнеры: строки nginx, Loki и самого Alloy перемешаны, и найти журнал одного сервиса нечем. Нужна метка с именем контейнера.

Шаг 10. Имя контейнера в метку

Docker отдаёт имя контейнера во внутренней метке __meta_docker_container_name, и с косой чертой впереди: /logs-web-1. Метки с двумя подчёркиваниями в Loki не уезжают, поэтому переносим имя в обычную метку container и заодно отрезаем косую черту. Впиши блок между первым и вторым:

~/infra/logs/config.alloy, между блоками 1 и 2
discovery.relabel "names" {
  targets = discovery.docker.local.targets
  rule {
    source_labels = ["__meta_docker_container_name"]
    regex         = "/(.*)"
    target_label  = "container"
  }
}

regex — регулярное выражение: всё, что после косой черты, попадает в метку. Теперь читающий блок должен брать контейнеры уже с метками — в блоке 2 замени строку targets:

config.alloy, блок 2
  targets    = discovery.relabel.names.output

Примени:

ubuntu@stand:~$
docker compose up -d
ubuntu@stand:~$
 ✔ Container logs-alloy-1  Running

Running — Compose ничего не сделал. Файл смонтирован тот же, описание службы не менялось, значит, и пересоздавать контейнер незачем. А Alloy читает конфиг при старте. Перезапусти его:

ubuntu@stand:~$
docker compose restart alloy
ubuntu@stand:~$
 ✔ Container logs-alloy-1  Started

Другой путь без перезапуска — адрес /-/reload на встроенном веб-сервере Alloy. Через полминуты повтори запрос к nginx и спроси метки:

ubuntu@stand:~$
curl -s localhost:3100/loki/api/v1/labels
ubuntu@stand:~$
{"status":"success","data":["container","job","service_name"]}

Появилась container. Какие контейнеры видны:

ubuntu@stand:~$
curl -s localhost:3100/loki/api/v1/label/container/values
{"status":"success","data":["logs-alloy-1","logs-loki-1",
"logs-web-1","monitoring-grafana-1","monitoring-prometheus-1"]}

Видны все контейнеры машины, не только этого стенда: Alloy читает их через общий сокет Docker. Пустой data значит, что Alloy ничего не отправил, — смотри его журнал из шага 8.

Шаг 11. Источник Loki в Grafana

Grafana живёт в стенде мониторинга, и источник данных добавляется туда тем же способом, что Prometheus в прошлом разделе, — файлом.

nano ~/infra/monitoring/grafana/provisioning/datasources/loki.yml
apiVersion: 1
datasources:
  - name: Loki
    type: loki
    url: http://loki:3100

Grafana читает эти файлы при старте, поэтому перезапусти её:

ubuntu@stand:~$
cd ~/infra/monitoring
docker compose restart grafana
 ✔ Container monitoring-grafana-1  Started

Открой Grafana через туннель, как в разделе про мониторинг, зайди в Explore, выбери вверху источник Loki и набери запрос {container="logs-web-1"}. Появятся строки доступа nginx — те самые, что печатает docker compose logs web, только теперь они хранятся отдельно от контейнера.

Шаг 12. Журнал пропадает

Весь смысл раздела в том, что журнал переживает контейнер. Проверим, переживает ли он контейнер самого Loki. Сделай запрос к nginx и найди его строку в Loki: запрос {container="logs-web-1"} |= "GET /" в Explore покажет строки, где встречается GET /. Теперь пересоздай Loki. Флаг -sf у rm останавливает и удаляет контейнер без вопросов.

ubuntu@stand:~$
cd ~/infra/logs
ubuntu@stand:~$
docker compose rm -sf loki
ubuntu@stand:~$
docker compose up -d loki
ubuntu@stand:~$
 ✔ Container logs-loki-1  Started

Повтори запрос в Explore — пусто. Образ Loki не объявляет каталог данных томом, и всё, что он хранил, лежало внутри контейнера и ушло вместе с ним. Именованный том — допиши службе loki, под ports:

compose.yaml, служба loki, под ports
    volumes:
      - loki-data:/loki

И объяви его в самом низу файла, над networks:

compose.yaml, над networks
volumes:
  loki-data:

Подними, сделай запрос к nginx и снова пересоздай Loki той же парой команд — строка с GET / на месте.

Шаг 13. Срок хранения

Без настройки Loki не удаляет строки никогда, и диск стенда однажды кончится. Срок задают флагами запуска — допиши их в службу loki, под image:

compose.yaml, служба loki, под image
    command:
      - -config.file=/etc/loki/local-config.yaml
      - -compactor.retention-enabled=true
      - -store.retention=720h

Первая строка оставляет файл настроек из образа: command заменяет команду образа целиком. Две другие включают уборку старого: 720h — тридцать дней, строки старше удалит фоновая служба Loki, компактор. Примени:

ubuntu@stand:~$
docker compose up -d loki
ubuntu@stand:~$
 ✔ Container logs-loki-1  Started

Started ещё ничего не значит. Через несколько секунд посмотри состояние; флаг -a покажет и остановленные контейнеры.

ubuntu@stand:~$
docker compose ps -a loki
ubuntu@stand:~$
NAME          SERVICE   STATUS
logs-loki-1   loki      Exited (1) 5 seconds ago

Loki не запустился. Причина — в журнале:

ubuntu@stand:~$
docker compose logs loki | grep err=
ubuntu@stand:~$
err="CONFIG ERROR: invalid compactor config: compactor.delete-request-store should be configured when retention is enabled"

Компактору нужно знать, где вести учёт удалений. Допиши четвёртую строку под retention-enabled:

compose.yaml, служба loki, в command
      - -compactor.delete-request-store=filesystem

filesystem — на том же диске, рядом с данными. Подними снова: curl -s localhost:3100/ready через полминуты ответит ready, а строки в Explore останутся на месте. Все флаги есть в справочнике настроек Loki.

Если что-то пошло не так

Grafana пишет connection refused или no such host при проверке источника — она не видит Loki по имени. Значит, стенды в разных сетях: проверь часть 2 файла описания и что docker network inspect monitoring_default перечисляет logs-loki-1.

Alloy в журнале ругается permission denied на docker.sock — у контейнера нет доступа к сокету. Проверь строку тома; на машинах с SELinux к ней дописывают :z.

Поменял config.alloy, а ничего не изменилось — Alloy читает файл при запуске. Нужен docker compose restart alloy.

Что дальше

Строки собираются. Следующий урок — о том, как их писать, чтобы по ним было удобно искать.

Практика 01+500 XP

Собрать журналы всех контейнеров машины в Loki минимальной настройкой и подключить их к Grafana из раздела мониторинга.

  • Loki готов
  • Строки доехали
  • Имена контейнеров чистые
  • Стенд в сети мониторинга
  • Источник Loki в Grafana
  • У Loki есть свой том
  • Задан срок хранения
Команда сдачи — выполни на своей машине
команда
cd ~/infra/logs 2>/dev/null || echo NOLOGS; echo LOKI=$(curl -s localhost:3100/ready); curl -s localhost:3100/loki/api/v1/labels; echo; curl -s localhost:3100/loki/api/v1/label/container/values; echo; echo NET=$(grep -c monitoring_default compose.yaml); echo DS=$(grep -c loki:3100 ~/infra/monitoring/grafana/provisioning/datasources/loki.yml); echo VOL=$(grep -c loki-data compose.yaml); echo RET=$(grep -c store.retention compose.yaml)

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.