На собеседовании почти наверняка спросят про ELK, а на новой работе может стоять Graylog, OpenSearch или вообще журналы в ClickHouse — хотя весь раздел построен вокруг Loki. Разбираться в каждой системе не нужно: нужно понимать, чем они отличаются, и узнавать их по названию. Этот урок — карта таких систем, чтобы незнакомое название в вакансии или на сервере не сбивало с толку.
Все они решают одну задачу: собрать строки с машин и дать по ним искать. Отличаются главным образом тем, как устроен поиск, и разница похожа на две библиотеки. В одной есть карточка на каждое слово каждой книги: любое слово найдёшь мгновенно, но картотека больше самих книг. В другой — только каталог по авторам и годам: шкаф маленький, а нужную страницу дочитываешь сам. Вся разница между системами журналов — в том, какая у них картотека и сколько за неё платить.
Полнотекстовый индекс или метки
Elasticsearch и его открытое ответвление OpenSearch строят индекс по каждому слову. Поиск по любому слову за любой срок мгновенный, есть сложная аналитика. Платят памятью — от восьми гигабайт — и диском: индекс бывает больше самих журналов. Сам кластер Elasticsearch тоже требует ухода: у него есть свой «жёлтый» и «красный» статус, и чинить его — отдельное умение.
Loki индексирует только метки, поэтому дешёвый и простой, но требует сначала сузить выборку. Для эксплуатации это почти всегда подходит: вопрос обычно звучит «что писал сервис в 14:30», а не «найди слово за год».
Отсюда правило выбора: дорогой индекс оправдан, когда ищут вслепую — например, расследуют инцидент безопасности. Если известно, где и когда смотреть, платить за него не за что.
Кто есть кто
Чтобы узнавать названия в вакансиях и описаниях стендов, хватит этой таблицы.
| Система | Что это | Чем известна |
|---|---|---|
| ELK | Elasticsearch + Logstash + Kibana | Самая известная связка, поиск по любому слову, огромное сообщество |
| OpenSearch | Открытое ответвление Elasticsearch от Amazon | То же самое под свободной лицензией, частая замена ELK в облаках |
| Graylog | Платформа поверх OpenSearch | Удобный интерфейс, разбор строк и оповещения из коробки |
| ClickHouse | Колоночная база от Яндекса | Очень дешёвое хранение и быстрые подсчёты, запросы на SQL, но интерфейс собирают сами |
| Loki | Хранилище с индексом по меткам | Дёшево, живёт рядом с Prometheus и Grafana |
Половина названий, которые встречаются рядом с этими, — вообще не хранилища.
Хранилище и сборщик выбирают отдельно
Программа, которая собирает журналы на машинах, и программа, которая их хранит, — разные вещи. Сборщиков четыре основных. Grafana Alloy — родной для Loki, ты поставил его в практике. Fluent Bit — лёгкий сборщик на C с сотнями вариантов, куда отправлять; его часто ставят в больших кластерах, о которых будет раздел про Kubernetes. Vector — быстрый сборщик со своим языком преобразований. rsyslog — классика серверов и сетевого оборудования.
Любой из них умеет отправлять в любое хранилище из таблицы. Поэтому, если на работе стоит Fluent Bit и Elasticsearch, всё, что ты понял про метки, фильтры и стандартный вывод, остаётся верным.
Системный журнал: journald
Не всё на сервере живёт в контейнерах. Службы systemd — сам Docker, SSH, cron — пишут в системный журнал, который ведёт программа journald. Ты уже читал его в разделе «Linux: база», в уроке про systemd, командой journalctl -u имя_службы. Когда Docker не запускается, его собственные ошибки найдутся именно там, а не в docker logs.
Alloy умеет забирать и системный журнал — для этого у него есть отдельный блок loki.source.journal. Тогда в Loki рядом окажутся и строки контейнеров, и строки самой машины. На учебном стенде без этого можно обойтись, на рабочем сервере это обычно включают.
Словарь урока
Что спросят на собеседовании
- Чем ELK отличается от Loki?ELK строит полнотекстовый индекс и ищет по любому слову, но требует много памяти и диска. Loki индексирует только метки и перебирает текст отобранного — в разы дешевле, но нужно знать, где искать.
- Что такое сборщик журналов и зачем он отдельно от хранилища?Программа на машине, которая читает журналы и отправляет их дальше: Alloy, Fluent Bit, Vector. Хранилище можно сменить, не трогая приложения и сборщики на машинах.
Что дальше
Остался последний урок раздела: быстрая отладка слоя журналов и шпаргалка команд.