Кто чаще всех ходит на сервер? Как поменять порт в конфиге, не открывая редактор? Оба вопроса решаются одной строкой в терминале — если знать две старые утилиты Unix из семидесятых, которые есть на любом сервере.
awk — целый язык обработки текста, названный по фамилиям авторов (Ахо, Вайнбергер, Керниган). Лог для него — таблица, где колонки разделены пробелами: адрес, время, путь, код ответа, и awk умеет взять из неё один столбец. sed (stream editor, «потоковый редактор») правит текст на лету — это «найти и заменить» из текстового редактора, только без самого редактора. Про обе написаны книги, но DevOps-инженеру из них нужно по одному приёму, и этими приёмами пользуются постоянно: в разборе логов, в инструкциях по установке, в скриптах. Всё остальное в awk и sed мы сознательно пропускаем.
awk: взять одну колонку
awk делит каждую строку на поля по пробелам и нумерует их: $1 — первое, $2 — второе, $NF — последнее. Возьмём строку access-лога веб-сервера:
10.0.0.14 09:00:21 GET /api/report 200 1840 $1 $2 $3 $4 $5 $6
Адрес клиента, время, метод, путь, код ответа и время ответа в миллисекундах. Подробно веб-запросы разберём в разделе про сети, а пока хватит трёх слов. Метод GET значит «дай мне страницу», POST — «прими данные». Путь /api/report — какую страницу или ручку программы просили; ручкой называют адрес, по которому программа отвечает другим программам (это и есть API). Код ответа — число-итог: 200 — всё хорошо, 404 — такого нет, 500 — сервер сломался при ответе. Чтобы получить только адреса, печатаем первое поле:
awk '{print $1}' access.log 10.0.0.14 10.0.0.31 10.0.0.14
Одинарные кавычки обязательны: внутри них $1 — это поле для awk, а не переменная шелла (шелл — программа, которая читает твои команды; на сервере это обычно bash).
Если колонки разделены не пробелом, а, например, двоеточием, разделитель задают флагом -F:
awk -F: '{print $1}' /etc/passwd # -F: — делить по двоеточию root daemon anton
В /etc/passwd первое поле — имя пользователя, так получают список всех пользователей системы.
Колонку можно не только печатать, но и сравнивать.
awk: строки по условию
Перед фигурными скобками можно написать условие, и awk обработает только подходящие строки. Найдём медленные запросы — где последнее поле больше 1000 миллисекунд:
awk '$6 > 1000' access.log 10.0.0.14 09:00:21 GET /api/report 200 1840 10.0.0.14 09:00:33 GET /api/report 500 3050
Здесь важно, почему не grep. Строка grep 500 найдёт и ошибку 500, и запрос, который отвечал 500 миллисекунд. awk '$5 == 500' смотрит ровно в колонку кода. Правило для логов: привязываться к полю, а не к подстроке.
Колонки умеет брать awk, а менять текст в файлах удобнее другой командой.
sed: заменить в файле
Типичная задача из инструкций по установке: в конфиге поменять одно значение. Запись s/было/стало/ значит «substitute», заменить. Сначала всегда смотрят результат без правки файла:
sed 's/#Port 22/Port 2222/' sshd_config.copy | grep '^Port' Port 2222
Значок ^ в шаблоне grep значит «в начале строки». Без него нашлись бы ещё комментарии со словом Port и строка #GatewayPorts no — в настоящем sshd_config их несколько.
На экране замена получилась, а сам файл не изменился. Теперь то же с флагом -i (in-place, «на месте») — правка записывается в файл:
sed -i 's/#Port 22/Port 2222/' sshd_config.copyКоманда молчит. Проверяем глазами:
grep -n '^Port' sshd_config.copy # -n — номер строки 23:Port 2222
Без флагов sed меняет только первое совпадение в строке; чтобы заменить все, в конце пишут g: s/old/new/g.
Ошибка новичка — сразу запускать sed -i на настоящем конфиге: ошибся в шаблоне, и файл испорчен. Поэтому сначала без -i, и с копией.
Словарь урока
Что спросят на собеседовании
- Как получить список адресов из access-лога?awk '{print $1}' access.log — первое поле каждой строки. Дальше sort | uniq -c, чтобы посчитать запросы с каждого адреса.
- Как поменять значение в конфиге без редактора?sed -i 's/старое/новое/' файл. Сначала прогнать без -i и посмотреть результат, и иметь копию файла.
Что дальше
В практике ты разберёшь настоящий по форме access-лог: посчитаешь ошибки, найдёшь медленные запросы и самый активный адрес — grep, awk и sort.