Provision
—— XP

awk и sed: колонка и замена

теория~5 минут+120 XP

Кто чаще всех ходит на сервер? Как поменять порт в конфиге, не открывая редактор? Оба вопроса решаются одной строкой в терминале — если знать две старые утилиты Unix из семидесятых, которые есть на любом сервере.

awk — целый язык обработки текста, названный по фамилиям авторов (Ахо, Вайнбергер, Керниган). Лог для него — таблица, где колонки разделены пробелами: адрес, время, путь, код ответа, и awk умеет взять из неё один столбец. sed (stream editor, «потоковый редактор») правит текст на лету — это «найти и заменить» из текстового редактора, только без самого редактора. Про обе написаны книги, но DevOps-инженеру из них нужно по одному приёму, и этими приёмами пользуются постоянно: в разборе логов, в инструкциях по установке, в скриптах. Всё остальное в awk и sed мы сознательно пропускаем.

awk: взять одну колонку

awk делит каждую строку на поля по пробелам и нумерует их: $1 — первое, $2 — второе, $NF — последнее. Возьмём строку access-лога веб-сервера:

ubuntu@stand:~$
10.0.0.14 09:00:21 GET /api/report 200 1840
   $1        $2    $3      $4      $5   $6

Адрес клиента, время, метод, путь, код ответа и время ответа в миллисекундах. Подробно веб-запросы разберём в разделе про сети, а пока хватит трёх слов. Метод GET значит «дай мне страницу», POST — «прими данные». Путь /api/report — какую страницу или ручку программы просили; ручкой называют адрес, по которому программа отвечает другим программам (это и есть API). Код ответа — число-итог: 200 — всё хорошо, 404 — такого нет, 500 — сервер сломался при ответе. Чтобы получить только адреса, печатаем первое поле:

ubuntu@stand:~$
awk '{print $1}' access.log
10.0.0.14
10.0.0.31
10.0.0.14

Одинарные кавычки обязательны: внутри них $1 — это поле для awk, а не переменная шелла (шелл — программа, которая читает твои команды; на сервере это обычно bash).

Если колонки разделены не пробелом, а, например, двоеточием, разделитель задают флагом -F:

ubuntu@stand:~$
awk -F: '{print $1}' /etc/passwd       # -F: — делить по двоеточию
root
daemon
anton

В /etc/passwd первое поле — имя пользователя, так получают список всех пользователей системы.

Колонку можно не только печатать, но и сравнивать.

awk: строки по условию

Перед фигурными скобками можно написать условие, и awk обработает только подходящие строки. Найдём медленные запросы — где последнее поле больше 1000 миллисекунд:

ubuntu@stand:~$
awk '$6 > 1000' access.log
10.0.0.14 09:00:21 GET /api/report 200 1840
10.0.0.14 09:00:33 GET /api/report 500 3050

Здесь важно, почему не grep. Строка grep 500 найдёт и ошибку 500, и запрос, который отвечал 500 миллисекунд. awk '$5 == 500' смотрит ровно в колонку кода. Правило для логов: привязываться к полю, а не к подстроке.

Колонки умеет брать awk, а менять текст в файлах удобнее другой командой.

sed: заменить в файле

Типичная задача из инструкций по установке: в конфиге поменять одно значение. Запись s/было/стало/ значит «substitute», заменить. Сначала всегда смотрят результат без правки файла:

ubuntu@stand:~$
sed 's/#Port 22/Port 2222/' sshd_config.copy | grep '^Port'
Port 2222

Значок ^ в шаблоне grep значит «в начале строки». Без него нашлись бы ещё комментарии со словом Port и строка #GatewayPorts no — в настоящем sshd_config их несколько.

На экране замена получилась, а сам файл не изменился. Теперь то же с флагом -i (in-place, «на месте») — правка записывается в файл:

ubuntu@stand:~$
sed -i 's/#Port 22/Port 2222/' sshd_config.copy

Команда молчит. Проверяем глазами:

ubuntu@stand:~$
grep -n '^Port' sshd_config.copy      # -n — номер строки
23:Port 2222

Без флагов sed меняет только первое совпадение в строке; чтобы заменить все, в конце пишут g: s/old/new/g.

Ошибка новичка — сразу запускать sed -i на настоящем конфиге: ошибся в шаблоне, и файл испорчен. Поэтому сначала без -i, и с копией.

Словарь урока

поле
Кусок строки между разделителями. В awk — $1, $2, …, $NF. ↩ к тексту
шелл
Программа, которая читает и выполняет команды. На серверах обычно bash. ↩ к тексту
sed -i
Замена текста прямо в файле. Без -i результат только печатается.

Что спросят на собеседовании

  • Как получить список адресов из access-лога?
    awk '{print $1}' access.log — первое поле каждой строки. Дальше sort | uniq -c, чтобы посчитать запросы с каждого адреса.
  • Как поменять значение в конфиге без редактора?
    sed -i 's/старое/новое/' файл. Сначала прогнать без -i и посмотреть результат, и иметь копию файла.

Что дальше

В практике ты разберёшь настоящий по форме access-лог: посчитаешь ошибки, найдёшь медленные запросы и самый активный адрес — grep, awk и sort.

Проверь себя+120 XPдве попытки
1
awk: колонка
Что напечатает awk '{print $1}' access.log?
2
sed: замена в файле
Чем отличается sed -i 's/a/b/' file от sed 's/a/b/' file?
3
Почему по полю
Почему коды ответа в логе считают через awk, а не grep -c 500?
ответь на все вопросы, чтобы проверить

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.