Утром пришла жалоба: ночью сайт то отвечал, то нет. Мониторинга не было, сервер жив, место есть. Из данных — access-лог за ночь и сам сервер.
Задача в трёх частях, как и бывает на дежурстве: разобраться, что происходило; закрыть то, что позволило этому случиться; поставить наблюдение, чтобы в следующий раз узнать раньше пользователей. Понадобится весь раздел. Готовых команд с выводом здесь нет — это миссия, вывод ты увидишь сам.
Подготовка: ночной лог
Создай каталоги и лог, в котором спрятан инцидент. Поля те же, что в практике про access-лог: адрес, время, метод, путь, код, миллисекунды.
mkdir -p ~/devops-lab/logs ~/devops-lab/reports mkdir -p ~/devops-lab/bin cat > ~/devops-lab/logs/night.log <<'EOF' 10.0.0.14 02:58 GET /api/items 200 92 10.0.0.31 02:59 GET /api/items 200 88 203.0.113.77 03:01 GET /api/search 200 1610 203.0.113.77 03:02 GET /api/search 200 1720 203.0.113.77 03:02 GET /api/search 500 3010 203.0.113.77 03:03 GET /api/search 200 1880 10.0.0.9 03:04 GET /api/health 200 11 203.0.113.77 03:05 GET /api/search 500 2950 203.0.113.77 03:06 GET /api/search 200 1650 203.0.113.77 03:07 GET /api/search 200 1790 10.0.0.14 03:09 GET /api/items 200 97 203.0.113.77 03:10 GET /api/search 500 3300 203.0.113.77 03:11 GET /api/search 200 1700 10.0.0.31 04:15 GET /api/items 200 85 EOF
Часть 1. Разобраться
Ответь по логу на три вопроса и запиши ответы в ~/devops-lab/reports/mission-03.txt:
- Кто сделал больше всего запросов и сколько.
- Куда шли медленные запросы (дольше 1000 мс).
- Когда — в какой час.
Приёмы те же, что в практике про лог: колонку — в файл через awk, потом sort и uniq -c. Начни с перехода в каталог логов.
cd ~/devops-lab/logs awk '{print $1}' night.log > ips.txt sort ips.txt | uniq -c
Для второго вопроса печатай четвёртое поле у строк, где шестое больше 1000: awk '$6 > 1000 {print $4}' night.log. Для третьего — второе поле у тех же строк, а час из времени 03:05 вырежет cut:
awk '$6 > 1000 {print $2}' night.log > slow.txt cut -d: -f1 slow.txt | uniq -c # -d: разделитель, -f1 первое поле
Часть 2. Закрыть
Сначала закрой сам источник: адрес 203.0.113.77 больше не должен доходить до сервера. Правило запрета ставят первым в списке: ufw проверяет правила сверху вниз и применяет первое совпавшее, поэтому запрет после разрешающего OpenSSH не сработал бы для SSH.
sudo ufw insert 1 deny from 203.0.113.77insert 1 — вставить на первое место, deny from — отбрасывать всё с этого адреса. ufw ответит Rule inserted. Адрес учебный, из диапазона для документации, так что никого настоящего ты не отрежешь. На работе перед таким правилом фиксируют цифры в отчёте: блокировка без разбора может отрезать честного клиента.
Затем убедись, что стенд закрыт по чек-листу из практики «Закрыть стенд»: файрвол активен и пускает только SSH, пароли и root по SSH запрещены.
sudo ufw status sudo sshd -T | grep passwordauthentication sudo sshd -T | grep permitrootlogin
В ufw status первой строкой правил теперь стоит Anywhere DENY 203.0.113.77. Напомню флаги: -T у sshd печатает итоговую конфигурацию, а grep оставляет из неё одну строку. Обе должны кончаться словом no: passwordauthentication no и permitrootlogin no. Блок сдачи проверяет и их. Если что-то не так — вернись к той практике и пройди её. Не забудь главное правило: правишь доступ — держишь открытой вторую сессию.
Часть 3. Поставить наблюдение
Напиши ~/devops-lab/bin/health-check.sh, который печатает одну строку о состоянии сервера, и поставь его в cron раз в минуту с выводом в ~/devops-lab/logs/health.log. Вид строки:
2026-10-01 11:42:01 load 0.42 0.31 0.25 disk 29%Строка обязана содержать слово load и число за ним — по ним её проверяет критерий. Детали, которые пригодятся внутри скрипта:
NOW=$(date '+%F %T') # дата и время LOAD=$(cut -d' ' -f1-3 /proc/loadavg) # три числа нагрузки DISK=$(df --output=pcent / | tail -1) # процент занятого диска echo "$NOW load $LOAD disk$DISK"
/proc/loadavg — файл, в котором ядро держит нагрузку за 1, 5 и 15 минут; cut -f1-3 берёт первые три поля. df --output=pcent печатает только процент занятого места.
Не включай в этом скрипте set -e: если одна команда сбора упадёт, наблюдатель не запишет ничего, а молчащий наблюдатель хуже неполной строки. Остальное из урока про скрипты — шебанг, chmod +x, полный путь в crontab, >> файл 2>&1 в конце строки — обязательно.
Про путь подробнее. Знак ~ в crontab писать нельзя: cron запускает команды без твоей оболочки и раскрывать его не обязан. Пиши путь целиком, со своим именем пользователя: /home/<твоё имя>/devops-lab/bin/health-check.sh. Своё имя подскажет команда echo $HOME — она печатает путь к домашнему каталогу. Годится и запись $HOME/devops-lab/…: эту переменную cron задаёт сам.
Как оформить отчёт
Отчёт читает дежурный, у которого нет твоего контекста. Пиши подписанными строками: кто, куда, когда, что закрыто, что поставлено и что осталось сделать. Открой файл в nano и заполни такой скелет своими цифрами:
кто: адрес и число запросов куда: медленная ручка час: в какой час всё случилось закрыто: что сделал в файрволе поставлено: что теперь следит за сервером осталось: что сделать дальше
Вывод формулируй конкретно: не «сервер тормозил», а какая ручка, с какого адреса и как долго отвечала.
Как это решал бы инженер
Разбор откроется, когда миссию примут: сначала пройди дежурный цикл сам.
Сначала попробуй сам — блок сдачи внизу страницы. Когда сдачу примут, здесь появится, как её решал бы инженер: в каком порядке, какими командами и как проверял.
Что спросят на собеседовании
- Сервер «тормозит». Как понять, что именно?Разложить нагрузку по источникам и путям: топ адресов, медленные ручки, распределение по времени. Вывод «тормозит конкретная ручка под нагрузкой с одного адреса» — руководство к действию, «тормозит сервер» — нет.
- Один адрес даёт аномальный трафик. Что делать?Зафиксировать факт с цифрами, потом ограничить: правило файрвола, лимит частоты в nginx. Блокировка без разбора может отрезать честного клиента.
- Почему в скриптах-наблюдателях осторожны с set -e?Падение одной команды сбора обрывает скрипт, и не записывается ничего. Лучше неполная строка, чем тишина.
Раздел закрыт
Ты умеешь заходить на сервер по ключу, вытаскивать ответы из логов, писать скрипт, который честно сообщает об ошибке, ставить его в расписание и закрывать сервер снаружи.
Остался последний урок раздела — «Инструменты»: шпаргалка и быстрая отладка слоя «сервер». Дальше — раздел 04 «Сети»: адреса и маски, порты, порядок диагностики «сайт не открывается» и DNS. Без него непонятно, почему служба слушает, а снаружи её не видно.