Provision
—— XP

Миссия: ночью сервер задыхался

практика~50 минут+300 XP

Утром пришла жалоба: ночью сайт то отвечал, то нет. Мониторинга не было, сервер жив, место есть. Из данных — access-лог за ночь и сам сервер.

Задача в трёх частях, как и бывает на дежурстве: разобраться, что происходило; закрыть то, что позволило этому случиться; поставить наблюдение, чтобы в следующий раз узнать раньше пользователей. Понадобится весь раздел. Готовых команд с выводом здесь нет — это миссия, вывод ты увидишь сам.

Подготовка: ночной лог

Создай каталоги и лог, в котором спрятан инцидент. Поля те же, что в практике про access-лог: адрес, время, метод, путь, код, миллисекунды.

стенд · подготовкаскрипт подготовки, выполняется целиком
mkdir -p ~/devops-lab/logs ~/devops-lab/reports
mkdir -p ~/devops-lab/bin
cat > ~/devops-lab/logs/night.log <<'EOF'
10.0.0.14 02:58 GET /api/items 200 92
10.0.0.31 02:59 GET /api/items 200 88
203.0.113.77 03:01 GET /api/search 200 1610
203.0.113.77 03:02 GET /api/search 200 1720
203.0.113.77 03:02 GET /api/search 500 3010
203.0.113.77 03:03 GET /api/search 200 1880
10.0.0.9 03:04 GET /api/health 200 11
203.0.113.77 03:05 GET /api/search 500 2950
203.0.113.77 03:06 GET /api/search 200 1650
203.0.113.77 03:07 GET /api/search 200 1790
10.0.0.14 03:09 GET /api/items 200 97
203.0.113.77 03:10 GET /api/search 500 3300
203.0.113.77 03:11 GET /api/search 200 1700
10.0.0.31 04:15 GET /api/items 200 85
EOF

Часть 1. Разобраться

Ответь по логу на три вопроса и запиши ответы в ~/devops-lab/reports/mission-03.txt:

  1. Кто сделал больше всего запросов и сколько.
  2. Куда шли медленные запросы (дольше 1000 мс).
  3. Когда — в какой час.

Приёмы те же, что в практике про лог: колонку — в файл через awk, потом sort и uniq -c. Начни с перехода в каталог логов.

ubuntu@stand:~$
cd ~/devops-lab/logs
awk '{print $1}' night.log > ips.txt
sort ips.txt | uniq -c

Для второго вопроса печатай четвёртое поле у строк, где шестое больше 1000: awk '$6 > 1000 {print $4}' night.log. Для третьего — второе поле у тех же строк, а час из времени 03:05 вырежет cut:

ubuntu@stand:~$
awk '$6 > 1000 {print $2}' night.log > slow.txt
cut -d: -f1 slow.txt | uniq -c        # -d: разделитель, -f1 первое поле

Часть 2. Закрыть

Сначала закрой сам источник: адрес 203.0.113.77 больше не должен доходить до сервера. Правило запрета ставят первым в списке: ufw проверяет правила сверху вниз и применяет первое совпавшее, поэтому запрет после разрешающего OpenSSH не сработал бы для SSH.

ubuntu@stand:~$
sudo ufw insert 1 deny from 203.0.113.77

insert 1 — вставить на первое место, deny from — отбрасывать всё с этого адреса. ufw ответит Rule inserted. Адрес учебный, из диапазона для документации, так что никого настоящего ты не отрежешь. На работе перед таким правилом фиксируют цифры в отчёте: блокировка без разбора может отрезать честного клиента.

Затем убедись, что стенд закрыт по чек-листу из практики «Закрыть стенд»: файрвол активен и пускает только SSH, пароли и root по SSH запрещены.

ubuntu@stand:~$
sudo ufw status
sudo sshd -T | grep passwordauthentication
sudo sshd -T | grep permitrootlogin

В ufw status первой строкой правил теперь стоит Anywhere DENY 203.0.113.77. Напомню флаги: -T у sshd печатает итоговую конфигурацию, а grep оставляет из неё одну строку. Обе должны кончаться словом no: passwordauthentication no и permitrootlogin no. Блок сдачи проверяет и их. Если что-то не так — вернись к той практике и пройди её. Не забудь главное правило: правишь доступ — держишь открытой вторую сессию.

Часть 3. Поставить наблюдение

Напиши ~/devops-lab/bin/health-check.sh, который печатает одну строку о состоянии сервера, и поставь его в cron раз в минуту с выводом в ~/devops-lab/logs/health.log. Вид строки:

ожидаемая строка
2026-10-01 11:42:01 load 0.42 0.31 0.25 disk 29%

Строка обязана содержать слово load и число за ним — по ним её проверяет критерий. Детали, которые пригодятся внутри скрипта:

куски для скрипта
NOW=$(date '+%F %T')                    # дата и время
LOAD=$(cut -d' ' -f1-3 /proc/loadavg)   # три числа нагрузки
DISK=$(df --output=pcent / | tail -1)   # процент занятого диска
echo "$NOW load $LOAD disk$DISK"

/proc/loadavg — файл, в котором ядро держит нагрузку за 1, 5 и 15 минут; cut -f1-3 берёт первые три поля. df --output=pcent печатает только процент занятого места.

Не включай в этом скрипте set -e: если одна команда сбора упадёт, наблюдатель не запишет ничего, а молчащий наблюдатель хуже неполной строки. Остальное из урока про скрипты — шебанг, chmod +x, полный путь в crontab, >> файл 2>&1 в конце строки — обязательно.

Про путь подробнее. Знак ~ в crontab писать нельзя: cron запускает команды без твоей оболочки и раскрывать его не обязан. Пиши путь целиком, со своим именем пользователя: /home/<твоё имя>/devops-lab/bin/health-check.sh. Своё имя подскажет команда echo $HOME — она печатает путь к домашнему каталогу. Годится и запись $HOME/devops-lab/…: эту переменную cron задаёт сам.

Как оформить отчёт

Отчёт читает дежурный, у которого нет твоего контекста. Пиши подписанными строками: кто, куда, когда, что закрыто, что поставлено и что осталось сделать. Открой файл в nano и заполни такой скелет своими цифрами:

~/devops-lab/reports/mission-03.txt — скелет
кто: адрес и число запросов
куда: медленная ручка
час: в какой час всё случилось
закрыто: что сделал в файрволе
поставлено: что теперь следит за сервером
осталось: что сделать дальше

Вывод формулируй конкретно: не «сервер тормозил», а какая ручка, с какого адреса и как долго отвечала.

Как это решал бы инженер

Разбор откроется, когда миссию примут: сначала пройди дежурный цикл сам.

Решение откроется после сдачи.

Сначала попробуй сам — блок сдачи внизу страницы. Когда сдачу примут, здесь появится, как её решал бы инженер: в каком порядке, какими командами и как проверял.

Что спросят на собеседовании

  • Сервер «тормозит». Как понять, что именно?
    Разложить нагрузку по источникам и путям: топ адресов, медленные ручки, распределение по времени. Вывод «тормозит конкретная ручка под нагрузкой с одного адреса» — руководство к действию, «тормозит сервер» — нет.
  • Один адрес даёт аномальный трафик. Что делать?
    Зафиксировать факт с цифрами, потом ограничить: правило файрвола, лимит частоты в nginx. Блокировка без разбора может отрезать честного клиента.
  • Почему в скриптах-наблюдателях осторожны с set -e?
    Падение одной команды сбора обрывает скрипт, и не записывается ничего. Лучше неполная строка, чем тишина.

Раздел закрыт

Ты умеешь заходить на сервер по ключу, вытаскивать ответы из логов, писать скрипт, который честно сообщает об ошибке, ставить его в расписание и закрывать сервер снаружи.

Остался последний урок раздела — «Инструменты»: шпаргалка и быстрая отладка слоя «сервер». Дальше — раздел 04 «Сети»: адреса и маски, порты, порядок диагностики «сайт не открывается» и DNS. Без него непонятно, почему служба слушает, а снаружи её не видно.

Практика 06+300 XP

Пройти дежурный цикл целиком: разобраться по логу, закрыть то, что позволило инциденту случиться, и поставить наблюдение, чтобы в следующий раз узнать раньше пользователей.

  • Найден адрес-нарушитель и число его запросов
  • Названа медленная ручка
  • Назван час аномалии
  • Файрвол включён
  • Адрес-нарушитель закрыт в файрволе
  • health-check.sh стоит в cron каждую минуту с полным путём
  • Наблюдатель пишет нагрузку в лог
  • Вход по паролю по SSH запрещён
  • Вход под root по SSH запрещён
Команда сдачи — выполни на своей машине
команда
cat ~/devops-lab/reports/mission-03.txt; sudo ufw status; crontab -l | grep health; tail -2 ~/devops-lab/logs/health.log; sudo sshd -T | grep -E '^(passwordauthentication|permitrootlogin) '

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.