Provision
—— XP

Практика: сломать сайт и найти причину

практика~30 минут+350 XP

Чинить чужую поломку проще, если ты уже видел её в лицо. Поэтому сломаем свой сайт четырьмя способами, которые встречаются чаще всего, и каждый раз найдём причину так, как это делают на работе: код ответа, потом строка в error.log.

Работаем на сайте stand.provision.internal с HTTPS из прошлой практики. Флаг -k у curl по-прежнему нужен из-за учебного сертификата, а -I — чтобы видеть только заголовки. Если между практиками был перерыв, сначала проверь копии приложения: ss -tln | grep 800 должна показать 8000 и 8001. Нет строк — подними копии, как в шаге 3 практики про прокси.

Шаг 1. Отнять права на страницу

Команда chmod 600 оставляет право читать файл только владельцу, то есть root. Пользователь www-data, от которого работает nginx, читать его больше не сможет.

ubuntu@stand:~$
sudo chmod 600 /var/www/provision/index.html

Шаг 2. Увидеть 403 и причину

Спросим главную.

ubuntu@stand:~$
curl -kI https://stand.provision.internal/
ubuntu@stand:~$
HTTP/1.1 403 Forbidden

Код 403 говорит только «нельзя». Почему нельзя — написано в журнале ошибок, флаг -n 1 даёт последнюю строку.

ubuntu@stand:~$
sudo tail -n 1 /var/log/nginx/error.log
ubuntu@stand:~$
... open() "/var/www/provision/index.html" failed (13: Permission denied), client: 127.0.0.1, server: stand.provision.internal

Журнал называет и файл, и причину: Permission denied. Чинить нужно права, а не конфиг.

Шаг 3. Вернуть права

Права 644 — владелец читает и пишет, остальные читают. Так было до шага 1.

ubuntu@stand:~$
sudo chmod 644 /var/www/provision/index.html
ubuntu@stand:~$
curl -kI https://stand.provision.internal/
ubuntu@stand:~$
HTTP/1.1 200 OK

Шаг 4. Остановить приложение

Теперь уроним обе копии приложения разом. Команда pkill останавливает процессы по имени, флаг -f ищет по всей строке запуска, а не только по имени программы.

ubuntu@stand:~$
pkill -f http.server
ubuntu@stand:~$
curl -kI https://stand.provision.internal/api/
ubuntu@stand:~$
HTTP/1.1 502 Bad Gateway

Шаг 5. Найти причину 502

Код 502 значит «за прокси никого нет». Проверим это по журналу.

ubuntu@stand:~$
sudo tail -n 1 /var/log/nginx/error.log
ubuntu@stand:~$
... connect() failed (111: Connection refused) while connecting to upstream, ... upstream: "http://127.0.0.1:8001/"

Connection refused и адрес из upstream. Убедимся, что порт никто не слушает. Флаги ss: -t — TCP, -l — слушающие, -n — номера вместо имён, -p — какая программа.

ubuntu@stand:~$
sudo ss -tlnp | grep 800
ubuntu@stand:~$
(пусто: ни одной строки)

Вывод пустой: ни 8000, ни 8001 никто не слушает. Значит, чинить приложение.

Шаг 6. Поднять приложение

Запускаем копии так же, как в практике про прокси.

ubuntu@stand:~$
cd ~/devops-lab/app-a
ubuntu@stand:~$
python3 -m http.server 8000 -b 127.0.0.1 &

Повтори для ~/devops-lab/app-b на порту 8001 и проверь, что прокси снова работает.

ubuntu@stand:~$
curl -k https://stand.provision.internal/api/
ubuntu@stand:~$
app A

Шаг 7. Подготовить зависшее приложение

504 случается, когда приложение приняло запрос и молчит. Ждать минуту по умолчанию скучно, поэтому сократим ожидание для отладочного location. Открой файл сайта.

ubuntu@stand:~$
sudo nano /etc/nginx/sites-available/provision

Внутрь location /debug/ добавь строку с таймаутом ответа.

внутри location /debug/
        proxy_read_timeout 5s;

Проверь и примени: sudo nginx -t, затем sudo systemctl reload nginx.

Шаг 8. Запустить молчащее приложение

Программа nc из практики про прокси слушает порт и ничего не отвечает — идеальное зависшее приложение. Флаг -l значит «слушать».

ubuntu@stand:~$
nc -l 127.0.0.1 8002 &

Шаг 9. Увидеть 504 и причину

Запрос будет висеть ровно пять секунд.

ubuntu@stand:~$
curl -kI https://stand.provision.internal/debug/
ubuntu@stand:~$
HTTP/1.1 504 Gateway Time-out

Выше ответа nc напечатает сам запрос — его ты уже видел. А в журнале — причина.

ubuntu@stand:~$
sudo tail -n 1 /var/log/nginx/error.log
ubuntu@stand:~$
... upstream timed out (110: Connection timed out) while reading response header from upstream, ... upstream: "http://127.0.0.1:8002/"

Разница с 502 видна в словах: подключиться удалось, но ответа не дождались. Чинят такое в приложении, а не увеличением таймаута до бесконечности. Останавливать nc не нужно: когда nginx сдался, он закрыл соединение, и nc завершился сам.

Шаг 10. Опечатка в конфиге

Последняя поломка — самая частая. Открой файл сайта и удали точку с запятой в конце строки root /var/www/provision;. Потом проверка.

ubuntu@stand:~$
sudo nginx -t
ubuntu@stand:~$
nginx: [emerg] invalid number of arguments in "root" directive in /etc/nginx/sites-enabled/provision:9
nginx: configuration file /etc/nginx/nginx.conf test failed

Без точки с запятой nginx склеил две строки в одну: root /var/www/provision index index.html; — и решил, что у root слишком много значений. Он называет директиву, файл и номер строки, но номер указывает туда, где nginx заметил ошибку, а это бывает строка ниже опечатки. Верни точку с запятой и снова выполни sudo nginx -t: должно быть «test is successful». Reload здесь не нужен, работающий nginx твою опечатку так и не увидел.

Шаг 11. Свести наблюдения

Посмотри все три причины, найденные сегодня, одной командой. Сначала перейди в каталог журналов.

ubuntu@stand:~$
cd /var/log/nginx

Флаг -o у grep печатает только совпавший кусок, а каждый -e добавляет ещё одно слово для поиска.

ubuntu@stand:~$
sudo grep -o -e denied -e refused -e "timed out" error.log
ubuntu@stand:~$
denied
refused
timed out

Строк может быть больше: каждая поломка за день оставила свою запись. Если делаешь практику не за один вечер, часть записей уже переехала во вчерашний error.log.1, его тоже можно назвать в той же команде. Команда сдачи смотрит в оба файла. Три слова — три разных места поломки: права на диске, отсутствующее приложение, медленное приложение. Запомни соответствие, и половина дежурств пройдёт быстрее.

Что спросят на собеседовании

  • Сайт отдаёт 504. Куда смотреть?
    В error.log на строку upstream timed out: приложение приняло запрос, но не ответило за proxy_read_timeout. Дальше — журнал и нагрузка самого приложения.
  • nginx -t ругается на строку, где всё правильно. Почему?
    Чаще всего ошибка строкой выше — например, пропущена точка с запятой, и nginx замечает это только на следующей.
Практика 04+350 XP

Узнавать в лицо четыре типовые поломки nginx — права, упавшее приложение, зависшее приложение и опечатку в конфиге — и находить причину по журналу за минуту.

  • Конфиг снова цел
  • Главная снова открывается
  • Приложение снова отвечает
  • 403 воспроизведена
  • 502 воспроизведена
  • 504 воспроизведена
Команда сдачи — выполни на своей машине
команда
sudo nginx -t 2>&1 | tail -1; curl -skI https://stand.provision.internal/ | head -1; curl -sk https://stand.provision.internal/api/; sudo grep -ohE 'Permission denied|Connection refused|upstream timed out' /var/log/nginx/error.log /var/log/nginx/error.log.1 2>/dev/null | sort -u

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.