Provision
—— XP

Практика: каркас, машины и их настройка

практика~180 минут+750 XP

Это первые два этапа плана. В конце у тебя будут две машины, которые можно снести и поднять заново одной командой, и настройка, которая при повторе ничего не трогает.

Работаешь с рабочей машины — стенда курса, где лежит ~/infra и уже стоят Terraform, Ansible и yc. Все файлы проекта пишутся здесь, в ~/final, — правило из прошлого урока. Новые машины ты будешь только настраивать с неё, заходя по SSH.

Этап рассчитан на облако из разделов 14 и 15. Без облака он проходится на двух виртуалках, но Terraform-часть тогда пишется под провайдер твоей программы виртуализации — об этом в шаге 3.

Всё здесь ты уже делал по отдельности в разделах про облако, Terraform и Ansible. Новое только одно: теперь это одна связка, и результат одного шага — вход следующего.

Шаг 1. Репозиторий

Проекту нужен свой репозиторий — не каталог ~/infra из курса, а чистый, с которого начнётся история, которую ты потом покажешь. Создаём каталог:

ubuntu@stand:~$
mkdir ~/final
ubuntu@stand:~$
cd ~/final
ubuntu@stand:~$
git init
ubuntu@stand:~$
Initialized empty Git repository in /home/anton/final/.git/

Строка значит, что внутри появилась служебная папка .git, а значит, у файлов теперь будет история.

Шаг 2. Что не должно попасть в историю

Раньше, чем появится первый файл с секретом, заводим .gitignore. Открой его в редакторе:

ubuntu@stand:~$
nano .gitignore

Впиши все пять строк из прошлого урока сразу, чтобы потом не дописывать:

.gitignore
*.tfstate*
.terraform/
*.tfvars
.env
*.key

Звёздочка в конце первой строки ловит и сам файл, и его резервную копию terraform.tfstate.backup, которую Terraform кладёт рядом. Файл .terraform.lock.hcl под правила не попадает и в репозиторий идёт: в нём записаны версии провайдеров, как учил раздел 15.

Шаг 3. Две машины в Terraform

Начни с того, что уже работало в разделе 15, — и поменяй только то, без чего две постоянные машины не получатся. Список машин — в terraform/variables.tf:

terraform/variables.tf
variable "machines" {
  default = {
    final-app = { memory = 2 }
    final-ops = { memory = 6 }
  }
}

Ключ слева — имя машины, справа — её память в гигабайтах; откуда эти числа, разобрано в первом уроке раздела.

Остальное возьми из ~/infra/terraform-yc раздела 15. Скопируй в terraform/ файлы network.tf, vm.tf и terraform.tfvars — последний с номером каталога, он под правилом *.tfvars. Файл variables.tf оттуда не копируй: он затрёт только что написанный. Вместо этого допиши в свой variables.tf блок variable "folder_id" из раздела 15. Группу tf-sg в network.tf пока оставь как есть — одну на обе машины.

В vm.tf три правки. Ресурс машины назови vm, добавь строку for_each = var.machines, имя замени на each.key, а память — на each.value.memory. В блоке scheduling_policy поставь preemptible = false, а в resources — core_fraction = 100: прерываемую машину облако гасит в течение суток, а GitLab на пятой части ядра еле ворочается.

Ещё одно отличие от раздела 15 — публичные адреса. Там адрес был динамическим и менялся после каждой остановки машины. Здесь на него сразу завяжутся ~/.ssh/config, /etc/hosts и README, а сменить адрес у работающей машины — лишняя возня. Поэтому каждой машине с самого начала — свой статический адрес, зарезервированный в облаке отдельным ресурсом:

terraform/network.tf — в конец
resource "yandex_vpc_address" "ip" {
  for_each = var.machines
  name     = each.key
  external_ipv4_address { zone_id = "ru-central1-d" }
}

В vm.tf в блоке network_interface рядом с nat = true допиши строку nat_ip_address = yandex_vpc_address.ip[each.key].external_ipv4_address[0].address. Зарезервированный адрес стоит денег и тогда, когда машина остановлена, — после проекта его удаляют вместе с машинами.

Если облака нет и машины — виртуалки на ноутбуке или домашнем сервере, у Terraform есть провайдеры и для них: libvirt для KVM, Proxmox. Это заметно больше самостоятельной работы, чем остальной этап. Честный запасной путь — создать две виртуалки руками, а Terraform оставить на потом, и записать это в README в раздел «Чего намеренно нет». Признак «Машины — кодом» тогда засчитывается только для Ansible. Выбор запиши в docs/decisions.md, это первое решение проекта.

Шаг 4. Создать машины

Сначала Terraform скачивает провайдер облака — так же, как в разделе 15.

ubuntu@stand:~$
terraform -chdir=terraform init
ubuntu@stand:~$
Terraform has been successfully initialized!

Флаг -chdir говорит Terraform работать в каталоге terraform/, не переходя в него. Команда init скачала провайдер; дальше план:

ubuntu@stand:~$
terraform -chdir=terraform plan
ubuntu@stand:~$
Plan: 7 to add, 0 to change, 0 to destroy.

Семь — это сеть, подсеть, группа, два адреса и две машины. Если цифра другая, прочитай план выше этой строки: там каждый ресурс по имени. Ошибка Reference to undeclared input variable значит, что в variables.tf нет folder_id или machines. Когда цифра сходится, применяй:

ubuntu@stand:~$
terraform -chdir=terraform apply
ubuntu@stand:~$
Apply complete! Resources: 7 added, 0 changed, 0 destroyed.

Terraform ещё раз показал план и дождался yes.

Шаг 5. Адреса машин

Адреса нужны для всего дальнейшего — SSH, Ansible, файла hosts. Отдай их выходным значением, как public_ip в разделе 15, только сразу для обеих машин:

terraform/outputs.tf
output "ips" {
  value = {
    for k, m in yandex_compute_instance.vm :
    k => m.network_interface[0].nat_ip_address
  }
}

Конструкция for … : k => … строит словарь «имя машины — её публичный адрес». Рядом таким же блоком опиши inner_ips с ip_address — внутренними адресами, по которым машины видят друг друга. Выходные значения появятся после apply: ресурсы он не тронет.

ubuntu@stand:~$
terraform -chdir=terraform apply
ubuntu@stand:~$
Apply complete! Resources: 0 added, 0 changed, 0 destroyed.
ubuntu@stand:~$
terraform -chdir=terraform output ips
ubuntu@stand:~$
{
  "final-app" = "158.160.40.21"
  "final-ops" = "158.160.40.22"
}

Слева имя машины из variables.tf, справа её публичный адрес — по нему ты заходишь с рабочей машины. Теперь внутренние:

ubuntu@stand:~$
terraform -chdir=terraform output inner_ips
ubuntu@stand:~$
{
  "final-app" = "10.10.1.11"
  "final-ops" = "10.10.1.12"
}

По ним машины ходят друг к другу: Prometheus к экспортёру, Alloy к Loki, копия бэкапа. У тебя адреса будут свои — дальше везде подставляй их.

Шаг 6. Имена для SSH

Чтобы не помнить адреса, в ~/.ssh/config на рабочей машине заводятся короткие имена, как в разделе про SSH:

~/.ssh/config
Host final-app
    HostName 158.160.40.21
    User devops

Host final-ops
    HostName 158.160.40.22
    User devops

Адреса — публичные из output ips, пользователь devops — тот, чей ключ Terraform кладёт на машину строкой ssh-keys, как в разделе 15. Адреса статические, поэтому остановка машины между вечерами их не меняет.

Имена final-app и final-ops знает только SSH. Браузер и curl про них ничего не слышали — для них в следующих практиках будут строки в /etc/hosts.

Проверь, что вход работает по ключу, без пароля:

ubuntu@stand:~$
ssh final-app hostname
ubuntu@stand:~$
final-app

Машина ответила своим именем — значит, ключ подошёл и имя из конфига работает.

Шаг 7. Своя группа на каждую машину

Сейчас обе машины сидят в tf-sg с портами 22 и 80 для всех. Вход есть, но проекту нужно другое: у каждой машины свои порты, и открыты они только с твоего адреса. Замени tf-sg двумя группами по её образцу — final-app-sg и final-ops-sg:

МашинаПортЗачем
final-app22SSH с рабочей машины
final-app80, 443сайт: перенаправление и HTTPS
final-ops22SSH с рабочей машины
final-ops80веб-интерфейс GitLab
final-ops2222git push по SSH в GitLab
final-ops3000Grafana в браузере

Читать таблицу удобно по последней колонке: каждый порт открыт ради конкретного действия, и ничего лишнего. Порт 2222 легко забыть, и тогда git push в практике конвейера просто повиснет. Между собой машины ходят по внутренним адресам подсети — для этого в обе группы добавь правило, разрешающее всё из 10.10.1.0/24.

Между собой машины ходят по внутренним адресам подсети — для этого в обе группы добавь правило, разрешающее всё из 10.10.1.0/24. В vm.tf группа выбирается по имени машины: security_group_ids = [yandex_vpc_security_group.sg[each.key].id], если обе группы описаны одним ресурсом с for_each, или через словарь из двух ссылок.

ubuntu@stand:~$
terraform -chdir=terraform plan
ubuntu@stand:~$
Plan: 2 to add, 2 to change, 1 to destroy.

Две новые группы, две машины меняются на месте — у них меняется только список групп, — и старая tf-sg удаляется. Если вместо 2 to change видишь forces replacement у машин, ты задел поле, которое меняется только пересозданием, — верни его и ищи, что изменилось. Применяй.

ubuntu@stand:~$
terraform -chdir=terraform apply
ubuntu@stand:~$
Apply complete! Resources: 2 added, 2 changed, 1 destroyed.

Повтори ssh final-app hostname: если ответа нет, в группе не тот адрес для порта 22.

Шаг 8. Пустой план

Это главная проверка терраформ-части: описание должно совпадать с тем, что стоит в облаке. Запусти план ещё раз:

ubuntu@stand:~$
terraform -chdir=terraform plan
ubuntu@stand:~$
No changes. Your infrastructure matches the configuration.

Фраза дословно значит «действительность совпадает с описанием». Если вместо неё план что-то предлагает изменить — значит, у ресурса есть поле, которое облако заполняет само, и его стоит описать явно.

В команде сдачи план запускается с флагом -detailed-exitcode. С ним Terraform сообщает итог кодом выхода — числом, которое программа возвращает оболочке: 0 — изменений нет, 2 — план что-то предлагает, 1 — ошибка. Команда сдачи печатает это число строкой PLAN=.

Шаг 9. Инвентарь Ansible

Ansible нужно знать, какие машины есть и какая для чего. Создай ansible/inventory.ini с двумя группами:

ansible/inventory.ini
[app]
final-app

[ops]
final-ops

Имена те же, что в ~/.ssh/config, поэтому адреса здесь не нужны — Ansible ходит через обычный SSH и берёт их оттуда.

Чтобы не писать путь к инвентарю в каждой команде, в корне репозитория заводится ansible.cfg — Ansible сам ищет его в текущем каталоге:

ansible.cfg
[defaults]
inventory = ansible/inventory.ini

Проверим, что обе машины отвечают:

ubuntu@stand:~$
ansible all -m ping
ubuntu@stand:~$
final-app | SUCCESS => {"ping": "pong"}
final-ops | SUCCESS => {"ping": "pong"}

Слово all значит «все машины инвентаря», флаг -m ping выбирает модуль, который просто проверяет вход и наличие Python на машине. Два pong значат, что Ansible управляет обеими.

Шаг 10. Общее для обеих машин

Начни с того, что нужно обеим: пользователь и Docker. Роль base у тебя уже есть с миссии раздела 13 — скопируй её из ~/infra/ansible/roles в ansible/roles. Роль docker создай тем же ansible-galaxy role init: её задачи ставят Docker из официального репозитория — те же шаги, что ты делал руками в разделе 07, только модулями apt и service, — и добавляют пользователя devops в группу docker модулем user. Задачу с паролем из Vault в base можно убрать: в этом проекте пароль базы живёт в .env и в переменной GitLab.

ansible/site.yml
- hosts: all
  become: true
  roles: [base, docker]

Строка become: true значит «выполнять через sudo».

ubuntu@stand:~$
ansible-playbook ansible/site.yml
ubuntu@stand:~$
PLAY RECAP *****************************************
final-app : ok=…  changed=…  unreachable=0  failed=0
final-ops : ok=…  changed=…  unreachable=0  failed=0

Читать нужно последние строки. changed — сколько задач что-то изменили на машине; в первый раз их много, это нормально, и числа у тебя будут свои. Главное — failed=0 и unreachable=0. Запусти ту же команду второй раз: это проверка идемпотентности — повтор не должен ничего менять, и у обеих машин должно стать changed=0. Если где-то не ноль, в выводе выше ищи задачи, помеченные жёлтым changed: обычно это shell без условия creates или шаблон, в который попадает дата.

Шаг 11. Сайт и файрвол

Теперь то, что у машин разное. Роль web с nginx скопируй из того же ~/infra/ansible/roles и допиши в site.yml второй блок — только для final-app: nginx нужен там, где пользователь.

ansible/site.yml — второй блок
- hosts: app
  become: true
  roles: [web]

Допиши в base то, что в разделе 03 делал руками: вход только по ключу и файрвол ufw. Порты в нём разные на двух машинах, поэтому список берётся из переменной группы:

МашинаПорты в ufwПочему так
final-app22, 80, 443nginx стоит пакетом на машине, ufw его закрывает
final-ops22GitLab и мониторинг в Docker, их порты ufw не видит

Вторая строка удивляет почти всех. Порты, которые публикует Docker, проходят мимо ufw — это ты видел в разделе 07. Поэтому на final-ops их держит закрытыми группа безопасности облака, а не ufw. На final-app порт 9100 для экспортёра откроется в практике мониторинга.

Сами списки положи в ansible/group_vars/app.yml и ansible/group_vars/ops.yml строкой вида ufw_ports: [22, 80, 443], а в роли пройди по ним циклом loop, как в разделе 13.

ubuntu@stand:~$
ansible-playbook ansible/site.yml
ubuntu@stand:~$
PLAY RECAP *****************************************
final-app : ok=24  changed=…  unreachable=0  failed=0
final-ops : ok=19  changed=…  unreachable=0  failed=0

Изменения есть только там, где добавилось новое: nginx и ufw. И снова второй прогон:

ubuntu@stand:~$
ansible-playbook ansible/site.yml
ubuntu@stand:~$
final-app : ok=24  changed=0  unreachable=0  failed=0
final-ops : ok=19  changed=0  unreachable=0  failed=0

Ноль в changed у обеих машин — то, ради чего весь этап.

Шаг 12. Зафиксировать

Этап закончен — коммит. Сначала посмотри, что уходит:

ubuntu@stand:~$
git status --short
ubuntu@stand:~$
?? .gitignore
?? ansible.cfg
?? ansible/
?? docs/
?? terraform/

Флаг --short даёт по строке на файл; ?? значит «Git видит файл впервые». Файла terraform.tfstate в списке быть не должно — его скрыл .gitignore. Добавляй и фиксируй:

ubuntu@stand:~$
git add .
ubuntu@stand:~$
git commit -m "infra: две машины и базовая настройка"

Флаг -m задаёт сообщение коммита сразу, без редактора. Теперь вставь команду сдачи целиком в блок ниже.

Что дальше

Машины стоят и настроены. Следующий этап — на final-app поднимается само приложение с базой, и nginx начинает отдавать его по HTTPS.

Практика 01+750 XP

Поднять с нуля две машины проекта кодом и доказать, что описание и действительность совпадают: пустой план и ноль изменений на повторном прогоне.

  • Машины совпадают с описанием
  • Настройка final-app не меняется при повторе
  • Настройка final-ops не меняется при повторе
  • Состояние Terraform не попало в репозиторий
  • Машины не прерываемые
Команда сдачи — выполни на своей машине
команда
cd ~/final; terraform -chdir=terraform plan -detailed-exitcode > /dev/null; echo PLAN=$?; ansible-playbook ansible/site.yml | tail -n 4; echo STATE=$(git ls-files | grep -c tfstate); echo SPOT=$(grep -c 'preemptible *= *true' terraform/vm.tf); git log --oneline | head -n 3

Нашёл ошибку или непонятное место? Наведи на абзац — слева появится «+», нажми и напиши, что не так. Замечание увидит автор курса.Нашёл ошибку или непонятное место? Нажми «+» справа от заголовка раздела и напиши, что не так. Замечание увидит автор курса.