CTFd — самое простое, здесь запущен только CTFd в Docker с помощью стандартного compose. Домен проксируется через cloudflare.com для защиты от DDoS, а в конфиге nginx прописан whitelist адресов, которые могут делать запросы на CTFd (здесь можно почитать, как это делается). В whitelist также добавлены публичные адреса VPN нашей команды, чтобы иметь возможность заливать в таски файлы, превышающие ограничения бесплатного тарифа Cloudflare (100MB). В Cloudflare включен flexible SSL и редиректы HTTP → HTTPS, чтобы CTFd всегда работал по HTTPS, но при этом на самой машине не нужно было создавать и настраивать сертификаты. Все порты, кроме 22 (ssh) и 80 (nginx) закрыты файрволом облака.
Swarm master + frpc — это не очень тяжелая машинка, которая участвует в кластере swarm, в котором поднимаются таски плагином whale, описанным выше, в качестве мастера, то есть только с неё можно деплоить в кластер новые сервисы. Также на ней запущен клиент frp (aka frpc), который подключен к overlay сети swarm и может проксировать запросы в любой таск. На этой машине открыт порт 2376 с сокетом Docker, но он защищен файрволом облака (разрешающим запросы на него только с адреса CTFd) и сертификатами (+rep авторам Whale за поддержку доступа к Docker с сертификатами из коробки).
frps-proxy — ещё одна относительно “легкая” машинка, на которой запущен только frps — сервер frp, который перенаправляет запросы на frpc (описан в предыдущем пункте). Запросы бывают по HTTP (e.g. web, ppc) и по сырому TCP (e.g. pwn). Для HTTP настроен Cloudflare точно так же, как для CTFd — с проксированием всех доменов и HTTPS. Для этого в Cloudflare создана A-запись *, то есть любой поддомен, кроме явно прописанных, будет вести на frps. Точно так же есть nginx, который разрешает только запросы с адресов Cloudflare. Проблема возникает с тасками, работающими по TCP — для них надо открыть на машинке большой диапазон портов (10000-15000 в нашем случае), и она становится уязвима к DDoS. В файрволе frps-proxy к диапазону портов TCP-тасков разрешен доступ только с адреса pwn-proxy.
pwn-proxy — легкая машинка, на которой запущен multiproxy, простой прокси диапазона TCP-портов на Go, который я написал специально для кубка. Этот хост выступает как точка отказа и снижает последствия DDoS на TCP-порты (при атаке на pwn-proxy HTTP-таски продолжат работать). У облака EdgeCenter есть услуга чистого TCP трафика ”защита инфраструктуры”, но перестраховаться не помешает. Eсли упадет frps-proxy, будут недоступны сразу все per-team таски, если упадет pwn-proxy, будут недоступны только половина per-team тасков.
Swarm workers — группа машин (5 штук, 80 ядер суммарно), на которой запускаются per-team таски. Такая схема позволяет быстро добавлять машинки в кластер запуском всего одной команды на воркере (docker swarm join) и одной команды на мастере (повесить метку linux-1 на нового воркера, чтобы показать плагину Whale, что на эту машину можно шедулить таски). В файрволе этих хостов прописаны все порты, которые могут понадобиться докеру (обратите внимание, что это порты для воркеров, для мастера их нужно больше):
Бросается в глаза странность в источниках портов для докера — прописан весь диапазон адресов облака. Правильнее было бы либо явно перечислить все адреса воркеров и мастера, либо объединить их в приватную сеть (EdgeCenter дает такую возможность) и указать её. К сожалению, первое мне делать было лень (и вероятность DDoS из подсети EdgeCenter ничтожно мала), а второе довольно странным образом ломает сеть на машинках и сам докер (при подключении публичной и приватной сети с файрволами через некоторое время публичная сеть на машинке умирает и не реанимируется).
slons worker (под конец их было 2) и client-side webs — машины, на которых запущены не per-team таски (таких тасков было всего 3). Все они под Cloudflare, как описано выше. Так как Cloudflare не умеет проксировать запросы на нестандартные порты, дополнительно на хостах мы поднимаем реверс-прокси Caddy с примерно следующим конфигом: