Что такое CrowdSec и чем он нам полезен?
Сайты, на которых идут продажи или завязана работа огромного количества человек, стратегически важные сайты — все они излюбленная мишень для атак с целью вывода из строя. Наша инженерная команда 911 начала новый год с построения дополнительной защиты нашего сайта при помощи сервиса CrowdSec.
DDoS-атаки
Периодически наш сайт подвергается DDoS-атакам. Преимущественно с иностранных IP-адресов. Раньше мы просто включали бота, который банил все иностранные адреса.
Но это была не панацея. Когда «полезные» боты заходят к нам на сайт с иностранных ip адресов, они тоже попадают в бан (например Apple). В результате не работает Universal Links.
Смысл их простой — отправлять пользователя в приложение, если он переходит на страницу сайта, которую приложение поддерживает. Наиболее часто это применяется в письмах, которые отправляются после регистрации для подтверждения электронной почты. Universal Links избавляет пользователя от необходимости самостоятельно возвращаться в приложение.
Нам потребовался гибкий и деликатный инструмент для защиты сайта.
У нас уже были небольшие наработки по CrowdSec, и теперь настало время их полноценно применить.
Система CrowdSec:
- Современная;
- Гибкая (множество сценариев, баунсеров; фильтры grok);
- Быстрая (минимальное потребление ресурсов);
- А главное мощная (адаптивная система блокировки, также центральная API, которая позволяет блокировать и получать информацию с центрального API о других атаках с IP-адресов, обучение на основе данных сообщества).
CrowdSec — очень мощный и гибкий инструмент отсюда вытекает один недостаток. Им можно легко самим себе навредить. Сделать так, чтобы пользователи сайта могли попасть в бан.
Чтобы этого избежать наша инженерная команда 911:
- Написала свою конфигурацию, под используемое на сервере окружение;
- На основе имеющихся данных о DDoS-атаке настроила индивидуальную политику блокировки IP-адресов;
- Настроила дашборды для отслеживания попыток DDoS-атак;
- Настроила алерты в Telegram;
- Провела тестирование (имитацию DDoS) работы на продовых серверах.
Убедились в работоспособности CrowdSec и получили постоянно работающую защиту нашего сайта (раньше мы включали защиту только вовремя атак). Пользователи не попадают в бан, а сторонние сервисы работают без перебоев. Появился удобный мониторинг.
В завершении статьи, в качестве примера, взглянем на две мощные кибератаки в мире, которые привели к многомиллионным потерям.
Мировые рекорды атак
21 октября 2016 года в 15 часов по московскому времени, перестают работать до 80 крупнейших сайтов мира.
Упали интернет-магазины, платёжные сервисы, онлайн-кинотеатры, сайты компьютерных игр и социальные сети.
Узнать, что происходит, трудно, поскольку сайты ведущих масс-медиа тоже не работают. Авторов самой массовой в истории кибератаки не найдут.
Сайты упали из-за массированных хакерских ddos-атак. Проблемы у сайтов будут весь день.
Как обычно при ddos-атаках, сервисы не справляются со множеством ложных запросов, которые на этот раз приходили со взломанных по всему миру домашних устройств, подключенных к сети принтеров, роутеров, игровых приставок. Ущерб оценят в 100 млн долларов.
1 марта 2018 года была зафиксирована самая мощная кибератака за всю историю интернета. Целью хакеров стали серверы компании GitHub. Им удалось вывести ресурс из строя на 8 минут. GitHub — один из самых известных веб-сервисов для совместной разработки и хостинга IT-проектов. Его ещё называют «соцсетью для разработчиков», потому что пользователи сайта могут не только тестировать код, но и общаться друг с другом, давать советы, вносить правки и следить за тем, как продвигается работа у коллег. За годы работы сервис неоднократно сталкивался с хакерскими атаками. Серверы GitHub столкнулись с DDoS-атакой мощностью в 1,35 Тбит/сек. Через несколько минут после перегрузки ресурс отправил автоматический запрос о помощи специалистам Akamai Technologies. С их помощью удалось разгрузить ресурс и блокировать вредоносный трафик.