Как сэкономить 10 миллионов долларов? Бэкапы!
На прошлой неделе хакеры зашифровали данные Garmin, и компании пришлось заплатить 10 миллионов долларов для того, чтобы получить свою информацию обратно. Сервисы компании не работали 3 дня, сломались даже колл-центры. Ценные данные можно потерять не только из-за хакеров, но и из-за банальной аварии оборудования или ошибки программиста. Вот четыре простых принципа настройки бэкапов, которые помогут вам сохранить информацию практически в любой ситуации.
Раздельная среда для бэкапов
Определите, от аварии какой части системы мы защищаемся. Если от сломанного жесткого диска — достаточно хранить копию информации на соседнем жестком диске на том же компьютере. Если от взлома или аварии на конкретном сервере — нужен второй сервер. Для защиты от аварии в серверной стойке нужно хранить копию информации на соседней стойке, от разрубленного кабеля в дата-центре потребуется второй ДЦ, а от глобальных проблем хостера — другой поставщик услуг.
Часто самый простой и дешевый вариант – отдельный поставщик инфраструктуры для резервного хранения данных. В самом базовом варианте нам нужно просто файловое (объектное) хранилище — его предоставляют все крупные облачные провайдеры: Amazon, Microsoft, Google, Yandex и Mail.ru. Выбирайте конкурента вашего основного хостера и спите спокойно. Если одновременно сломаются две такие компании — бэкапы (и компьютеры в целом) вам вряд ли понадобятся, в цене будут патроны и банки с тушенкой.
Append-only
Процесс, который создает бэкапы не должен иметь физической возможности их уничтожить. Это защитит и от хакерской атаки, и от банальной ошибки, когда кто-то случайно затрет бэкапы.
Самый простой способ — создать отдельный бакет в объектном хранилище вроде Amazon S3 и дать всем пользователям возможность в него дописывать, но никому не давать прав на удаление или изменение объектов.
Внешняя проверка создания бэкапов
Создать бекапы один раз мало, надо еще проверять, что система работает постоянно. Сам процесс создания бэкапов сообщить вам о проблеме не сможет — это как полиция, которая должна сама себя расследовать. Выход — отдельный сервис, который производит именно такой контроль и в случае чего трубит тревогу.
Простой и бесплатный способ — сервис Healthchecks.io. Выбираете в нем, с какой частотой должны создаваться бэкапы и добавляете последним шагом в процесс создания бэкапа запрос на специальный адрес внутри этого сервиса. Если сервис не получит запроса в ожидаемое время — он отправит вам смс. Федя пользуется этим сервисом уже много лет, и он не раз спасал его шкуру.
Учения — проверки на восстановление из бэкапов
Никакой бэкап не имеет смысла, если вы не сможете из него восстановиться. Бывает и так, что восстановиться-то можно, но занимает недели, и бизнес за это время несет неприемлемые убытки. Чтобы быть уверенным в качестве и скорости восстановления, нужны учения.
Самое полное учение очень «простое» — заказываете новые серверы и пытаетесь развернуть ваш сервис с нуля, из бэкапов. Необязательно проверять все части системы одновременно, можно попробовать восстановить только базу данных или только сервер приложения. Незаметное для пользователей переключение нагрузки на свежие резервные мощности — само по себе сложная инженерная задача.
Восстановлению из резервных копий — почти всегда большая работа и серьезный стресс для всех участников. Но и кайф от такой работы трудно переоценить. Это редкое в IT чувство, когда ты уверен, что всё сделал правильно.
Мы настраиваем бэкапы по этим принципам всем своим клиентам. Хотите заказать наши услуги по созданию крутой внутренней разработки? Пишите на [email protected].
У нас кластер 400 узлов и 6 Пб. Вы как его тестировать будете?
уверен, что у вас там уже всё схвачено и ваши админы могут написать статью гораздо интереснее нашей :)
Вообще-то большинство ransomware хакеров шифруют данные несколько месяцев, то есть вы сможете восстановится только через год с не затронутых бэкапов. Так что ваше решение несколько устарело, здесь нужен координально новый подход.
Кардинально, со всем уважением.
а есть где-то разбор, как они работают? не верится, что они портят бэкапы по полгода
Встречался на практике с шифровальщиком, который не трогает систему. И потихоньку шифрует данные. Ну, конечно, не полгода. Пара недель примерно.
Что значит шифруют несколько месяцев? Сидят в вашей сети хакеры пол-года и потихоньку шифруют файлы а админы и не знают?
Именно. Никто может и не догадаться. При обращении к файлам идет расшифровка и отдача запросившему. Никто не обратит внимание на просевший отлик. Особенно во время эпидемии и Массовой работы на удаленке.
Ээ права доступа уже отменили? Бэкап вне сети критических данных? Периодическую смену ключей? Опять же сложно представить что критические данные уже зашифрованы, а никто этого не заметил и попрежнему как-то к ним обращается.
Недавняя атака на twitter первоначально была выполнена методами социальной инженерии. После получен доступ к внутренним системам уже с повышенными привилегиями. Нельзя делать упор только на техническую сторону вопроса. Да и много ли кто наизусть знает какие процессы должны работать на хосте, а какие подозрительные? Тут нужен полноценный SoC, безопасность должна быть процессом в режиме реального времени. Такие специалисты - штучный товар.
очень круто, можете подсказать где про это почитать, пожалуйста?
"заказываете новые серверы" - Цены на серверы начинаются от 200 000 руб.
аренда! виртуалки! ну вы поняли
Какая аренда если данные внутри датацентра? А если железо не х86? А лицензии на софт?
ничего не понятно :(
Ну это совет, очевидно, для совсем молодых и маленьких. Это очень и очень базовые вещи
Я вижу довольно широкий срез IT-мира и у большинства хоть один пункт, но зафакаплен.
что не отменяет того, что это очень и очень базовые вещи :) А лишь говорит о том, что к сожалению огромное число IT-компаний (ну в вашем срезе точно) по-прежнему молодые и маленькие (по уровню зрелости своих процессов), несмотря на порой солидный возраст и клиентскую базу