Восставшие из пепла дважды: две аварии дата-центров и переезд в другое облако. Как всё было.
8 октября 2026 года наш облачный провайдер потерял дата-центр: площадку остановили после физического повреждения инфраструктуры. Через трое суток то же самое случилось со второй площадкой, на которую мы к тому моменту успели переехать. За неделю мы дважды поднимали платформу почти с нуля.
Но для начала контекст: BotHelp — платформа для создания чат-ботов, AI-агентов и рассылок. Когда мы лежим, у наших клиентов останавливаются воронки, не доходят рассылки за час до вебинара и не обрабатываются оплаты их собственных подписчиков. И звучит это как катастрофа, учитывая количество пользователей на нашей платформе. Как итог всей ситуации с авариями: мы безвозвратно потеряли данные за 20 часов, прошедших с момента последнего резервного копирования (речь идёт именно о потере данных, утечки информации не было). Мы перенесли сервисы сначала в соседнюю зону того же облака, потом к другому провайдеру, и закончили год назад начатую миграцию в Kubernetes за двое суток. А базы данных теперь хранятся в двух копиях у разных провайдерах.
В этой статье мы разобрали весь ход событий: как всё было, что помогло ускориться при переезде, как коммуницировали с пользователями, и где мы потеряли время на своей же ошибке. Будет полезна и в техническом плане, и в плане маркетинга.
Утром 8 октября мы получили алерт: платформа недоступна. Инцидент внутри мы объявили в 04:30 по Москве. Недоступна была вся наша инфраструктура в Yandex Cloud: ни серверы, ни базы данных.
Что было: Дата-центр провайдера в Рязанской области остановили после физического повреждения инфраструктуры. В тот день в рунете падали сайты и сервисы далеко за пределами нашей платформы: мы были одними из многих клиентов облака, кто в то утро разбирался с последствиями.
Масштаб читался по чату: клиенты писали, что не работают сервисы, не открывается шлагбаум на парковке и у таксистов не приходят заказы. Лежали далеко не только мы.
Плана восстановления первые несколько часов у нас не было. Были попытки восстановить работоспособность платформы с мыслями “а вдруг данных BotHelp больше нет вообще”. Бэкапы были в состоянии Шрёдингера: они вроде есть, но первое время мы ничего не могли из них поднять. Понимания, что всё в порядке, в тот момент не было ни у кого.
Параллельно мы писали своим менеджерам в Яндексе: просили дать возможность восстановить инфраструктуру в другой зоне. Когда подключилась поддержка, всё начало двигаться.
Первым в плане стоял приём внешних событий: вебхуки мессенджеров и платёжных сервисов. Пока недоступен интерфейс, клиент теряет только управление воронками, а пока не принимаются события, часть из них не доедет уже никогда. Поэтому вебхуки мы подняли раньше, чем отправку сообщений.
Восстановление после первого инцидента
Мы выбрали самый быстрый из доступных вариантов — поднять копию по кусочкам в другой зоне доступности того же облака.
Дальше начались наши собственные грабли:
Конфиги. Проект немолодой, в нём хватает легаси и не самых удачных архитектурных решений. При переезде у всех машин поменялись IP-адреса, и нам пришлось заново прописывать конфигурацию всех сервисов. Это очень много рутинного ручного труда, в котором нельзя ошибиться. Часть делали с помощью ИИ, но внимательность всё равно была на людях.
Зоопарк запуска. В проде всё было развёрнуто по-разному: что-то в Docker, что-то просто запущено, Node.js-сервисы — часть через PM2, часть через Forever. Пока всё работает, разнобой не мешает. Когда нужно поднять всё и сразу в новом месте, каждый сервис превращается в отдельную маленькую задачу со своей историей.
Лимиты облака. Отдельное удовольствие — упираться в ошибки вида «сейчас вы этого сделать не можете». Площадка встала не у нас одних, и в соседние зоны одновременно ломились все. У этого был второй эффект помимо квот. К 09:27, то есть примерно через пять часов после начала аварии, часть сервисов уже стояла в новой зоне, но сеть внутри облака тормозила, что замедляла само восстановление. Наш сайт мы подняли и тут же потеряли снова, он лёг из-за той же сети. Это стоит закладывать в план аварийного переезда.
К 11:37 веб-интерфейс для клиентов (личный кабинет) уже работал, но вход мы держали закрытым, чтобы пользователи не добавляли нагрузки на сеть, которая и была узким местом. Боты тогда работали наполовину, рассылки на 30%. Дальше открывали по частям: сначала приём входящих событий, потом боты, за ними рассылки. К 19:10 задержки в ботах упали ниже 10 секунд, а в худший момент доходили до пяти минут.
К вечеру 8 октября было восстановлено 70% кабинетов, к 22:57 заработали вход и регистрация, боты, авторассылки, ИИ-агенты и мини-лендинги. На то, чтобы собрать платформу заново в другом месте, ушли сутки.
Единственный момент: ночной бэкап за 8 октября на момент аварии ещё не завершился. Последней целой точкой оказалась копия за 7-е, и между ней и остановкой площадки осталось 20 часов данных, которые мы уже не вернём.
Из-за потери данных были и последствия. В части таблиц у нас автоинкрементные идентификаторы. Допустим, 7 октября в системе появился подписчик с ID 60, за ним 61 и 62. Мы откатились на бэкап, в котором этих записей нет, — и следующий новый подписчик снова получил ID 60. Но это уже другой человек.
Отдельная причина этих коллизий в том, что счётчики ID жили в Redis, бэкапов которого у нас не было. После аварии он поднялся пустым, и нумерация пошла заново.
А у первого «шестидесятого» за 7 октября могла быть история: он что-то смотрел, ему что-то продавали, он общался с ботом. И, что хуже, его ID мог быть передан наружу — например, в CRM клиента. После отката CRM продолжает считать, что по этому ID у неё Иван, а на другом конце провода уже Маргарита.
В ту же категорию попали кабинеты, зарегистрированные после точки бэкапа: с 7 октября люди регистрировались, а в восстановленной базе их просто нет.
Мы стали получать один и тот же вопрос в чатах: «почему не было копий на других серверах?». Живая копия баз удваивает расходы на них, а если добавить ещё и копии сервисов во второй зоне, чтобы при падении площадки не останавливалась сама платформа, умножаются расходы на инфраструктуру целиком. За несколько лет это десятки миллионов. И эти расходы повлияли бы на тарифы для клиентов: инфраструктура заложена в стоимость платформы, поэтому постоянное дублирование означало бы другую цену для всех. Мы каждый год выбирали эту цену не поднимать.
Следующие двое суток ушли на хвосты. Мы пустили сплошной чек-лист по всему функционалу и за сутки завели несколько десятков багов. Если будете восстанавливаться после большой аварии, заложите на это отдельные сутки и отдельных людей — инфраструктура к этому моменту уже стоит, а платформа ещё нет.
Ловили в основном рутину: не открывались мини-лендинги на клиентских доменах, потому что при переезде поменялся наш IP, а DNS меняется на стороне клиента; отваливались автоматизации Запретграма; где-то задерживались сообщения. Вывод отсюда: при переезде ищите не только свои зависимости, но и те, которые клиенты построили на вас.
С рассылками за время простоя мы поступили жёстко и, думаем, правильно. Всё, что было запланировано на часы аварии, мы отменили, а не отправили с опозданием: сообщение «вебинар начинается через час», доставленное на следующий день, хуже, чем не доставленное вовсе. Клиентам пришлось запускать рассылки заново.
Одну потерю мы сделали себе сами уже после восстановления. У очереди рассылок стояло хранение четыре часа и 128 мегабайт на партицию. В обычной жизни это не ограничение: сообщение забирают из очереди за секунды, и топик почти всегда пуст. Но в первый вечер обработчики (консюмеры) отставали на сотни тысяч сообщений, и очередь начала удалять старые сегменты раньше, чем их успевали прочитать.
Дальше сработала вторая настройка, о которой никто не думал. Когда консюмер запросил offset, которого на брокере уже не было, политика сброса отправила его в конец топика. Он перешагнул не только удалённое, но и всё, что ещё лежало на брокере: пропущенного оказалось почти в десять раз больше, чем стёртого. Для клиента это выглядело так: рассылка в личном кабинете помечена отправленной, а подписчики её не получили.
Отсюда два вывода. Первый: лимиты хранения, выставленные для спокойного режима, в аварийном превращаются в потерю данных, проверяйте их до того, как откроете платформу. Второй: политика сброса offset у консюмера должна быть earliest, если дубль сообщения дешевле его потери.
А ещё в пятницу остановилась работа очередной площадки провайдера, в Калуге, тоже после физического повреждения. Нас не задело: мы были не в той зоне. Этот момент хорошо помним, потому что именно тогда гипотеза «это может повториться» перестала быть гипотезой. Мы уже начали потихоньку перегонять данные в другое облако, на случай если это произойдёт ещё раз.
Произошло через полтора дня.
Восстановление после второго инцидента
11 октября в 03:09 мы проверяли платформу, всё работало. В 03:45 наш мониторинг зафиксировал недоступность. Уже в 03:58 мы написали в статус для клиентов, что наблюдается частичная недоступность сервисов на стороне облака и команда уже занимается. Сначала мы решили, что это ненадолго. В 05:14 стало ясно, что “чинить” нечего. Провайдер сообщил, что дата-центр остановлен полностью, назвал оставшуюся конфигурацию ресурсов неустойчивой и рекомендовал клиентам задействовать любые альтернативные планы аварийного восстановления. Это была та самая площадка, куда мы переехали трое суток назад. Прямым текстом советуют уезжать редко, и тем же утром мы начали поднимать платформу у другого облачного провайдера с оценкой в сутки.
Главный вывод: резервирование по зонам доступности внутри одного облака в таком сценарии не работает. Даже если бы у нас всё было устроено идеально по учебнику, с репликами, автоматическим переключением и отработанным DR-планом, но целиком в одном облаке, мы бы всё равно легли в воскресенье утром. Зоны доступности защищают от отказа оборудования, от ошибки в одном ЦОД, от обрыва питания на одной площадке, но не от того, что площадки выключаются одна за другой.
Рано утром, в 07:53, мы снова вышли в чат к клиентам и сообщили о статусе. CEO попросил остановить рекламные кампании, если они запущены. Злости в чате в тот день хватало, но больше всего реакций собрало другое сообщение (что нашу команду немного поддержало):
Переезжать в третью зону того же облака смысла не было: ресурсов не хватало ни нам, ни самому облаку, ни другим бизнесам, которые ломились туда же. Выбирали из тех, с кем уже работали, и решила скорость.
Мы написали в облако, в которых уже размещали тестовые серверы, что заезжаем целиком. Вся коммуникация заняла минут 10 перед началом переезда. Параллельно мы запросили условия ещё в одном месте. И нам прислали анкету. И не просто анкету, АНКЕТИЩУ. Мы честно её открыли и начали думать над ответами. Но через пару минут поняли, что отвечать на неё будем дольше, чем наши клиенты готовы ждать.
Переезд не был гладким. На новой площадке мы поймали проблемы сетевой связности: серверы периодически не могли достучаться друг до друга, причём мигающе и непонятно. Собрали дашборд, на котором видно, какой сервер до какого не дотягивается, и разбирались вместе с провайдером. Первопричина была на их стороне и от нас зависела не полностью, а это отдельный сорт бессилия после того, как ты сам всё починил. Отсюда вывод: стройте наблюдаемость связности до того, как она понадобится.
Те самые тестовые серверы, из-за которых мы и оказались у этого провайдера, стали спасательной шлюпкой. Мы не повторяли продакшен на новом месте, а взяли тестовый контур и подставили в него конфигурацию продакшена. Ещё из плюсов: у нас уже был отработанный план восстановления.
Из минусов: поднять сервисы оказалось быстрее, чем перевезти данные. Когда вы фильтруете подписчиков, данные берутся не из основной базы: для фильтров она медленная. Для этого у нас есть отдельный Elasticsearch. При переезде мы его не перевозили, а загружали заново, процесс шёл около двух суток, а клиентов с базами на миллионы подписчиков догружали ещё часами.
Итоги этой ситуации:
Побочный эффект аварии оказался положительным и полезным. Мониторинг стал единым: раньше каждый сервис и каждый сервер подключали к наблюдению отдельно, и часть просто не доходила до этого, а теперь сервисы на Node.js, на Python и на PHP живут по одинаковым правилам и наблюдаются одинаково. Сервисы платформы поднимаются в новом кластере за 2–3 часа, данные переезжают отдельно и дольше. Но сейчас мы развезли данные, чтобы не зависеть от потери одной реплики.
Ещё один эффект оказался менее ожидаемым: ИИ переехал из разработки в операционку. Вечером 11-го он за час собрал полный список наших сервисов с режимами запуска, по коду и конфигам, — у нас такого списка не было. Потом находил адреса старого облака в конфигах и писал скрипты и runbook'и.
Но в хосты и кластер он не ходит. Все команды мы запускали сами, по одной, и правильно делали: в первый день он уверенно заявил, что на сервере нет Kafka, потому что там нет Docker, а на второй предложил pkill, который снёс контейнеры чатов. Так что роль у него такая: быстро прочитать много и предложить, а решать и нажимать остаётся человеку.
Сейчас так же разбираем инциденты: приходит сигнал от QA или из поддержки, что где-то задержки, и мы не идём смотреть сами, а спрашиваем. Пока человек откроет один сервис, потом второй, пройдёт время, а ассистент видит всю картину сразу.
Что помогло больше всего быстро восстанавливать работоспособность платформы:
Лучше всего сработала команда, и это единственный фактор, который нельзя было купить заранее. Все эти дни у нас был открыт звонок в Zoom, и он практически не прекращался: сессии шли по 23–24 часа, спали по два-три часа.
Сработали несколько вещей. Первая: никому не надо было ставить задачу, ни контекста, ни критериев приёмки, ни ожидаемого результата. Говоришь: «Рассылки не поднимаются» – человек ушёл, вернулся, сказал «всё работает». На дистанции в неделю бессонницы это было ключевым преимуществом: формулировать задачи в таком состоянии никто бы не смог. Вторая: команда подхватывала коммуникацию с клиентами и сама формировала сообщения.
Коммуникации с клиентами — это тоже важная часть инцидента
Параллельно с платформой команда всё это время работала и в другом направлении: доверие и лояльность клиентов. Чаты у нас открытые, то есть инцидент проживается публично и в реальном времени, вместе с людьми, у которых в этот момент идут запуски.
Лучше всего сработали публикации о статусе платформы с интервалом в несколько часов. Для тех, у кого были запуски, было важно понимать, что сейчас происходит. Мы давали список, что уже работает и что ещё восстанавливаем. Это вносило ясность и поддерживало лояльность.
Чего мы не ожидали, так это что часть клиентов начнёт работать за нашу поддержку. Люди объясняли друг другу, что происходит, останавливали панику, подсказывали обходные пути. Кто-то просил не раскачивать лодку и дать команде спокойно работать. Но были и угрозы судом, и требования ответить в течение часа.
Итог: что сработало и чего не хватило
Сработало: ежедневные бэкапы; копии данных в сторонних облаках; часть платформы, уже жившая в Kubernetes; договор с запасным провайдером, заключённый заранее и без повода; автономная команда и один статус-канал с расписанием обновлений.
Не хватило бэкапов Redis: там лежали счётчики ID и очереди отправки, пересчитать их из базы нельзя, подняли пустыми — отсюда и часть коллизий ID.
Из пепла мы восстали дважды. Третий раз в наши планы не входит, поэтому теперь работаем над тем, чтобы платформа не зависела ни от одной площадки, ни от одного провайдера.