Ушли по-немецки: как мы потеряли 18 Тб данных и 10 лет развития проекта за один день
1 февраля без объявления войны немецкий хостинг Hetzner удалил 18 Тб данных сервиса Email-Competitors и разобрал сервер.
Email-Competitors — самая большая постоянно пополняемая русскоязычная база email-рассылок, которую в 2014 году создала команда Inbox Marketing.
Коллекция сервиса насчитывала более 4 000 000 писем от 10 000 российских и мировых брендов.
До Email-Competitors маркетологи собирали интересные примеры писем в свой почтовый ящик — это было неудобно, долго и часто приводило к путанице. Наш сервис помогал специалистам анализировать рассылки конкурентов, первыми узнавать о новых фишках, искать креативные идеи по инфоповоду и типу письма.
Но всему хорошему приходит конец…
Как говорится, «сама виновата»: хранили бэкапы в одном месте
На заре развития проекта держали бэки на сервере Amazon, но в 2019 году от этого отказались. Сторонний сервер стал экономически невыгоден, да и с основным партнером Hetzner уже проработали 5 лет без нареканий.
Поэтому, переезжая на новое железо Hetzner, перевезли и бэки с Amazon. Положили их на другой сервер и спокойно работали дальше.
Первый звоночек случился осенью 2023 года. Посыпался RAID-массив, и мы чуть не потеряли все данные по техническим причинам. Тогда смогли их восстановить и даже задумывались о том, чтобы все-таки хранить бэки в другом месте. Но двигать 18 Тб данных было тяжело и лениво, поэтому скоро качественный сервис Hetzner снова усыпил нашу бдительность.
И вот случилось роковое 1 февраля
Утром 1 февраля сервис перестал работать. Полезли фиксить, а логины и пароли в админской части сервера недоступны.
Когда написали в поддержку, получили красноречивый ответ.
The data are deleted and can not be restored anymore.
Шок был у всех. Оказалось, что в потоке оповещений о работах на сервере мы пропустили два важных письма.
Письмо Hetzner от 8 декабря 2023 года: «В связи с напряженной геополитической ситуацией мы прекращаем договорные отношения с клиентами из России. Политические решения привели к изменениям в правовых нормах, которые влияют на наш бизнес с российскими клиентами. <...> Мы рекомендуем вам принять соответствующие меры прямо сейчас. Мы очень сожалеем о неудобствах, просим вашего понимания в этой сложной ситуации и благодарим вас за дальнейшее сотрудничество»
Письмо Hetzner от 15 декабря 2023 года: «Как было объявлено по электронной почте, 31 января 2024 года мы аннулируем вашу учетную запись и все содержащиеся в ней продукты. Благодарим вас за сотрудничество и надеемся на ваше понимание»
Кадр из фильма «Семнадцать мгновений весны»
Формально все честно, но блин, серьезно?!?
Неужели двух писем достаточно, чтобы удалить 18 Тб данных и бэкапов безвозвратно?!
О клиентоориентированности не слышали? Как насчет дополнительного оповещения хотя бы за месяц и за неделю?
Вы видите, что клиент, который регулярно платит за услуги, никак не реагирует на информацию о прекращении сотрудничества. Возможно, надо повременить с удалением данных и сперва просто закрыть к ним доступ?
Так может произойти с любыми данными? У меня вот все личные фото хранятся на iCloud. Пойду-ка напечатаю в альбомы по старинке…
Время собирать камни: что будет дальше
Как бы ни было, надо брать ответственность, а себя — в руки.
5 февраля рассказали подписчикам сервиса о том, что коллекции рассылок больше нет. Всем подписчикам платных тарифов вернем деньги.
Как будем восстанавливать сервис, пока не знаем, взвешиваем за и против, ищем решение.
И пусть десятилетняя история канула в лету, но остались ее плоды! Мы продолжаем развивать Email-Competitors Awards — масштабный конкурс среди email-маркетологов России.
Пользователей сервиса не бросаем. Мы утратили коллекцию, но не технологию. В обычном режиме продолжит работать рассылка Email-Competitors и телеграм-канал, где мы и дальше будем показывать интересные примеры и рассказывать об эффективных практиках email-маркетинга.
Не сдаемся!
Агентство Inbox Marketing мы открыли в 2012 году и стояли у истоков развития CRM- и email-маркетинга в России. Одна из наших главных ценностей — образовывать отрасль.
Мы делали это с момента открытия:
- Запустили Email-Competitors в 2014 году.
- Проводили мастер-классы и создали сообщество для всех неравнодушных к AMP-письмам в 2019 году, на заре применения технологии в рассылках.
- Организовали конкурс Email-Competitors Awards в 2020 году.
- Открыли в 2020 профессиональное образование в области CRM-маркетинга.
- Сделали в 2022 глобальный по своим масштабам проект — собрали и систематизировали всю историю CRM-маркетинга на интерактивном и постоянно пополняемом таймлайне.
Дальше больше!
Последствия приняли, выводы сделали
Ну что, как говорится, сами дураки, умнее будем. В наших процессах грядут глобальные перемены с вектором на импортозамещение.
Ищем альтернативы Notion для корпоративной базы знаний Inbox Marketing. Кстати, посоветуйте варианты, будем благодарны.
Формат видеозвонков и конференций переносим из Zoom в Телемост от Яндекса. Он давно пылится в корпоративной подписке, но вот что-то не пользовались. Начнем!
Перешли на российскую CRM-систему и систему управления проектами еще в 2022 году. Заменили Basecamp на Битрикс24.
Что еще посоветуете сделать, чтобы больше так не опростоволоситься?
Что еще посоветуете сделать, чтобы больше так не опростоволоситься?
Читать письма, в которых вас дважды предупредили сильно заранее. А не писать кликбейт о "без объявления войны".
с одной стороны, вы как бы правы, а с другой стороны, вот если б Хетцнер реально думал о клиентах он бы без лишних телодвижений реализовал бы следующую схему: 15 января поставил бы аккаунты на паузу, а уже 1 февраля стёр бы бэкапы. Ему б это не стоило ничего, а не заметить такое было б уже невозможно. Опять же - если владельца акка двухнедельная остановка не парит, то тогда и бог с ним.
Кроме писем могли бы ещё профильные форумы читать. Там давно обсуждали
Я посоветовался с юристами, если бы это произошло на территории РФ, такое вот удаление — судебный процесс выигрывается. а в текущих реалиях идти в международное право — бесполезно.
как минимум нужно было хотя бы за 1 неделю и за 1 день еще письма прислать напоминания. это было бы правило хорошего тона )
Вы сделали мой день.
Все данные спамеров удалили потому, что спамеры ... [барабанная дробь] ... не читают e-mails. Как говорится, не плюй в колодец - пригодится воды напится.
Есть все-таки на свете справедливость. Спасибо, Hetzner. Теперь вы мои герои.
Короче говоря, авторы лукавят в первых абзацах)). Войну объявили почти за 3 месяца, но дипломат проспал, а все приходящие депеши из немецкого консульства не читал, а понял что случилось когда начали падать бомбы)))
Так называемая война выражалась в стремительном отступлении противника. Но т.к. за ним никто не следил, три месяца бомбили пустое место. Обидно)))