Ушли по-немецки: как мы потеряли 18 Тб данных и 10 лет развития проекта за один день

1 февраля без объявления войны немецкий хостинг Hetzner удалил 18 Тб данных сервиса Email-Competitors и разобрал сервер.

Ушли по-немецки: как мы потеряли 18 Тб данных и 10 лет развития проекта за один день

Email-Competitors — самая большая постоянно пополняемая русскоязычная база email-рассылок, которую в 2014 году создала команда Inbox Marketing.

Коллекция сервиса насчитывала более 4 000 000 писем от 10 000 российских и мировых брендов.

До Email-Competitors маркетологи собирали интересные примеры писем в свой почтовый ящик — это было неудобно, долго и часто приводило к путанице. Наш сервис помогал специалистам анализировать рассылки конкурентов, первыми узнавать о новых фишках, искать креативные идеи по инфоповоду и типу письма.

Но всему хорошему приходит конец…

Как говорится, «сама виновата»: хранили бэкапы в одном месте

На заре развития проекта держали бэки на сервере Amazon, но в 2019 году от этого отказались. Сторонний сервер стал экономически невыгоден, да и с основным партнером Hetzner уже проработали 5 лет без нареканий.

Поэтому, переезжая на новое железо Hetzner, перевезли и бэки с Amazon. Положили их на другой сервер и спокойно работали дальше.

Хороший совет из фильма «Иван Васильевич меняет профессию». Сами впредь будем следовать и вам рекомендуем
Хороший совет из фильма «Иван Васильевич меняет профессию». Сами впредь будем следовать и вам рекомендуем

Первый звоночек случился осенью 2023 года. Посыпался RAID-массив, и мы чуть не потеряли все данные по техническим причинам. Тогда смогли их восстановить и даже задумывались о том, чтобы все-таки хранить бэки в другом месте. Но двигать 18 Тб данных было тяжело и лениво, поэтому скоро качественный сервис Hetzner снова усыпил нашу бдительность.

И вот случилось роковое 1 февраля

Ушли по-немецки: как мы потеряли 18 Тб данных и 10 лет развития проекта за один день

Утром 1 февраля сервис перестал работать. Полезли фиксить, а логины и пароли в админской части сервера недоступны.

Когда написали в поддержку, получили красноречивый ответ.

The data are deleted and can not be restored anymore.

Шок был у всех. Оказалось, что в потоке оповещений о работах на сервере мы пропустили два важных письма.

<p>Письмо Hetzner от 8 декабря 2023 года: «В связи с напряженной геополитической ситуацией мы прекращаем договорные отношения с клиентами из России. Политические решения привели к изменениям в правовых нормах, которые влияют на наш бизнес с российскими клиентами. &lt;...&gt; Мы рекомендуем вам принять соответствующие меры прямо сейчас. Мы очень сожалеем о неудобствах, просим вашего понимания в этой сложной ситуации и благодарим вас за дальнейшее сотрудничество»</p>

Письмо Hetzner от 8 декабря 2023 года: «В связи с напряженной геополитической ситуацией мы прекращаем договорные отношения с клиентами из России. Политические решения привели к изменениям в правовых нормах, которые влияют на наш бизнес с российскими клиентами. <...> Мы рекомендуем вам принять соответствующие меры прямо сейчас. Мы очень сожалеем о неудобствах, просим вашего понимания в этой сложной ситуации и благодарим вас за дальнейшее сотрудничество»

<p>Письмо Hetzner от 15 декабря 2023 года: «Как было объявлено по электронной почте, 31 января 2024 года мы аннулируем вашу учетную запись и все содержащиеся в ней продукты. Благодарим вас за сотрудничество и надеемся на ваше понимание»</p>

Письмо Hetzner от 15 декабря 2023 года: «Как было объявлено по электронной почте, 31 января 2024 года мы аннулируем вашу учетную запись и все содержащиеся в ней продукты. Благодарим вас за сотрудничество и надеемся на ваше понимание»

<p>Кадр из фильма «Семнадцать мгновений весны»</p>

Кадр из фильма «Семнадцать мгновений весны»

Формально все честно, но блин, серьезно?!?

Неужели двух писем достаточно, чтобы удалить 18 Тб данных и бэкапов безвозвратно?!

О клиентоориентированности не слышали? Как насчет дополнительного оповещения хотя бы за месяц и за неделю?

Вы видите, что клиент, который регулярно платит за услуги, никак не реагирует на информацию о прекращении сотрудничества. Возможно, надо повременить с удалением данных и сперва просто закрыть к ним доступ?

Так может произойти с любыми данными? У меня вот все личные фото хранятся на iCloud. Пойду-ка напечатаю в альбомы по старинке…

Время собирать камни: что будет дальше

Как бы ни было, надо брать ответственность, а себя — в руки.

5 февраля рассказали подписчикам сервиса о том, что коллекции рассылок больше нет. Всем подписчикам платных тарифов вернем деньги.

Как будем восстанавливать сервис, пока не знаем, взвешиваем за и против, ищем решение.

И пусть десятилетняя история канула в лету, но остались ее плоды! Мы продолжаем развивать Email-Competitors Awards — масштабный конкурс среди email-маркетологов России.

Пользователей сервиса не бросаем. Мы утратили коллекцию, но не технологию. В обычном режиме продолжит работать рассылка Email-Competitors и телеграм-канал, где мы и дальше будем показывать интересные примеры и рассказывать об эффективных практиках email-маркетинга.

Не сдаемся!

Агентство Inbox Marketing мы открыли в 2012 году и стояли у истоков развития CRM- и email-маркетинга в России. Одна из наших главных ценностей — образовывать отрасль.

Мы делали это с момента открытия:

Дальше больше!

Цитата из песни Виктора Цоя
Цитата из песни Виктора Цоя

Последствия приняли, выводы сделали

Ну что, как говорится, сами дураки, умнее будем. В наших процессах грядут глобальные перемены с вектором на импортозамещение.

  1. Ищем альтернативы Notion для корпоративной базы знаний Inbox Marketing. Кстати, посоветуйте варианты, будем благодарны.

  2. Формат видеозвонков и конференций переносим из Zoom в Телемост от Яндекса. Он давно пылится в корпоративной подписке, но вот что-то не пользовались. Начнем!

  3. Перешли на российскую CRM-систему и систему управления проектами еще в 2022 году. Заменили Basecamp на Битрикс24.

Что еще посоветуете сделать, чтобы больше так не опростоволоситься?

2020
54 комментария

Что еще посоветуете сделать, чтобы больше так не опростоволоситься?

Читать письма, в которых вас дважды предупредили сильно заранее. А не писать кликбейт о "без объявления войны".

22
Ответить

с одной стороны, вы как бы правы, а с другой стороны, вот если б Хетцнер реально думал о клиентах он бы без лишних телодвижений реализовал бы следующую схему: 15 января поставил бы аккаунты на паузу, а уже 1 февраля стёр бы бэкапы. Ему б это не стоило ничего, а не заметить такое было б уже невозможно. Опять же - если владельца акка двухнедельная остановка не парит, то тогда и бог с ним.

6
Ответить

Кроме писем могли бы ещё профильные форумы читать. Там давно обсуждали

3
Ответить

Я посоветовался с юристами, если бы это произошло на территории РФ, такое вот удаление — судебный процесс выигрывается. а в текущих реалиях идти в международное право — бесполезно.
как минимум нужно было хотя бы за 1 неделю и за 1 день еще письма прислать напоминания. это было бы правило хорошего тона )

1
Ответить

Вы сделали мой день.

Все данные спамеров удалили потому, что спамеры ... [барабанная дробь] ... не читают e-mails. Как говорится, не плюй в колодец - пригодится воды напится.

Есть все-таки на свете справедливость. Спасибо, Hetzner. Теперь вы мои герои.

18
Ответить

Короче говоря, авторы лукавят в первых абзацах)). Войну объявили почти за 3 месяца, но дипломат проспал, а все приходящие депеши из немецкого консульства не читал, а понял что случилось когда начали падать бомбы)))

9
Ответить

Так называемая война выражалась в стремительном отступлении противника. Но т.к. за ним никто не следил, три месяца бомбили пустое место. Обидно)))

Ответить