{"id":14290,"url":"\/distributions\/14290\/click?bit=1&hash=bece6ae8cf715298895ba844b6416416882fe02c5d18dab2837319deacd2c478","title":"\u041a\u043e\u0440\u043f\u043e\u0440\u0430\u0446\u0438\u0438 \u043a\u0430\u043a \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u0440\u0430\u043d\u044c\u0448\u0435 \u0445\u043e\u0442\u044f\u0442 \u0441\u043e\u0442\u0440\u0443\u0434\u043d\u0438\u0447\u0430\u0442\u044c \u0441 \u043c\u0430\u043b\u044b\u043c \u0431\u0438\u0437\u043d\u0435\u0441\u043e\u043c","buttonText":"","imageUuid":""}

Ушли по-немецки: как мы потеряли 18 Тб данных и 10 лет развития проекта за один день

1 февраля без объявления войны немецкий хостинг Hetzner удалил 18 Тб данных сервиса Email-Competitors и разобрал сервер.

Email-Competitors — самая большая постоянно пополняемая русскоязычная база email-рассылок, которую в 2014 году создала команда Inbox Marketing.

Коллекция сервиса насчитывала более 4 000 000 писем от 10 000 российских и мировых брендов.

До Email-Competitors маркетологи собирали интересные примеры писем в свой почтовый ящик — это было неудобно, долго и часто приводило к путанице. Наш сервис помогал специалистам анализировать рассылки конкурентов, первыми узнавать о новых фишках, искать креативные идеи по инфоповоду и типу письма.

Но всему хорошему приходит конец…

Как говорится, «сама виновата»: хранили бэкапы в одном месте

На заре развития проекта держали бэки на сервере Amazon, но в 2019 году от этого отказались. Сторонний сервер стал экономически невыгоден, да и с основным партнером Hetzner уже проработали 5 лет без нареканий.

Поэтому, переезжая на новое железо Hetzner, перевезли и бэки с Amazon. Положили их на другой сервер и спокойно работали дальше.

Хороший совет из фильма «Иван Васильевич меняет профессию». Сами впредь будем следовать и вам рекомендуем

Первый звоночек случился осенью 2023 года. Посыпался RAID-массив, и мы чуть не потеряли все данные по техническим причинам. Тогда смогли их восстановить и даже задумывались о том, чтобы все-таки хранить бэки в другом месте. Но двигать 18 Тб данных было тяжело и лениво, поэтому скоро качественный сервис Hetzner снова усыпил нашу бдительность.

И вот случилось роковое 1 февраля

Утром 1 февраля сервис перестал работать. Полезли фиксить, а логины и пароли в админской части сервера недоступны.

Когда написали в поддержку, получили красноречивый ответ.

The data are deleted and can not be restored anymore.

Шок был у всех. Оказалось, что в потоке оповещений о работах на сервере мы пропустили два важных письма.

Письмо Hetzner от 8 декабря 2023 года: «В связи с напряженной геополитической ситуацией мы прекращаем договорные отношения с клиентами из России. Политические решения привели к изменениям в правовых нормах, которые влияют на наш бизнес с российскими клиентами. <...> Мы рекомендуем вам принять соответствующие меры прямо сейчас. Мы очень сожалеем о неудобствах, просим вашего понимания в этой сложной ситуации и благодарим вас за дальнейшее сотрудничество»

Письмо Hetzner от 15 декабря 2023 года: «Как было объявлено по электронной почте, 31 января 2024 года мы аннулируем вашу учетную запись и все содержащиеся в ней продукты. Благодарим вас за сотрудничество и надеемся на ваше понимание»

Кадр из фильма «Семнадцать мгновений весны»

Формально все честно, но блин, серьезно?!?

Неужели двух писем достаточно, чтобы удалить 18 Тб данных и бэкапов безвозвратно?!

О клиентоориентированности не слышали? Как насчет дополнительного оповещения хотя бы за месяц и за неделю?

Вы видите, что клиент, который регулярно платит за услуги, никак не реагирует на информацию о прекращении сотрудничества. Возможно, надо повременить с удалением данных и сперва просто закрыть к ним доступ?

Так может произойти с любыми данными? У меня вот все личные фото хранятся на iCloud. Пойду-ка напечатаю в альбомы по старинке…

Время собирать камни: что будет дальше

Как бы ни было, надо брать ответственность, а себя — в руки.

5 февраля рассказали подписчикам сервиса о том, что коллекции рассылок больше нет. Всем подписчикам платных тарифов вернем деньги.

Как будем восстанавливать сервис, пока не знаем, взвешиваем за и против, ищем решение.

И пусть десятилетняя история канула в лету, но остались ее плоды! Мы продолжаем развивать Email-Competitors Awards — масштабный конкурс среди email-маркетологов России.

Пользователей сервиса не бросаем. Мы утратили коллекцию, но не технологию. В обычном режиме продолжит работать рассылка Email-Competitors и телеграм-канал, где мы и дальше будем показывать интересные примеры и рассказывать об эффективных практиках email-маркетинга.

Не сдаемся!

Агентство Inbox Marketing мы открыли в 2012 году и стояли у истоков развития CRM- и email-маркетинга в России. Одна из наших главных ценностей — образовывать отрасль.

Мы делали это с момента открытия:

Дальше больше!

Цитата из песни Виктора Цоя

Последствия приняли, выводы сделали

Ну что, как говорится, сами дураки, умнее будем. В наших процессах грядут глобальные перемены с вектором на импортозамещение.

  1. Ищем альтернативы Notion для корпоративной базы знаний Inbox Marketing. Кстати, посоветуйте варианты, будем благодарны.

  2. Формат видеозвонков и конференций переносим из Zoom в Телемост от Яндекса. Он давно пылится в корпоративной подписке, но вот что-то не пользовались. Начнем!

  3. Перешли на российскую CRM-систему и систему управления проектами еще в 2022 году. Заменили Basecamp на Битрикс24.

Что еще посоветуете сделать, чтобы больше так не опростоволоситься?

0
54 комментария
Написать комментарий...
Егор Ярко

Попробуйте Weeek в качестве замены Ноушена. Вроде как норм тема

Ответить
Развернуть ветку
Dmitry Bannykh
Автор

Благодарю

Ответить
Развернуть ветку
Suntori

Outline можно развернуть на своих мощностях.

Ответить
Развернуть ветку
51 комментарий
Раскрывать всегда