1 февраля без объявления войны немецкий хостинг Hetzner удалил 18 Тб данных сервиса Email-Competitors и разобрал сервер.
Email-Competitors — самая большая постоянно пополняемая русскоязычная база email-рассылок, которую в 2014 году создала команда Inbox Marketing.
Коллекция сервиса насчитывала более 4 000 000 писем от 10 000 российских и мировых брендов.
До Email-Competitors маркетологи собирали интересные примеры писем в свой почтовый ящик — это было неудобно, долго и часто приводило к путанице. Наш сервис помогал специалистам анализировать рассылки конкурентов, первыми узнавать о новых фишках, искать креативные идеи по инфоповоду и типу письма.
Но всему хорошему приходит конец…
Как говорится, «сама виновата»: хранили бэкапы в одном месте
На заре развития проекта держали бэки на сервере Amazon, но в 2019 году от этого отказались. Сторонний сервер стал экономически невыгоден, да и с основным партнером Hetzner уже проработали 5 лет без нареканий.
Поэтому, переезжая на новое железо Hetzner, перевезли и бэки с Amazon. Положили их на другой сервер и спокойно работали дальше.
Первый звоночек случился осенью 2023 года. Посыпался RAID-массив, и мы чуть не потеряли все данные по техническим причинам. Тогда смогли их восстановить и даже задумывались о том, чтобы все-таки хранить бэки в другом месте. Но двигать 18 Тб данных было тяжело и лениво, поэтому скоро качественный сервис Hetzner снова усыпил нашу бдительность.
И вот случилось роковое 1 февраля
Утром 1 февраля сервис перестал работать. Полезли фиксить, а логины и пароли в админской части сервера недоступны.
Когда написали в поддержку, получили красноречивый ответ.
The data are deleted and can not be restored anymore.
Шок был у всех. Оказалось, что в потоке оповещений о работах на сервере мы пропустили два важных письма.
Письмо Hetzner от 8 декабря 2023 года: «В связи с напряженной геополитической ситуацией мы прекращаем договорные отношения с клиентами из России. Политические решения привели к изменениям в правовых нормах, которые влияют на наш бизнес с российскими клиентами. <...> Мы рекомендуем вам принять соответствующие меры прямо сейчас. Мы очень сожалеем о неудобствах, просим вашего понимания в этой сложной ситуации и благодарим вас за дальнейшее сотрудничество»
Письмо Hetzner от 15 декабря 2023 года: «Как было объявлено по электронной почте, 31 января 2024 года мы аннулируем вашу учетную запись и все содержащиеся в ней продукты. Благодарим вас за сотрудничество и надеемся на ваше понимание»
Кадр из фильма «Семнадцать мгновений весны»
Формально все честно, но блин, серьезно?!?
Неужели двух писем достаточно, чтобы удалить 18 Тб данных и бэкапов безвозвратно?!
О клиентоориентированности не слышали? Как насчет дополнительного оповещения хотя бы за месяц и за неделю?
Вы видите, что клиент, который регулярно платит за услуги, никак не реагирует на информацию о прекращении сотрудничества. Возможно, надо повременить с удалением данных и сперва просто закрыть к ним доступ?
Так может произойти с любыми данными? У меня вот все личные фото хранятся на iCloud. Пойду-ка напечатаю в альбомы по старинке…
Время собирать камни: что будет дальше
Как бы ни было, надо брать ответственность, а себя — в руки.
5 февраля рассказали подписчикам сервиса о том, что коллекции рассылок больше нет. Всем подписчикам платных тарифов вернем деньги.
Как будем восстанавливать сервис, пока не знаем, взвешиваем за и против, ищем решение.
И пусть десятилетняя история канула в лету, но остались ее плоды! Мы продолжаем развивать Email-Competitors Awards — масштабный конкурс среди email-маркетологов России.
Пользователей сервиса не бросаем. Мы утратили коллекцию, но не технологию. В обычном режиме продолжит работать рассылка Email-Competitors и телеграм-канал, где мы и дальше будем показывать интересные примеры и рассказывать об эффективных практиках email-маркетинга.
Не сдаемся!
Агентство Inbox Marketing мы открыли в 2012 году и стояли у истоков развития CRM- и email-маркетинга в России. Одна из наших главных ценностей — образовывать отрасль.
Мы делали это с момента открытия:
- Запустили Email-Competitors в 2014 году.
- Проводили мастер-классы и создали сообщество для всех неравнодушных к AMP-письмам в 2019 году, на заре применения технологии в рассылках.
- Организовали конкурс Email-Competitors Awards в 2020 году.
- Открыли в 2020 профессиональное образование в области CRM-маркетинга.
- Сделали в 2022 глобальный по своим масштабам проект — собрали и систематизировали всю историю CRM-маркетинга на интерактивном и постоянно пополняемом таймлайне.
Дальше больше!
Последствия приняли, выводы сделали
Ну что, как говорится, сами дураки, умнее будем. В наших процессах грядут глобальные перемены с вектором на импортозамещение.
Ищем альтернативы Notion для корпоративной базы знаний Inbox Marketing. Кстати, посоветуйте варианты, будем благодарны.
Формат видеозвонков и конференций переносим из Zoom в Телемост от Яндекса. Он давно пылится в корпоративной подписке, но вот что-то не пользовались. Начнем!
Перешли на российскую CRM-систему и систему управления проектами еще в 2022 году. Заменили Basecamp на Битрикс24.
Что еще посоветуете сделать, чтобы больше так не опростоволоситься?
Читать письма, в которых вас дважды предупредили сильно заранее. А не писать кликбейт о "без объявления войны".
с одной стороны, вы как бы правы, а с другой стороны, вот если б Хетцнер реально думал о клиентах он бы без лишних телодвижений реализовал бы следующую схему: 15 января поставил бы аккаунты на паузу, а уже 1 февраля стёр бы бэкапы. Ему б это не стоило ничего, а не заметить такое было б уже невозможно. Опять же - если владельца акка двухнедельная остановка не парит, то тогда и бог с ним.
Кроме писем могли бы ещё профильные форумы читать. Там давно обсуждали
Я посоветовался с юристами, если бы это произошло на территории РФ, такое вот удаление — судебный процесс выигрывается. а в текущих реалиях идти в международное право — бесполезно.
как минимум нужно было хотя бы за 1 неделю и за 1 день еще письма прислать напоминания. это было бы правило хорошего тона )
Вы сделали мой день.
Все данные спамеров удалили потому, что спамеры ... [барабанная дробь] ... не читают e-mails. Как говорится, не плюй в колодец - пригодится воды напится.
Есть все-таки на свете справедливость. Спасибо, Hetzner. Теперь вы мои герои.
Короче говоря, авторы лукавят в первых абзацах)). Войну объявили почти за 3 месяца, но дипломат проспал, а все приходящие депеши из немецкого консульства не читал, а понял что случилось когда начали падать бомбы)))
Так называемая война выражалась в стремительном отступлении противника. Но т.к. за ним никто не следил, три месяца бомбили пустое место. Обидно)))
Вот это вы отожгли, хранить бэки там где и их и снимаете, лол
В чем проблема была купить пару тройку жестяков и делать раз в пару месяцев rsync на домашний зеркальный raid?)
Тоже удивило, 18Тб это очень немного
Нда, как можно было пропустить такие два важных письма непонятно. Видимо в консерватории совсем все плохо
Почему-то автор умолчал о нескольких моментах:
1) Госорганы РФ напрягали Hetzner на "приземление", отказ означал прекратить контракты с РФ, что и произошло.
2) Оплачивали услуги явно не из РФ последний год или дольше. Что мешало при смене способа оплаты указать в данных контракта нового плательщика и его страну?
3) Оповещения были и по всем контактным емайлам и в личном кабинете. Если в ЛК никто не заходил и не читал емайлы, то кто виноват. А ещё датацентр шлёт всякие полезные оповещения, о технических работах, о жалобах на сервера и т.д. и т.п. Налицо игнор взаимодействия с датацентром.
не знаю как у вас, но лично у меня даже от хостера идет в потоке куча писем "сегодня сервисное обслуживание", "диски на замене"
ну и вообще в почте идет огромный поток писем. Следило 2 человека и 2 человека не заметили. :) сами виноваты )
У меня гигантский поток писем и ежедневно я трачу до 20 минут, на то, чтобы отсеивать важное из потока неважного. Это вроде как составляющая часть работы любого специалиста.
В вашем случае статья выглядит как попытка показать своим бывшим клиентам, что виноваты подлые немцы. Но:
1. Не учитывать риски, начиная с 14, а потом 22 года.
2. Работать с сервисом из ЕС много лет и не знать, что в ЕС письма - это приоритетный стиль коммуникации.
Очень странно.
Попробуйте Weeek в качестве замены Ноушена. Вроде как норм тема
Благодарю
Я не организация, но вчера бекапнул свои любимые фильмы на 6ТБ. И это при том, что хранил я их не у незнакомого дяди за границей, а на своём носителе.
А лет 15 назад я потерял кучу рабочей информации, но винить в этом никого не стал и статью не писал. Чего строить из себя обиженку, если по факту просто сам долбо...этот самый?
"У меня вот все личные фото хранятся на iCloud. Пойду-ка напечатаю в альбомы по старинке…" Два предложения и каждое из них о том, что делать не надо)))
А делать надо вот так:
Правило резервного копирования 3-2-1. Создавайте не менее трех копий каждого файла. Храните копии файлов как минимум на двух разных типах носителей. Одну копию данных следует хранить в другом месте.
Я собственно так и делаю, все с телефона и ноутбука копирую на внешку, особо важное - дополнительно в облако.
Вас в отличии от Украины, предупредили. Так что все претензии отправляй в кремль.
Люди делятся на два типа: те, кто ещё не делает бэкапы, и те, кто уже делает.
Да уж, ситуация...
Но мне понравилось, что автор честно признал свою ошибку и сделал выводы. Это достойный навык👍
Автор признал, что виноваты Hetzner, а искать пути выхода из ситуации его заставила жизнь. Что не говорит о том, что он сделал выводы.
кстати, интересно, а в интерфейсе ЛК было предупреждение?
было в шапке на каждой странице ЛК
Да у меня тоже есть проблема , я либо вообще не сохраняю бэкапы, либо сохраняю их и вообще забываю где сохранила, а потом найти не могу, ну или с очень большим трудом
За почти 2 месяца никто не прочитал почту, никто не заходил в админку, никто даже новости не читал - ситуацию с Hetzner обсуждали здесь и много где уже после первичного сообщения 8 декабря. Никто даже не удосужился настроить бэкап важных данных в другой дата-центр. 18 ТБ хранилище стоит не дорого. Это первое правило работы с любым хостингом - не хранить все яйца в одной корзине.
Что еще посоветуете сделать, чтобы больше так не опростоволоситься?
Ничего, вы сделали абсолютно всё для потери своих данных.
Люди делятся на два типа. На тех, кто еще не делает бэкапы, и тех, кто уже делает.
хотя.. если сравнивать немцев с амриканцами из Mailchimp - эти хоть пытались предупредить
Чужой комп есть чужой комп. Он может сгореть, утонуть, быть проданым и т.д. А хозяин его может помереть, заболеть, сбежать с деньгами...
есть такое ощущение, что в ближайшее вемя мы увидим вал публикаций на схожую тему. Хетцнер был популярной штукой
Блицкриг по немецки
Ошибочное утверждение, учитывая что немцы наоборот включили заднюю. Это как испанцы у нас отобрали хамон)))
Obsidian + облако для хранения md файлов
Чем закрытие Obsidian отличается от закрытия Hetzner?
Приказали Даун Тайландум опытным менеджерам, надеюсь, не спама.
- админа адекватного или девпса, тк такую штуку он точно не должен был пропустить
- бекапы можно инкрементные делать. Даже если на православных продуктах, я бы сделал связку из разных бекапниц (разные конторы) или себе переодически забирал
пц 18тб не так уж много ), а так лютый п-ц - сочувствую
Печально известный хостинг CloudeMouse передает привет: "Уважаемые пользователи, в результате аппаратного сбоя были утеряны все данные виртуальных машин, включая их бекапы. И как следствие, мы вынуждены были удалить все виртуальные машины в облаке. "
Только регулярное создание резервных копий и регулярное восстановление из этих копий поможет предотвратить такое. На хостеров рассчитывать нельзя.
Они ж вам писали ясным немецким, - смените почтовый адрес, если не хотите удаления.
Тонко намекнули, да?
Рассылать такие письма по многу раз? Ну не знаю.
Я вот сменил адрес и все ок )
Переехать из Россиюшки.
Посмотрите https://serfstack.com/services/dedicated-server/de
Предлагают аренду в Германии и Нидерландах от лица зарубежной компании