1 февраля без объявления войны немецкий хостинг Hetzner удалил 18 Тб данных сервиса Email-Competitors и разобрал сервер.
Email-Competitors — самая большая постоянно пополняемая русскоязычная база email-рассылок, которую в 2014 году создала команда Inbox Marketing.
Коллекция сервиса насчитывала более 4 000 000 писем от 10 000 российских и мировых брендов.
До Email-Competitors маркетологи собирали интересные примеры писем в свой почтовый ящик — это было неудобно, долго и часто приводило к путанице. Наш сервис помогал специалистам анализировать рассылки конкурентов, первыми узнавать о новых фишках, искать креативные идеи по инфоповоду и типу письма.
Но всему хорошему приходит конец…
Как говорится, «сама виновата»: хранили бэкапы в одном месте
На заре развития проекта держали бэки на сервере Amazon, но в 2019 году от этого отказались. Сторонний сервер стал экономически невыгоден, да и с основным партнером Hetzner уже проработали 5 лет без нареканий.
Поэтому, переезжая на новое железо Hetzner, перевезли и бэки с Amazon. Положили их на другой сервер и спокойно работали дальше.
Первый звоночек случился осенью 2023 года. Посыпался RAID-массив, и мы чуть не потеряли все данные по техническим причинам. Тогда смогли их восстановить и даже задумывались о том, чтобы все-таки хранить бэки в другом месте. Но двигать 18 Тб данных было тяжело и лениво, поэтому скоро качественный сервис Hetzner снова усыпил нашу бдительность.
И вот случилось роковое 1 февраля
Утром 1 февраля сервис перестал работать. Полезли фиксить, а логины и пароли в админской части сервера недоступны.
Когда написали в поддержку, получили красноречивый ответ.
The data are deleted and can not be restored anymore.
Шок был у всех. Оказалось, что в потоке оповещений о работах на сервере мы пропустили два важных письма.
Письмо Hetzner от 8 декабря 2023 года: «В связи с напряженной геополитической ситуацией мы прекращаем договорные отношения с клиентами из России. Политические решения привели к изменениям в правовых нормах, которые влияют на наш бизнес с российскими клиентами. <...> Мы рекомендуем вам принять соответствующие меры прямо сейчас. Мы очень сожалеем о неудобствах, просим вашего понимания в этой сложной ситуации и благодарим вас за дальнейшее сотрудничество»
Письмо Hetzner от 15 декабря 2023 года: «Как было объявлено по электронной почте, 31 января 2024 года мы аннулируем вашу учетную запись и все содержащиеся в ней продукты. Благодарим вас за сотрудничество и надеемся на ваше понимание»
Кадр из фильма «Семнадцать мгновений весны»
Формально все честно, но блин, серьезно?!?
Неужели двух писем достаточно, чтобы удалить 18 Тб данных и бэкапов безвозвратно?!
О клиентоориентированности не слышали? Как насчет дополнительного оповещения хотя бы за месяц и за неделю?
Вы видите, что клиент, который регулярно платит за услуги, никак не реагирует на информацию о прекращении сотрудничества. Возможно, надо повременить с удалением данных и сперва просто закрыть к ним доступ?
Так может произойти с любыми данными? У меня вот все личные фото хранятся на iCloud. Пойду-ка напечатаю в альбомы по старинке…
Время собирать камни: что будет дальше
Как бы ни было, надо брать ответственность, а себя — в руки.
5 февраля рассказали подписчикам сервиса о том, что коллекции рассылок больше нет. Всем подписчикам платных тарифов вернем деньги.
Как будем восстанавливать сервис, пока не знаем, взвешиваем за и против, ищем решение.
И пусть десятилетняя история канула в лету, но остались ее плоды! Мы продолжаем развивать Email-Competitors Awards — масштабный конкурс среди email-маркетологов России.
Пользователей сервиса не бросаем. Мы утратили коллекцию, но не технологию. В обычном режиме продолжит работать рассылка Email-Competitors и телеграм-канал, где мы и дальше будем показывать интересные примеры и рассказывать об эффективных практиках email-маркетинга.
Не сдаемся!
Агентство Inbox Marketing мы открыли в 2012 году и стояли у истоков развития CRM- и email-маркетинга в России. Одна из наших главных ценностей — образовывать отрасль.
Мы делали это с момента открытия:
- Запустили Email-Competitors в 2014 году.
- Проводили мастер-классы и создали сообщество для всех неравнодушных к AMP-письмам в 2019 году, на заре применения технологии в рассылках.
- Организовали конкурс Email-Competitors Awards в 2020 году.
- Открыли в 2020 профессиональное образование в области CRM-маркетинга.
- Сделали в 2022 глобальный по своим масштабам проект — собрали и систематизировали всю историю CRM-маркетинга на интерактивном и постоянно пополняемом таймлайне.
Дальше больше!
Последствия приняли, выводы сделали
Ну что, как говорится, сами дураки, умнее будем. В наших процессах грядут глобальные перемены с вектором на импортозамещение.
Ищем альтернативы Notion для корпоративной базы знаний Inbox Marketing. Кстати, посоветуйте варианты, будем благодарны.
Формат видеозвонков и конференций переносим из Zoom в Телемост от Яндекса. Он давно пылится в корпоративной подписке, но вот что-то не пользовались. Начнем!
Перешли на российскую CRM-систему и систему управления проектами еще в 2022 году. Заменили Basecamp на Битрикс24.
Что еще посоветуете сделать, чтобы больше так не опростоволоситься?
Я не организация, но вчера бекапнул свои любимые фильмы на 6ТБ. И это при том, что хранил я их не у незнакомого дяди за границей, а на своём носителе.
А лет 15 назад я потерял кучу рабочей информации, но винить в этом никого не стал и статью не писал. Чего строить из себя обиженку, если по факту просто сам долбо...этот самый?
"У меня вот все личные фото хранятся на iCloud. Пойду-ка напечатаю в альбомы по старинке…" Два предложения и каждое из них о том, что делать не надо)))
А делать надо вот так:
Правило резервного копирования 3-2-1. Создавайте не менее трех копий каждого файла. Храните копии файлов как минимум на двух разных типах носителей. Одну копию данных следует хранить в другом месте.
Я собственно так и делаю, все с телефона и ноутбука копирую на внешку, особо важное - дополнительно в облако.
Логичный ход. Носители дешевые, информация дорогая)