Цифры: сколько длился сбой Telegram Статьи редакции

В полдень 29 апреля команда Telegram объявила о том, что электропитание серверов мессенджера в Амстердаме было восстановлено. Сейчас инженеры работают над устранением последствий, постепенно Telegram снова станет доступен для всех пользователей из Европы, Ближнего Востока и СНГ.

Our Eurocluster finally got the power back. All engineers are on deck working hard to restore the equipment after t…

Согласно данным сервиса Downdetector, по состоянию на 13:35 Telegram всё ещё недоступен для значительной части пользователей из Европы и Ближнего Востока.

Проблемы с сервисом начались ночью 29 апреля примерно в 2:00 по московскому времени. Сперва Павел Дуров заявил, что причиной сбоя Telegram стал перегрев серверного оборудования, но позже команда мессенджера уточнила, что оно было обесточено из-за аварии на электросетях в Амстердаме.

0
37 комментариев
Написать комментарий...
ave ego

что же это за распределённая такая инфраструктура, когда аккаунт по номеру телефона привязан жестко к кластеру и с другого континента где нет проблем не войти? вот как так можно резервировать?

Ответить
Развернуть ветку
Viktar Baravy

Это большой фэйл, конечно, децентрализация по сути нет, в Европе все слегло с ~2 ночи до ~10 утра, если так же TON будет реализован, можно ставить крест на успехе((

Ответить
Развернуть ветку
sdff

Почитал reddit, там пишут, что он упал вообще везде. Не только в Европе.

Ответить
Развернуть ветку
Aleksandr Zelenin

downdetector показывает только Европу и Ближний Восток

Ответить
Развернуть ветку
sdff

Читал на reddit про Филиппины, Китай, Бразилию и США. Мб врут в комментах, только смысла не вижу.

Ответить
Развернуть ветку
Oleg Kalensky

Через VPN по всему миру не работал.

Ответить
Развернуть ветку
ave ego

потому что, не важно через что и откуда заходить, когда ваш аккаунт в одном европейском датацентре из говна и палок "децентрализован"

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Serge Arsentiev
не просто масштабировать

Можно дублировать, просто это в 2 раза дороже + прямой высокоскоростной канал между дата-центрами. Потом еще принято добавлять третий, и делать его основным, а самый первый демонтировать (там оборудование устаревает и амортизация обнуляет его стоимость).
 
Собственно, такая схема построения сети описана еще в учебниках середины 90-х. Дескать, если Вам предлагают сделать что-то без резервного сервера и всей сопутствующей инфраструктуры (бесперебойники, генераторы, собственный канал между основным и резервным сервером _разделенными_ дистанционно) - сообщайте что это противоречит стандартам построения сетей, и требуйте нормального бюджета ...

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Serge Arsentiev
Думаю, что такой канал между ДЦ стоит очень серьезных денег

Ну еще раз, базовый учебник по построению сетей, предусматривал наличие такого канала, как нечто абсолютно рядовое и обычное для _среднего_ бизнеса - еще тогда, когда Internet не был большим. Ну да, американский учебник. Но с тех пор стоимость прокладки каналов только снижалась, а скорости их росли и росли ...
 

Я вот таких каналов не видел в своей практике

Ну послушайте, даже временные каналы кидают - когда на какой-то площадке надо организовать событие на неделю продолжительности - подключаются к кому-то, и делают краткосрочную аренду. А стоимость _прокладки_ - была, скажем в Питере, в тысячах долларов от ближайшего тел. узла (ну или от метро), но вполне по силам бизнесу - тогда это было 256Кбит/с, а теперь, я полагаю 1Тбит/с

это мой опыт.

Не будем недооценивать ребят с деньгами. Они смотрят что будет при аварии и оценивают последствия как день-два простоя купи-продай конторы - с уходом связи на мобильные телефоны и частичным перебросом Internet на временные решения.
А вот одни знакомые из (финансовой организации) - они почему-то выстроили _временную_ инфраструктуру по всем правилам - потому что для них было критично предоставлять бесперебойный доступ к площадке, это был их основной товар и услуга. А через несколько лет свернули техническую часть в Питере - оказалось клиенты не окупали текущие затраты, перевели на обслуживание в Москву, хотя это было проблемно и менее удобно всем.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Bucky Bucks

Возможно дублирование начало работать и положило в результате весь мир вместо одного региона, обычно именно так и бывает

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Ivan Illyn

Ещё в январе 2014 Telegram заявил https://twitter.com/telegram/status/427131446655197184 что он работает на уникальной инфраструктуре из 5 (тогда) хостинговых площадок. Падение одной из них просто переключает абонентов в рабочий дата-центр. Спустя 4 года схема не сработала, или она больше не применяется и проект хостится не на 5 площадках, а на одной амстердамской, где нет резервирования по питанию. Ну, или кто-то сочинял про 5 дата-центров.

Ответить
Развернуть ветку
sdff

Павел не мог нам врать!

Ответить
Развернуть ветку
Pixel Lens

"пи#$%ть - не мешки ворочать" (с)

Ответить
Развернуть ветку
Онлайн-Аптека

Паша - маленький врунишка )))

Ответить
Развернуть ветку
Алексей Шурыгин

В Роскомнадзоре не смогли заблокировать Телеграм удалённо, и перешли к радикальным методам.

Ответить
Развернуть ветку
Viktar Baravy

Отправили Жарова в Нидерланды перерезать провода?)

Ответить
Развернуть ветку
Alexander Matveev

Греть сервера

Ответить
Развернуть ветку
Devoted

Вы только представьте себе, маски-шоу из россии направляется в нидерланды в гости к дата-центру телеграма

Ответить
Развернуть ветку
Serge Arsentiev

А чего Вы смеетесь? Обеспечение физической безопасности и системы доступа для серверов популярного (сотни млн. пользователей) интернет сервиса - довольно серьезная задача. В первую очередь - для юристов, которые должны правильно подобрать как юрисдикции размещения серверов, так и конкретные регионы и дата-центры (лучше со особым статусом), и изучить как возможность организации обороны от нападения вооруженной группы, и уничтожения серверов, в случае невозможности такой обороны.
 
Вот в офисах Uber все это предусмотрено, в light варианте - удаленная блокировка компов, и при необходимости - безвозвратная очистка их содержимого.
 
Будет смешно, если у Телеги с ее криптовалютными планами захвата мира все держится на честном слове и на одном крыле

Ответить
Развернуть ветку
Devoted

Я не смеюсь. Абсолютно согласна что физическая безопасность не менее важна. Amazon вместе с snowmobile для трансфера данных в AWS еще вооруженный кортеж предоставляют :)

Ответить
Развернуть ветку
Serge Arsentiev

Вопрос, готовы ли они стрелять, и давно ли стреляли в живых людей - при численном и огневом превосходстве нападающих.
Пока эти файлики и базы данных были в фильме про Джони Мнемоника - это было смешно, что за петабайты данных все бегают и стреляют.
А теперь, кража/порча/теракт в отношении этих многомиллиардных компаний - становится новостью номер N1, даже когда речь идет об одинокой девушке с ружьем.
 
У них конечно распределенная, децентразированная структура, сотни только в миддл-менеджменте - коси хоть из пулемета, не перекосишь, завтра наберут новых по объявлению .. но вот предположим, завтра этого Безоса снимут аккуратно из снайперки - и что будет с Amazon послезавтра? Ведь развалится на кучу Озонов пожиже и пониже, только потому что наследники, то да, сё ...
Тоже самое с Цукербергом или ключевыми персонами в Google. В США с безопасностью никак, по-моему, ну так, от случайных прохожих защитят, не более того.

Ответить
Развернуть ветку
Bucky Bucks

Не удивлюсь если современная версия Анны Чапман помочилась на их генераторы

Ответить
Развернуть ветку
Михаил Неляпин

Да майнили они там, вот и перегрели...

Ответить
Развернуть ветку
Михаил Киреев

Блэкаут в Амстере произошел ПОЗАвчера днем и к трем часам энергоснабжение было восстановлено, а Телега начала сбоить СЕГОДНЯ ночью.Возможно, энергокомпании перенаправили энергию на самые важные направления и отключили дата-центр ТГ. Но все равно как-то странно.

Оффтоп: пока искал информацию об отключении, наткнулся на информацию, о том, что в этом году в Амстере уже было два отключения - в феврале и марте. Причем тогда было не так масштабно. То есть, голландцы реально тянут до последнего, пока совсем все не рухнет.

Ответить
Развернуть ветку
Сергей Алексейчиков

Мы хостились в Дании — их каждый год заливало.
Каждый. Год.
Это как с уборкой снега — ой, снег в декабре?!

Возможно, голландцы точно такие же.

Ответить
Развернуть ветку
Онлайн-Аптека

Европа загибается потихоничку...

Ответить
Развернуть ветку
Igor Pahomov

Я много лет работаю в телекомах (в т.ч и в Нидерландах работал) и случай телеграма мне видится довольно нетипичным.

Мне кажется, схема примерно следующая: Телеграм использует инфраструктуру какого-нибудь очень афилированного хостера, фактически собственную прокси-компанию (очень похоже, что это https://bgp.he.net/AS31500) - туда приходят абузы, можно делать некоторую анонимность/снимать ответственность для основной компании, можно распределять деньги.

При этом, сообщество датацентровых профессионалов в Нидерландах довольно небольшое, первого сбоя по питанию (месяц-другой тому назад) в профильных чатах никто из нидерландских коллег не видел, а новости расходятся очень быстро и глобальная авария в каком-либо местном дц стала бы поводом для обсуждения и работы над ошибками/симуляции.

Отсюда второй вывод, скорей всего это какой-то приватный датарум/приватный дц с большой степенью самообслуживания собственной командой или тем же Глобалнетом. В целом, насколько я могу судить, абсолютно аналогичная схема организации работы была в раннем vkontakte. Это косвенно подтверждается тем, что несмотря на два серьезных сбоя по питанию телеграм не переехал в любой из топовых коммерческих ДЦ, находящихся там же в радиусе 20км (Equinix etc.), где такие проблемы невозможны даже в условиях блекаута.

Относительно того, почему инфраструктура сконцентрирована в Амстердаме - потому что это дает отличную связность со всем миром и бесплатный трафик через обменники.

Мне не очевидны причины, по которым инфраструктура не резервирована в необходимом объеме. Если речь шла о ком-нибудь другом, я был бы уверен, что дело в нехватке денег. Но телеграм изо всех сил старается выглядеть состоятельным в медиа и причин не верить у меня нет. Есть гипотеза о том, что причина: мало мест в мире, где приватность данных и нейтральность соблюдают настолько скурпулезно, как в Нидерландах. И для телеграма в какой-то момент стало невозможным эксплуатировать резервную точку, например во Франкфурте на Майне в Германии, где очень похожие технические возможности, но совершенно другие практики взаимодействия с государством и спецслужбами.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Alan Gor

При современной автоматизации и системах контроля всего и вся, очень странный сбой.

Ответить
Развернуть ветку
Aleksandr Zelenin

а остальной пяток сбоев за последний год укладываются в ваши рамки разумного?

Ответить
Развернуть ветку
Serge Arsentiev

Объясните, кто понимает, плз. Комп и роутер на UPS, роутер в доме - одно время был на UPS, потому по-моему произошла у провайдера оптимизация, и UPS убрали.
Но гипотетически, если стоят по всей цепочки качественные бесперебойники - как выключение электричества может повлиять на работу дата-центра?
В конце концов, генераторы ведь есть?
Я понимаю, что в Нидерландах, например 100 серверов у них в кластере стояло и видимо на 10 мощных стоечных UPS для них (и сетевого оборудования) Телеграфисты сэкономили ... и генераторов надо было тоже не мене 10-ти мощных - просто стоящих в подвале и ждущих запуска (а аренду надо оплачивать).
Но как-то не вяжется система на 100500 миллионов пользователей, с проблемами уровня стандартного российского хостинг-провайдера (ой, у нас электричество кончилось). Куда они миллионы свои инвестируют, в систему первого и последнего шанса?
 
Причем я уверен, рисовали им варианты - мол за 20 миллионов вот такой, за 10 миллионов такой, за 3.5 миллионов такой (но тут нету резерва и переключения на другой дата-центр автоматом). В итоге поторговались и взяли за 2.2 миллиона самый дешОвый.

Ответить
Развернуть ветку
sdff

Да скорее всего просто кондиционеры без электричества перестали работать.

А децентрализации никакой вестимо нет, это да.

Ответить
Развернуть ветку
Thero Layfer

для датацентра упсами не напасёшься, они в лучшем случае могут пару минут дать пока дизельгенераторы резервные запускаются.. а датацентр с дизелями уже дороже.

Ответить
Развернуть ветку
sdff

Breaking news

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Ivan Illyn

Смотрите. Telegram (или лично Павел Дуров) в громких, широковещательных заявлениях, никогда не рассказывает о инфраструктуре проекта. Она, мол, нормальная, а какая?… А это не важно. Мы знаем об устройстве платформы исключительно со слов самого Telegram и в самых общих чертах. Братья Дуровы или их партнёры наложили на себя очень и очень мягкие рамки. Но даже такие рамки они умудряются игнорировать. То у них 5 дата-центров и продвинутое резервирование на случай падения (со слов), то голландские кренделя (де факто). С оптикой всё, разумеется, ясно. Никто не пытается оспорить теоретическую возможность отключения и питания дата-центра и питания линий связи в Амстердаме. Речь вообще не об Амстердаме. Речь о том, почему всё хранится исключительно в одном месте, хотя обещали пять.

Ответить
Развернуть ветку
Кирилл Кот

Чем больше неприятностей происходит у Телеграма, тем больше трафика они получают. Это лучшая рекламная компания столетия. Паше осталось только в жертву себя перенести, и подучить абсолютную власть

Ответить
Развернуть ветку
Marsel Urazmetov

что это? ркн заслал казачка чтобы физически разрушить тг? ай йай йай.. плахой

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
34 комментария
Раскрывать всегда