Оффтоп Никита Евдокимов
5 237

Цифры: сколько длился сбой Telegram

В закладки

В полдень 29 апреля команда Telegram объявила о том, что электропитание серверов мессенджера в Амстердаме было восстановлено. Сейчас инженеры работают над устранением последствий, постепенно Telegram снова станет доступен для всех пользователей из Европы, Ближнего Востока и СНГ.

Our Eurocluster finally got the power back. All engineers are on deck working hard to restore the equipment after t… https://t.co/AVUv5E1MXd

Согласно данным сервиса Downdetector, по состоянию на 13:35 Telegram всё ещё недоступен для значительной части пользователей из Европы и Ближнего Востока.

Проблемы с сервисом начались ночью 29 апреля примерно в 2:00 по московскому времени. Сперва Павел Дуров заявил, что причиной сбоя Telegram стал перегрев серверного оборудования, но позже команда мессенджера уточнила, что оно было обесточено из-за аварии на электросетях в Амстердаме.

#цифра #telegram

{ "author_name": "Никита Евдокимов", "author_type": "editor", "tags": ["\u0446\u0438\u0444\u0440\u0430","telegram"], "comments": 37, "likes": 26, "favorites": 1, "is_advertisement": false, "subsite_label": "flood", "id": 37283, "is_wide": false, "is_ugc": false, "date": "Sun, 29 Apr 2018 13:42:32 +0300" }
{ "id": 37283, "author_id": 61917, "diff_limit": 1000, "urls": {"diff":"\/comments\/37283\/get","add":"\/comments\/37283\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/37283"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199791 }

37 комментариев 37 комм.

Популярные

По порядку

Написать комментарий...
32

что же это за распределённая такая инфраструктура, когда аккаунт по номеру телефона привязан жестко к кластеру и с другого континента где нет проблем не войти? вот как так можно резервировать?

Ответить
20

Это большой фэйл, конечно, децентрализация по сути нет, в Европе все слегло с ~2 ночи до ~10 утра, если так же TON будет реализован, можно ставить крест на успехе((

Ответить
2

Почитал reddit, там пишут, что он упал вообще везде. Не только в Европе.

Ответить
1

downdetector показывает только Европу и Ближний Восток

Ответить
1

Читал на reddit про Филиппины, Китай, Бразилию и США. Мб врут в комментах, только смысла не вижу.

Ответить
1

Через VPN по всему миру не работал.

Ответить
5

потому что, не важно через что и откуда заходить, когда ваш аккаунт в одном европейском датацентре из говна и палок "децентрализован"

Ответить

1

не просто масштабировать

Можно дублировать, просто это в 2 раза дороже + прямой высокоскоростной канал между дата-центрами. Потом еще принято добавлять третий, и делать его основным, а самый первый демонтировать (там оборудование устаревает и амортизация обнуляет его стоимость).
 
Собственно, такая схема построения сети описана еще в учебниках середины 90-х. Дескать, если Вам предлагают сделать что-то без резервного сервера и всей сопутствующей инфраструктуры (бесперебойники, генераторы, собственный канал между основным и резервным сервером _разделенными_ дистанционно) - сообщайте что это противоречит стандартам построения сетей, и требуйте нормального бюджета ...

Ответить

2

Думаю, что такой канал между ДЦ стоит очень серьезных денег

Ну еще раз, базовый учебник по построению сетей, предусматривал наличие такого канала, как нечто абсолютно рядовое и обычное для _среднего_ бизнеса - еще тогда, когда Internet не был большим. Ну да, американский учебник. Но с тех пор стоимость прокладки каналов только снижалась, а скорости их росли и росли ...
 
Я вот таких каналов не видел в своей практике

Ну послушайте, даже временные каналы кидают - когда на какой-то площадке надо организовать событие на неделю продолжительности - подключаются к кому-то, и делают краткосрочную аренду. А стоимость _прокладки_ - была, скажем в Питере, в тысячах долларов от ближайшего тел. узла (ну или от метро), но вполне по силам бизнесу - тогда это было 256Кбит/с, а теперь, я полагаю 1Тбит/с

это мой опыт.

Не будем недооценивать ребят с деньгами. Они смотрят что будет при аварии и оценивают последствия как день-два простоя купи-продай конторы - с уходом связи на мобильные телефоны и частичным перебросом Internet на временные решения.
А вот одни знакомые из (финансовой организации) - они почему-то выстроили _временную_ инфраструктуру по всем правилам - потому что для них было критично предоставлять бесперебойный доступ к площадке, это был их основной товар и услуга. А через несколько лет свернули техническую часть в Питере - оказалось клиенты не окупали текущие затраты, перевели на обслуживание в Москву, хотя это было проблемно и менее удобно всем.

Ответить

0

Возможно дублирование начало работать и положило в результате весь мир вместо одного региона, обычно именно так и бывает

Ответить

14

Ещё в январе 2014 Telegram заявил https://twitter.com/telegram/status/427131446655197184 что он работает на уникальной инфраструктуре из 5 (тогда) хостинговых площадок. Падение одной из них просто переключает абонентов в рабочий дата-центр. Спустя 4 года схема не сработала, или она больше не применяется и проект хостится не на 5 площадках, а на одной амстердамской, где нет резервирования по питанию. Ну, или кто-то сочинял про 5 дата-центров.

Ответить
13

Павел не мог нам врать!

Ответить
4

"пи#$%ть - не мешки ворочать" (с)

Ответить
0

Паша - маленький врунишка )))

Ответить
13

В Роскомнадзоре не смогли заблокировать Телеграм удалённо, и перешли к радикальным методам.

Ответить
13

Отправили Жарова в Нидерланды перерезать провода?)

Ответить
13

Греть сервера

Ответить
1

Вы только представьте себе, маски-шоу из россии направляется в нидерланды в гости к дата-центру телеграма

Ответить
1

А чего Вы смеетесь? Обеспечение физической безопасности и системы доступа для серверов популярного (сотни млн. пользователей) интернет сервиса - довольно серьезная задача. В первую очередь - для юристов, которые должны правильно подобрать как юрисдикции размещения серверов, так и конкретные регионы и дата-центры (лучше со особым статусом), и изучить как возможность организации обороны от нападения вооруженной группы, и уничтожения серверов, в случае невозможности такой обороны.
 
Вот в офисах Uber все это предусмотрено, в light варианте - удаленная блокировка компов, и при необходимости - безвозвратная очистка их содержимого.
 
Будет смешно, если у Телеги с ее криптовалютными планами захвата мира все держится на честном слове и на одном крыле

Ответить
1

Я не смеюсь. Абсолютно согласна что физическая безопасность не менее важна. Amazon вместе с snowmobile для трансфера данных в AWS еще вооруженный кортеж предоставляют :)

Ответить
0

Вопрос, готовы ли они стрелять, и давно ли стреляли в живых людей - при численном и огневом превосходстве нападающих.
Пока эти файлики и базы данных были в фильме про Джони Мнемоника - это было смешно, что за петабайты данных все бегают и стреляют.
А теперь, кража/порча/теракт в отношении этих многомиллиардных компаний - становится новостью номер N1, даже когда речь идет об одинокой девушке с ружьем.
 
У них конечно распределенная, децентразированная структура, сотни только в миддл-менеджменте - коси хоть из пулемета, не перекосишь, завтра наберут новых по объявлению .. но вот предположим, завтра этого Безоса снимут аккуратно из снайперки - и что будет с Amazon послезавтра? Ведь развалится на кучу Озонов пожиже и пониже, только потому что наследники, то да, сё ...
Тоже самое с Цукербергом или ключевыми персонами в Google. В США с безопасностью никак, по-моему, ну так, от случайных прохожих защитят, не более того.

Ответить
0

Не удивлюсь если современная версия Анны Чапман помочилась на их генераторы

Ответить
8

Да майнили они там, вот и перегрели...

Ответить
3

Блэкаут в Амстере произошел ПОЗАвчера днем и к трем часам энергоснабжение было восстановлено, а Телега начала сбоить СЕГОДНЯ ночью.Возможно, энергокомпании перенаправили энергию на самые важные направления и отключили дата-центр ТГ. Но все равно как-то странно.

Оффтоп: пока искал информацию об отключении, наткнулся на информацию, о том, что в этом году в Амстере уже было два отключения - в феврале и марте. Причем тогда было не так масштабно. То есть, голландцы реально тянут до последнего, пока совсем все не рухнет.

Ответить
5

Мы хостились в Дании — их каждый год заливало.
Каждый. Год.
Это как с уборкой снега — ой, снег в декабре?!

Возможно, голландцы точно такие же.

Ответить
0

Европа загибается потихоничку...

Ответить
4

Я много лет работаю в телекомах (в т.ч и в Нидерландах работал) и случай телеграма мне видится довольно нетипичным.

Мне кажется, схема примерно следующая: Телеграм использует инфраструктуру какого-нибудь очень афилированного хостера, фактически собственную прокси-компанию (очень похоже, что это https://bgp.he.net/AS31500) - туда приходят абузы, можно делать некоторую анонимность/снимать ответственность для основной компании, можно распределять деньги.

При этом, сообщество датацентровых профессионалов в Нидерландах довольно небольшое, первого сбоя по питанию (месяц-другой тому назад) в профильных чатах никто из нидерландских коллег не видел, а новости расходятся очень быстро и глобальная авария в каком-либо местном дц стала бы поводом для обсуждения и работы над ошибками/симуляции.

Отсюда второй вывод, скорей всего это какой-то приватный датарум/приватный дц с большой степенью самообслуживания собственной командой или тем же Глобалнетом. В целом, насколько я могу судить, абсолютно аналогичная схема организации работы была в раннем vkontakte. Это косвенно подтверждается тем, что несмотря на два серьезных сбоя по питанию телеграм не переехал в любой из топовых коммерческих ДЦ, находящихся там же в радиусе 20км (Equinix etc.), где такие проблемы невозможны даже в условиях блекаута.

Относительно того, почему инфраструктура сконцентрирована в Амстердаме - потому что это дает отличную связность со всем миром и бесплатный трафик через обменники.

Мне не очевидны причины, по которым инфраструктура не резервирована в необходимом объеме. Если речь шла о ком-нибудь другом, я был бы уверен, что дело в нехватке денег. Но телеграм изо всех сил старается выглядеть состоятельным в медиа и причин не верить у меня нет. Есть гипотеза о том, что причина: мало мест в мире, где приватность данных и нейтральность соблюдают настолько скурпулезно, как в Нидерландах. И для телеграма в какой-то момент стало невозможным эксплуатировать резервную точку, например во Франкфурте на Майне в Германии, где очень похожие технические возможности, но совершенно другие практики взаимодействия с государством и спецслужбами.

Ответить

2

При современной автоматизации и системах контроля всего и вся, очень странный сбой.

Ответить
0

а остальной пяток сбоев за последний год укладываются в ваши рамки разумного?

Ответить
0

Объясните, кто понимает, плз. Комп и роутер на UPS, роутер в доме - одно время был на UPS, потому по-моему произошла у провайдера оптимизация, и UPS убрали.
Но гипотетически, если стоят по всей цепочки качественные бесперебойники - как выключение электричества может повлиять на работу дата-центра?
В конце концов, генераторы ведь есть?
Я понимаю, что в Нидерландах, например 100 серверов у них в кластере стояло и видимо на 10 мощных стоечных UPS для них (и сетевого оборудования) Телеграфисты сэкономили ... и генераторов надо было тоже не мене 10-ти мощных - просто стоящих в подвале и ждущих запуска (а аренду надо оплачивать).
Но как-то не вяжется система на 100500 миллионов пользователей, с проблемами уровня стандартного российского хостинг-провайдера (ой, у нас электричество кончилось). Куда они миллионы свои инвестируют, в систему первого и последнего шанса?
 
Причем я уверен, рисовали им варианты - мол за 20 миллионов вот такой, за 10 миллионов такой, за 3.5 миллионов такой (но тут нету резерва и переключения на другой дата-центр автоматом). В итоге поторговались и взяли за 2.2 миллиона самый дешОвый.

Ответить
6

Да скорее всего просто кондиционеры без электричества перестали работать.

А децентрализации никакой вестимо нет, это да.

Ответить
0

для датацентра упсами не напасёшься, они в лучшем случае могут пару минут дать пока дизельгенераторы резервные запускаются.. а датацентр с дизелями уже дороже.

Ответить
1

Breaking news

Ответить
0

Мужчины я не специалист, но читать вас тошно.

Вы в расчёт почему то только генераторы берёте, если произошло Блэк аут, может причина с не возможностью распределениям нагрузки на другие сервера произошла из за того что оптика тоже умерла, нет тока нет сети.

И да теперь все знаю ахиллесово место телеги.

Ответить
3

Смотрите. Telegram (или лично Павел Дуров) в громких, широковещательных заявлениях, никогда не рассказывает о инфраструктуре проекта. Она, мол, нормальная, а какая?… А это не важно. Мы знаем об устройстве платформы исключительно со слов самого Telegram и в самых общих чертах. Братья Дуровы или их партнёры наложили на себя очень и очень мягкие рамки. Но даже такие рамки они умудряются игнорировать. То у них 5 дата-центров и продвинутое резервирование на случай падения (со слов), то голландские кренделя (де факто). С оптикой всё, разумеется, ясно. Никто не пытается оспорить теоретическую возможность отключения и питания дата-центра и питания линий связи в Амстердаме. Речь вообще не об Амстердаме. Речь о том, почему всё хранится исключительно в одном месте, хотя обещали пять.

Ответить
1

Чем больше неприятностей происходит у Телеграма, тем больше трафика они получают. Это лучшая рекламная компания столетия. Паше осталось только в жертву себя перенести, и подучить абсолютную власть

Ответить
–1

что это? ркн заслал казачка чтобы физически разрушить тг? ай йай йай.. плахой

Ответить

0
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Компания отказалась от email
в пользу общения при помощи мемов
Подписаться на push-уведомления
{ "page_type": "default" }