{"id":9253,"title":"\u0427\u0442\u043e \u0434\u0430\u0440\u0438\u0442\u044c \u0441\u043e\u0442\u0440\u0443\u0434\u043d\u0438\u043a\u0430\u043c, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u043d\u0430\u0432\u0440\u0435\u0434\u0438\u0442\u044c \u043e\u043a\u0440\u0443\u0436\u0430\u044e\u0449\u0435\u0439 \u0441\u0440\u0435\u0434\u0435","url":"\/redirect?component=advertising&id=9253&url=https:\/\/vc.ru\/mos.ecology\/322605-chto-darit-klientam-sotrudnikam-i-partneram-chtoby-ne-navredit-okruzhayushchey-srede&placeBit=1&hash=f7f2e59c93d6bf99b4de7eb426299419c5e5dc01833ead4a2d9b746713d07b81","isPaidAndBannersEnabled":false}
Сервисы
Лиана Липанова

Объяснение: что случилось с Facebook, почему долго чинили и может ли это повториться Статьи редакции

Разбор от бывшего директора по распространению технологий «Яндекса» Григория Бакунова.

Пролистал большую статью от Cloudflare про сегодняшнее падение Facebook и решил написать свою — сильно более простую. 4 октября приблизительно в 19:45 мск оглушительно рухнул Facebook и почти все его внешние и внутренние сервисы. Лежал Facebook, Messenger, Instagram, WhatsApp, лежали корпоративные и бизнес-сервисы Facebook, не отвечали ни сайты, ни мобильные приложения.

Что произошло

Судя по всему, кто-то из сетевых администраторов внёс изменения в конфигурацию сети Facebook — причём так, что большая часть этой сети перестала существовать.

Интернет, который многие считают единой сетью, на самом деле состоит из большого количества более мелких сетей, по сути, это сетка сеток. Чтобы информация из одной подсети попадала в другую, была построена система обмена информацией о конфигурации и расположении узлов в подсетях, маршрутизаторы обмениваются друг с другом информацией о расположении подведомственных им сетей по протоколу BGP.

Так вот, одна из таких подсетей анонсировала всем внутри и снаружи, что часть сети Facebook теперь находится не у неё. Так получилось, что именно в этой подсети жили NS-сервера, отвечающие за домены, принадлежащие компании. А значит, начиная с какого-то момента все, кто пытался узнать на каком IP-адресе находится facebook.com, стали получать пустой ответ. Последствия предсказуемы: не работает Facebook и все его сервисы у пользователей, внешних и внутренних.

Почему так долго не работали сервисы

Вместе с тем сотрудники Facebook оказались в незавидном положении:

  • Недоступные все внутренние ресурсы компании, включая мессенджеры и корпоративные адресные книги.
  • Нельзя зайти в офис (часть офисов пускали только по бейджикам, которые привязаны к интернет-авторизации).
  • Потеряны почти любые привычные способы коммуникации.

Вдобавок ко всему, большую часть проблем можно было решить только при физическом доступе к серверам, который существенно осложнён привычной расслабленностью удалённой работы. Первые признаки восстановления систем можно было заметить уже после 12 ночи, то есть через три часа глухого молчания.

При этом крепко досталось всему интернету. Лежали почти все крупные соцсети, которым внезапно достался трафик Facebook — люди, не найдя привычных Instagram и WhatsApp, пошли искать спасения в Twitter и Telegram. Получившие новый трафик поначалу радовались, но потом начали стонать под полученной неожиданно нагрузкой.

Сильно пострадали все публичные DNS-сервера — мобильные клиенты Facebook и все сайты, где была авторизация через Facebook или кнопка like, безостановочно DDoS-или свои DNS запросами к несуществующему Facebook. Трафик некоторых мобильных приложений вырос в 30-50 раз. Впечатляет?

Будет ли такое повторяться

Будет. Потому что современный интернет всё ещё базируется на принципах, которые были выработаны 30, а иногда и больше лет назад. Никто тогда не думал о глобальной мировой сети.

За прошедшие годы человечество построило интернет таким, какой он есть сейчас — централизованным, уязвимым и потому неустойчивым. Последние выключения Cloudflare, Amazon, Facebook и других крупных интернетообразующих сервисов показали, насколько хрупкая конструкция этот наш интернет. И кажется это то, что срочно пора исправить.

0
170 комментариев
Популярные
По порядку
Написать комментарий...
238

"показали, насколько хрупкая конструкция этот наш интернет."

Легли то все несколько сервисов, приматы временно не смогли делать посты в свои инстаграмы, какая проблема)) печально, что огромные просторы интернета для многих начинаются и заканчиваются каким нибудь инстаграмом. Так что не надо тут, все с интернетом в порядке) 

78

Ну ещё в некоторых организациях коммуникации происходят в мессенджерах, например wa. Наверное это не совсем правильно. Но в итоге напряглись не только инстаблогеры и тп.

4

организации с коммуникации в мессенджерах, например wa?

чо уж не viber

это что за организации такие? чат восьмой бэ саранска?

13

Ну у меня на работе используют wa для коммуникации в 30 сотрудников. Реально жалко как сказал первый комментатор в этой ветке "печально, что огромные просторы интернета для многих начинаются и заканчиваются каким нибудь инстаграмом"

1

Да почти все организации, где не занимаются разработкой, есть альтернативы? кроме тг

1
Параллельный жар

Недавно работал в розничной сети - лидере в своем сегменте, 1000 крупных магазинов в РФ, РБ и Казахстане. Рабочие чаты - в Вотсапе)) На вопрос "А что если у меня нет вотсапа?" ответили - придётся зарегистрироваться)) Я ахуел)

1

например следственный комитет рф ))

0

вся ГОСка на ва сидит)

1

А когда Akamai ложился? Половина крупнейших ресурсов легло. Предлагаете в каждый дом независимую инфраструктуру прокладывать вместе с оптикой?) ред.

6

> приматы временно не смогли делать посты в свои инстаграмы

приматы - это люди с такой "дальновидной" логикой.
отрубить на шесть часов 2 популярных месенджера, фейсбук и ватсап - это однозначный урон многим бизнесам.

инста тоже генерит дофига бабла.

4

У многих бизнес в социальных сетях

1

И?) бизнес не может делать посты, а омежки не могут эти посты смотреть = хотеть делать/смотреть посты, когда ничего не работает тупо)) 

–3

Легли и необходимые для жизни сервисы! Отвалился Lg ThinQ, также проблемы были и Mihome, как результат я долго не мог понять почему некоторая техника отвалилась от majordom и всем приходится управлять физически (пришлось топать в баню пешком чтобы физически вручную все включать), свет и все блоки управляющие через инет отвалились, только физическое управление. Домашняя сеть тоже начала брыкаться и показывать отсутствие интернета, кинетики с ума посходили, хотя проблемм с инетом небыло, телефон honor показывал отсутствие интернета через wi-fi . Вообщем пока не открыл телеграмм думал у меня мозг взорвется от того откуда проблемы везде и сразу....

0

Хоноры и хуавэи проверяют наличие инета пингованием facebook.com, да. :) Но вот с чего бы кинетикам с ума сходить?

1

Ну что сказать, пропали Рамблер маилру Гисметео Ютуб мордакнига и многие сервисы

0

Вот здесь я Вас на 100% поддержу. Нахрена так сильно страдать от отсутствия Instagram, ощущение, что больше заняться в жизни нечем 

0

эт точно, ведь можно запостить что-нибудь интеллектуальное на вц.ру trollface

0

таких там 4 мрд обитает и это не какиенибудь ок.ру

0

Почаще бы такое происходило.
Потому что фраза "сейчас я тебе отправлю в вацап" или даже "сейчас отправлю смс" (подразумевая вацап) нехило корёжит. Нет у меня никакого вацапа, на одном месте я вертел это кривое поделие, в котором толком синхронизации нет, а данные хранятся на устройстве.

У вацапа нет даже нормального десктоп-клиента(!!!), а та обёртка веб-версии весом в 100+ не может считаться десктоп-клиентом.

Такшта, желаю вацапу смерти, да побыстрее.

26

А что не так с востапом для обычного пользователя? Вот я им пользуюсь каждый день, мне приходят туда сообщения, я отправляю оттуда сообщения. Конечная цель всегда достигается- передать информацию другому человеку. Возможно если бы я торговал оружием или людьми, то вотсап мне бы тоже не подходил как и вам, Александр. По пока меня всё устраивает.

26

Как минимум то, что вы разобьёте свой смартфон, а крайняя резервная копия вашей драгоценной переписки будет датирована месяцем назад.
Вот тогда вы сразу меня поймёте ;)

И наводить камеру телефона для авторизации также бред тот ещё.
Телега шлёт проверочные коды во все твои телеги текущего аккаунта - и это прекрасно.

p.s. решил отредактировать, чтобы посты не плодить. А "обычный человек не из IT" вообще галку на резервные копии, скорее всего не поставит.

16

По поводу резервной копии возможно это и так, не буду спорить. Только что зашел из интереса, проверил когда создавалась у меня в последний раз - в субботу. Да, могу потерять переписку за несколько дней, неприятно.

По поводу наведения камеры для авторизации, так у телеграма тоже самое, разве нет? Во всяком случае у меня так же.

0

Только в веб-версии телеги так. Если же я захожу на новом устройстве через клиента - присылаются коды в те устройства, где залогинен.

0

Ну так WA принципиально отличается от Телеги и других мессенджеров тем, что возможна только одна клиентская сессия. Это by design, а не потому что "не могут сделать". И веб-версия работает через смартфонный экземпляр WA, а не напрямую. Фактически это удаленный терминал смартфонной версии.

Наличие переписки только на устройстве — с точки зрения удобства это безусловный минус. С точки зрения безопасности — это безусловный плюс.

Необходимость наведения камеры на QR-код — ну вот например Signal так же регистрирует новые устройства, при этом они у него полноценные клиенты, как у Тележки. Но способ — как у WA. Возможно, потому, что это безопаснее, поскольку для регистрации нового устройства требуется физический доступ к старому авторизованному устройству, а не к телефонному номеру.

Вообще, забавно, что у WA репутация мессенджера для домохозяек, а на деле он обеспечивает лучшую защиту переписки в сравнении с Тележкой, которая благодаря пиару Дурова считается заведомо более безопасной, хотя это не так, если не использовать секретные чаты.

2

Во многом согласен с вами, кроме «безопасности».
С одной стороны, у всех популярных мессенджеров есть «сквозное шифрование» данных, которое надежно шифрует трафик и 100% защищает от перехвата этих данных любыми посредниками (провайдерами интернет доступа или другими посредниками).
С другой стороны, основательно умалчивается, что все коммуникации пользователей осуществляются не peer-to-peer, а через сервер-посредник, который выступает в роли молчаливого слушателя, который сохраняет всю переписку пользователей и даже транскрибирует в текст (для удобства хранения и поиска) все аудиозаписи звонков.
Таким образом, в ЛЮБЫХ сообщениях и разговорах ВСЕГДА присутствует «третий собеседник», который все «слушает» и налету все это сохраняет в БД.
Почти все популярные мессенджеры Viber/WhatsApp/Telegram неанонимны – требуют номер телефона при регистрации и доступ к телефонной книжке (это вообще недопустимо!). Таким образом, мессенджеры получают о своих пользователях намного больше информации, чем даже операторы сотовой связи (от которых еще можно «спастись» анонимными симками). Получается, что вы сливаете им свою записную книжку и деанонимизируете свои контакты, а все ваши контакты деанонимизируют вас! Таким образом, все ваши контакты, фактически, многократно «подтверждают» ваши персональные данные: ФИО, домашний адрес, номер вашей карты и даже ее пин код (если вы отправляли эти данные кому-либо в чате).
С мессенджерами, есть еще много проблем – на них очень сложно зарабатывать, но очень дорого содержать! Какой есть выход? Помните поговорку – «Если вы не платите за товар, значит вы и есть товар». Есть частные и не только компании, типа Cambridge Analytica, которые готовы такие данные покупать. Поэтому, если вы будете говорить по WhatsApp про «корм для кошек» и увидите таргетированную рекламу, то радуйтесь – вас «удачно продали» :))).
ПС. Тем пользователям, которым важна конфиденциальность своих данных следует рассматривать исключительно АНОНИМНЫЕ мессенджеры – им просто очень «дорого» и бессмысленно записывать ваши анонимные данные – их никто не купит!

2

Во многом с вами согласен, но развернуто поучаствовать в дискуссии на тему безопасности разных мессенджеров желания нет, поэтому ограничусь этим кратким ответом, чтоб не показаться невежливым. :)

1

В старом добром скайпе у меня уже за десятилетия ничего не терялось. Это нормально. А не та чухня, которую ватсап делает в виде "бэкапа". А если у меня нет гугля-драйва? Тогда крен тебе а не быкап.

0

Нет нормального десктопного клиента (и прямая зависимость от смартфона), только одно устройство в один момент времени, пожирание трафика на телефоне при подключении десктопа - сообщения летят туда и обратно.

Так же активная борьба с попытками сделать альтернативные клиенты.

6

Ну слушайте, кого интересует жор мобильного трафика в 2021 г.?

1

Тех кто живёт в тех местах, где со связью не очень хорошо?
Тех кому не наплевать на срок жизни телефона от батареи (экран и радио - основные потребители энергии в современном телефоне).
А по факту - не разработчиков, и это печалит.

0

Давайте посмотрим — некто живет в таком месте, где с мобильной связью не очень хорошо, при этом у него нет проводного/стационарного интернета с Wi-Fi и он сидит через мобилу, причем его компьютер подключен к инету тоже через мобилу.

Как-то сюда не очень вписывается требование жрать поменьше батарейку — если вы используете телефон как модем для нескольких устройств или даже локальной сети, то он будет жрать, это по определению. Если это постоянная практика, то либо свисток надо купить, либо какой-нибудь дешевый телефон, умеющий в модем. А если это временная ситуация (поездка, гостиница, палатка на вершине горы), то простите, но давайте не будем говорить о ней как о серьезном факторе.

Перерасхода мобильного трафика, кстати, скорее всего не будет в этом случае — комп к мобиле напрямую подключен. Но тут я не уверен.

И о процентном соотношении таких пользователей к общему числу говорить смысла нет — оно исчезающе мало. А, значит, увы, потребности этих пользователей разработчиками учтены, скорее всего, не будут. ред.

0

Вон меня уже успел кто-то минуснуть, а ответа не дал. Мне серьезно интересно понять чем востап плох для обычного человека не из IT.

6

Большая проблема с звонками и невозможностью их отключить. 
При звонке лезет своим интерфейсом в блокировку экрана, намертво блокируя телефон (сгс10), пока не закончится звонок. Не знает про bt-гарнитуры.
Воспроизводит звук звонка как мультимедиа, а не звонок.
Невозможно запретить эти звонки

6

Ирония в том, что для торговли оружием или людьми вотсап подходит больше, чем телеграм, потому что работает только с E2E шифрованием и не сохраняет сообщения на сервере, отсюда и отсутствие синхронизации и странная авторизация в веб-клиенте, которыми недоволен Александр. ред.

4

E2E при невозможности сравнить ключи на двух сторонах - бесполезен. Это такое магическое утверждение тогда получается  - у нас тут E2E, верьте на слово.

2

Это справедливо про все популярные мессенджеры. Шифрование должно быть максимально unbundled от транспорта, но так продукта для сколько-нибудь широкой аудитории не сваришь.

1

Не обязательно. Достаточно открытой реализации клиента и сверки ключей по другому каналу.  Но клиент whatsapp закрыт (как и протокол), а сервер активно препятствует созданию альтернативной реализации клиента.

Ps. это всё, естественно, при условии того, что шифрование E2E сделано правильно.

0

Тупо всем говорить, что есть E2E, а на самом деле использовать какие-то другие ключи - это всё-таки слишком глупо и это зареверсят или сольют тысячи сотрудников, имеющих доступ к кодовой базе. Использовать, например, более-менее честное E2E и сливать ключи наверх - на мой взгляд куда более вероятный сценарий, и тут открытая реализация клиента не очень спасёт от уязвимостей/бэкдоров, раскрывающих серверу информацию о ключе при специально сформированном запросе.

2

Причем от компании, многократно уличенной во лжи.

–1

Как минимум взломают как нехер делать, сможет даже школота

0

Если это на столько просто, расскажите каким образом? Сколько пользуюсь- ни разу не сталкивался сам и не слышал о массовом взломе аккаунтов школотой.

0

ну не щколотой, это так), ватцап самая уязвимая соц сеть

0

Вот сейчас смешно было, честно.

0

а данные хранятся на устройстве

помнится, когда они хотели в начале года изменить политику, то десятки млн решили, что "не надо так делать, иначе мы уйдем к другим"

0

Вам что-то не то помнится.
Новая политика подразумевала передачу данных фейсбуку, а не хранение данных централизованно

1

Все мне то помнится) Суть была в том, что данные будут использоваться корпорацией вместо того, чтобы сохранят приватность на мобильных устройствах.
Уже 100500+ раз обсуждали тему с ВА и почему он популярен, почему упорно компания не хочет хранить данные на севрерах, как это происходит у ФБ мессенджера, например 

0

 Будет. Потому что современный интернет всё ещё базируется на принципах, которые были выработаны 30 лет назад ...

... За прошедшие годы человечество построило интернет таким, какой он есть сейчас — централизованным

Какие-то взаимоисключающие параграфы. Принципы 30-летней давности наоборот подразумевали децентрализованность, а не то что сейчас.

29

Все грамотно написано. Откройте книжку  протокол TCP IP. Из нее так и веет духом 80-х. А это основной протокол передачи данных в Интернет.  Сейчас бы ни кому в голову не пришло такое написать, как и сделать такую DNS, такие OSPF и BGP.  Когда все это создавалось, никто и не мог предположить во что выльется интернет как межсетье. Заменить все это легаси и технологический долг можно только одним способом: все выкинуть и построить новый Интернет с нуля. Без совместимости. 

0

 Откройте книжку протокол TCP IP. Из нее так и веет духом 80-х.

Ну расскажите что бы вы улучшили в протоколе TCP IP? (на самом деле это два разных уровня). 

 > Сейчас бы ни кому в голову не пришло такое написать, как и сделать такую DNS, такие OSPF и BGP.

Расскажите что бы вы сделали. Я бы с удовольствием послушал. Особенно как бы вы заменили BGP, ну и DNS.

 Заменить все это легаси и технологический долг можно только одним способом: все выкинуть и построить новый Интернет с нуля. Без совместимости.

Вы видимо дальше первой страницы книжки не читали. С дивана то магистральные маршрутизаторы по $10kk за юнит легко заменить с нуля. Это конечно смешно, когда совершенно безграмотные люди лезут учить как правильно делать сети.

33

Даже отвечать не хочется... Я не писал, что заменить все это легко или возможно. А так... стандартный инфоцыганский подход,  заклеймить собеседника безграмотным диванным аналитиком и пренебрежительно поставить нам место.  Сами то небось двадцать лет в ростелекоме циски конфигурили?  Откуда вам знать мою биографию? Может я еще ЯУЗ и PL/1 помню, или BGP настроить могу?  

0

 Я не писал, что заменить все это легко или возможно.

Ну давайте начнем с TCP/IP и чем его можно заменить. Попутно поменяв DNS. Пока не будем трогать BGP.

 А так... стандартный инфоцыганский подход, заклеймить собеседника безграмотным диванным аналитиком и пренебрежительно поставить нам место.

Ну раз вы не диванный аналитик, так расскажите как делать правильно.

 Сами то небось двадцать лет в ростелекоме циски конфигурили?

Даже если и так, то что это меняет? Ну вот я в ростелеком циски конфигуряю, но не пукаю в воздух о том, что завтра все с нуля переделать можно.

 Откуда вам знать мою биографию? Может я еще ЯУЗ и PL/1 помню, или BGP настроить могу?

Ну так так расскажите как правильно, раз вы так много знаете.

13

Может я еще ЯУЗ и PL/1

ЯУЗ — это что? JCL, что ли? А давайте тест проведем — что такое "ПКЫ"?

0

язык управления заданиями, ес эвм. Школоло?

0

Погодите — вы знаете ЯУЗ, но не знаете JCL? Если так, то еще неизвестно, кто тут из нас школоло. ред.

0

Толстая книжка по System/360 у меня где то есть. В школе я учился в 80-х. В школьном машзале:

1

Собственная ЕСка в школе, ого. Не знал, что были такие школы. Я ЕСку только в институте увидел.

1

Наверное это уникальный случай. СШ №1, г. Югорск.

0

Я ни секунды не сомневался, что это была московская школа. :) Вот те нате. Это тот Югорск, который в ХМАО?

0

Да, в какой-то момент Тюменьтрансгаз, по моему, получил спарку 1045, плюс там были еще машины, а ЕС1030 отдал в школу. А далее уже к 1990 в школе появились ЕС-1840
16-разрядный IBM PC-совместимый компьютер построенный на процессоре К1810ВМ86 (аналог Intel 8086) с тактовой частотой 4,77 МГц.

1

В 89-м, кажется, году у нас в конторе в ответ на наши "давайте уже купим РС" появилась ЕС1840. Первое, что мы попытались сделать — это запустить на ней F-19 Stealth Fighter, а это было не очень просто, потому что оно не помещалось на дискеты 720К, а только на 1.44М. Как-то удалось разбить на 2 дискеты, запустили, а оно меееееееедленное. Ну т.е. запускаешь ракету, и она полчаса висит у тебя перед носом, медленно удаляясь. В итоге сказали руководству, что нет, очень слабый компьютер, работать невозможно, надо другой. :) Потом уже нормальная АТшка появилась.

UPD. Насчет емкости дискет мог ошибиться — там, кажется, 5" были. Но смысл тот же.

2

Да, F19, F16 с микроквадратом для полетов, потом retaliator и самое лучшее - TORNADO от Digital Integration - все это было в ходу). Тем более что рядом с Югорском находилась авиабаза 763 ИАП, с новейшими на тот момент МИГ-31 и "полномасштабным" симулятором в здании. Все это 87-90 годы. ПК - венгерские ТАПы, немецкие Амстрады и еще какой-то зоопарк...

0

Нескучное было время!

1

Не поделитесь фотками ЕС из своего архива? В сети это редкость.

0

Увы, таких фоток у меня не было никогда. Сам иногда в сети ищу.

P.S. А "ПКЫ" — так в руссифицированной ОС ЕС назывался "PUN", т.е. "puncher" (вывод на перфокарты). "ПерфоКарточный вЫвод". ;) Потому что "ПКВ" ("RDR") был уже занят. :)

0

Могли предположить светлые умы и паралельно вводить новые протоколы, новые узлы связи.

1

> Все грамотно написано. Откройте книжку протокол TCP IP. Из нее так и веет духом 80-х.

ну если вы в теме хоть намекните на то как надо ) что гуглить-то)

наверняка уже куча прототипов на других протоколах существует, просто я не интересовался этой темой, хотя в детстве все RFCшки перечитал.

1

Где-то нашлась флешка Ричарда Хендрикса)))

1

За прошедшие годы человечество построило интернет таким, какой он есть сейчас — централизованным, уязвимым и потому неустойчивым. Последние выключения Cloudflare, Amazon, Facebook и других крупных интернетообразующих сервисов показали, насколько хрупкая конструкция этот наш интернет. И кажется это то, что срочно пора исправить.

Как раз они явно показали, что интернет устойчив. Неработающие кнопки лайков не мешают мне заходить на YouTube и смотреть VK.

11

 Пролистал большую статью от Cloudflare про сегодняшнее падение Facebook и решил написать свою — сильно более простую.

Не надо ни читать статью CF, ни писать на ее основе свои предположения. CF просто описали то, что они видели. А что было на самом деле расскажет FB, ну либо знакомых попросите. Может быть в личной беседе расскажут. В целом забавная ситуация получилась.

Недоступные все внутренние ресурсы компании, включая мессенджеры и корпоративные адресные книги.

Нельзя зайти в офис (часть офисов пускали только по бейджикам, которые привязаны к интернет-авторизации).

Потеряны почти любые привычные способы коммуникации.

Это все булшит и предположения людей, которые не связаны с FB. Самое смешное, что люди зачем-то шли в офис чинить проблемы и их там не пускали. Это самый смешной бред. Если вы работает/работали настолько большой компании, то знали бы, что есть дежурные. У дежурных есть VPN в том или ином виде. Как только срабатывают алерты человек не бежит в офис за компухтер, чтобы сеточку починить. У него уже сразу все есть на его рабочем ноутбуке. Проблемы могут возникнуть при доступе к управляющей сети маршрутизаторов и при откате конфигурации. Это все так не очень похоже на фильмы про кулхацкеров, где двумя командами кладут Пентагон.

 Вдобавок ко всему, большую часть проблем можно было решить только при физическом доступе к серверам, который существенно осложнён привычной расслабленностью удалённой работы. Первые признаки восстановления систем можно было заметить уже после 12 ночи, то есть через три часа глухого молчания.

Какая ночь? У FB дата-центры по всему миру стоят. Команды дежурят везде. Это не Сбербанк, который может уходить на обед. Люди дежурят 24/7.  Опять же, в ДЦ тоже есть дежурные, но они не очень квалифицированные, конечно BGP они сами не поднимут, они только подготавливают оборудование, чтобы дежурный удаленно все поднял.

 Сильно пострадали все публичные DNS-сервера — мобильные клиенты Facebook и все сайты, где была авторизация через Facebook или кнопка like, безостановочно DDoS-или свои DNS запросами к несуществующему Facebook. Трафик некоторых мобильных приложений вырос в 30-50 раз. Впечатляет?

Тоже булшит. UDP по которому работает DNS в обычном режиме сильно дешевле TCP. Ядро не тратит ресурсы на поддержание стейта, а просто шлет ответ, ну либо клиент ждет таймаута. Проблемы могут начать если только DNS'ы криво настроены.

 За прошедшие годы человечество построило интернет таким, какой он есть сейчас — централизованным, уязвимым и потому неустойчивым. Последние выключения Cloudflare, Amazon, Facebook и других крупных интернетообразующих сервисов показали, насколько хрупкая конструкция этот наш интернет. И кажется это то, что срочно пора исправить.

Это вообще смешно. Диванные исправители вообще не имеют представления о том, что они хотят исправлять и сколько это будет стоить, если получится исправить то, что они решат исправлять. На самом деле BGP отличное решение. Ломается редко. Я ни разу не слышал, чтобы ломалось из-за самого BGP, а не из-за кривой настройки. 

18

У дежурных есть VPN в том или ином виде. Как только срабатывают алерты человек не бежит в офис за компухтер, чтобы сеточку починить.

Я почти уверен, что VPN там был куда-то в духе vpn.facebook.com а DNS лёг. И начался тот цирк, который мы наблюдаем.

Проблемы могут возникнуть при доступе к управляющей сети маршрутизаторов и при откате конфигурации.

Так если читать оригинал наблюдений от Cloudflare - там как раз и возникли проблемы с BGP и маршрутизацией.

0

 Я почти уверен, что VPN там был куда-то в духе vpn.facebook.com а DNS лёг. И начался тот цирк, который мы наблюдаем.

VPN ортогонален DNS. Первое без второго прекрасно работает, возможны проблемы если в конфиге написано vpn.facebook.com, но это легко решается кэшами. Я просто был в такой ситуации, просто открыл логи VPN и из них достал предыдущий разрезолвленный адрес. В этой ситуации не помогло бы, т.к. там сами AS не знали что делать с трафиком.

 Так если читать оригинал наблюдений от Cloudflare - там как раз и возникли проблемы с BGP и маршрутизацией.

Не, сломалась сеть которая направляет как бы основной трафик. Но у сетевого оборудования обычно есть еще одна изолированная сеть, которая нужна как раз для конфигурирования оборудования. Вообще критические узлы часто резервируют out-of-band.

1

VPN ортогонален DNS.

Работает, иногда - зависит от того как настроено. Если vpn на базе чего-нибудь TLS-ного - может и не работать нормально. + требует минимальной квалификации тех кто работает на поддержке.
А так - если догадались посмотреть логи (и логи вообще были). А если нет - ну тогда "ой".
В этой ситуации не помогло бы, т.к. там сами AS не знали что делать с трафиком.

Ну так зачем тогда пишете про VPN. Если уж не помогло бы - то в любом случае физически ехать в офис.

сломалась сеть которая направляет как бы основной трафик.

Cloudflare писали что сломалась как раз сеть до DNS-серверов. Остальное было живо.

А при не работающем VPN или доступе снаружи - что out-of-band, что in-band -  так что результат ровно один (потому что управляющие сети наружу не открывают):

"Удалённое изменение сетевой конфигурации - к долгой дороге"

1

Работает, иногда - зависит от того как настроено. Если vpn на базе чего-нибудь TLS-ного - может и не работать нормально. + требует минимальной квалификации тех кто работает на поддержке.

А так - если догадались посмотреть логи (и логи вообще были). А если нет - ну тогда "ой".

Не, TLS тут дело десятое. Главное чтобы пакеты шли в сторону правильной AS. Нужно было просто убрать резолв. Это можно обойти простым редактированием /etc/hosts. DNS это самая меньшая проблема.

 Ну так зачем тогда пишете про VPN. Если уж не помогло бы - то в любом случае физически ехать в офис.

В офисе все тоже самое будет. Что VPN, что обычная сеть. Там проблема была в том, что коммутаторы/роутеры перестали говорить куда отправлять трафик. Даже если человек приедет в офис пакеты просто не дойдут до ДЦ. И даже если дойдут до ДЦ, то они обратно не вернутся. VPN или другой способ аутентификации нужен в данном случае для того, чтобы добраться до управляющей(внутренней) сети коммутаторов. Он есть у NOC'ов в том или ином виде. Это как бы независимая сеть, чтобы чуваки пришли и все починили.

 Cloudflare писали что сломалась как раз сеть до DNS-серверов. Остальное было живо.

Не, не было. 

```AS | IP | BGP Prefix | CC | Registry | Allocated | AS Name
32934 | 129.134.30.12 | 129.134.30.0/24 | US | arin | 2015-05-13 | FACEBOOK, US
32934 | 157.240.205.35 | 157.240.205.0/24 | US | arin | 2015-05-14 | FACEBOOK, US```

У них все в одной AS. Поэтому вместе с DNS в черную дыру и покатился остальной трафик. 

 А при не работающем VPN или доступе снаружи - что out-of-band, что in-band - так что результат ровно один (потому что управляющие сети наружу не открывают):

Конечно открывают. Просто это работает через кучу разных хостов с аутентификацией по железным ключам. 

3

Почти как в передаче, пересказать не изменяя.
Про проблемы доступа и правда писал сам FB (при том слово "офис" добавили позже). Также FB писал что пришлось откатывать конфиг через консоль. То есть нужные роутеры не были досягаемы для vpn ниоткуда.
Теперь сопоставим слова "консоль" и "затруднен физический доступ". Дежурные ДЦ конечно пустили в здание нужных админов, но вот чтобы к стойкам попасть возможно без болгарки не обошлось.
Насчет DDOS, вы не слышали про самый популярный усилитель DDOS - DNS? В данном случае усилитель и отработал, CF показывал графики, другие тоже показывали, нагрузка на DNS прыгнула на порядок у всех и вся эта красота долбилась в никуда.
На самом деле FB еще довольно быстро поднялись как для такой ситуации. Ведь можно было еще прилечь отправив анонсы и получив ddos :)

0

 Также FB писал что пришлось откатывать конфиг через консоль. То есть нужные роутеры не были досягаемы для vpn ниоткуда.

Да, у них лег out-of-band следом за бэкбоном.

 Теперь сопоставим слова "консоль" и "затруднен физический доступ". Дежурные ДЦ конечно пустили в здание нужных админов, но вот чтобы к стойкам попасть возможно без болгарки не обошлось.

Скорее всего обошлось, там еще защита от модификации конфигурации со стороны физического доступа. Возможно из-за лежащего бэкбона была проблема.

 Насчет DDOS, вы не слышали про самый популярный усилитель DDOS - DNS?

Нет, не слышал. Я наблюдал как сервисы внутри клали свои же DNS, что приводило к тому, что мастер переставал отвечать, ну и дальше по TTL чужие DNS(1.1.1.1, 8.8.8.8) переставали анонсить адреса. Напрямую в NS сервера Facebook обычные смертные не ходят, в этом плане нагрузка сильно на их инфраструктуру не возрастала. На публичные DNS возрастала.

 На самом деле FB еще довольно быстро поднялись как для такой ситуации. Ведь можно было еще прилечь отправив анонсы и получив ddos :)

В крупных компаниях в целом отработаны варианты восстановления в таких ситуациях. FB в postmortem об этом и пишут. Обычно компании проводят тесты отключая, например, половину сервисов в ДЦ по сети. Это хороший тест еще и человеческих ошибок. Наблюдал несколько раз как при плановых проверках человек случайно вырубал еще какой-нибудь другой сервис. 

0
Параллельный жар

Не понял почти ничего, но за подробность плюс. 

0

В статье не помешала бы ссылка на оригинал разбора с более подробной информацией.
https://blog.cloudflare.com/october-2021-facebook-outage/

12

Спасибо 🙏 добавила

6

Чуть перед вашей статьёй ещё перевод был той статьи, можно тоже добавить (:

9

критичность инфраструктуры фейсбука - детский утренник по сравнению с той же инфраструктурой банка, когда за факап могут вздернуть исками.
А тут только хомячье, серьезных дядек, которые могут нагнуть законом - нет.

14

Чо за "закон"?

1

ахахаха, там специально обученные граждане, с семизначной ЗП,  найдут юридическое дилдо, которое до глотки достанет :)

1

Объяснение: что случилось с Facebook,

сломалось
почему долго чинили

не все так просто
и может ли это повториться

да

14

Что будет с этим сисадмином интересно?
Уволят ли его за то что лишил своего начальника 6 млрд?

4

глупо увольнять сотрудника, в обучение которого вложил 6 млрд.

29

Согласен, лучше его мотивировать остаться в компании 😁

1

Для вас деньги это циферка в личном кабинете банка. А "оценочная стоимость компании" о которой идёт речь когда говорят о "потерях" стоимости, это не такие же деньги. Она на то и "оценочная", что в деньги можно превратить только продав акции, а их никто не продает, потому что они все время растут в цене. 

Понимаете, люди так договариваются, посредствам механизма биржи, что условно "акция" стоит 1 доллар. Но этого доллара нигде нет. 
Сервера есть, кешфлоу от рекламы есть, инвесторские деньги есть, затраты тоже настоящие. А вот "оценочная стоимость" в миллиардах это нарисованная "примерная" стоимость активов. Грубо говоря, это современный "идндекс надежности" (или индекс полезности). 

Поэтому когда выдуманная, условная, стоимость падает, по сути падает уровень доверия. Что легко понять, если сервис не доступен 5 часов, это не надежно, ну давайте считать что акция стоит на 5% меньше. 

Есть другие факторы, но если понять этот простой механизм, будет меньше пересуд на тему "лишил 6 млрд", с карточки у Цукерберга ничего не сняли ))  

4

Лучше бы вам на эту тему ничего не писать.

–5

"Цена акции компании - это денежная ОЦЕНКА акции на рынке. Различают три вида цены: номинальную, балансовую (бухгалтерскую) и рыночную." Я пересказал простыми словами с акцентом на рыночную оценку, её не боги делают, и она не является денежной массой. 

"Определение рыночной цены (стоимости) акций
Все формулы расчёта рыночной стоимости говорят об ОЖИДАНИИ инвесторов. Но никак не могут гарантировать, что эти ожидания будут выполнены. В итоге, главным критерием рыночной стоимости является рынок (например, продажи за 6 мес)"

Если у вас есть уточнения, можно же поделиться. А если нет, смысл самоутверждаться неподтвержденной критикой?

–1

Вы написали что оценочная стоимость это "не такие уж деньги"
Это как раз самые что ни на есть настоящие деньги. Потому что именно так например эти акции считаются в балансе банка как активы. Или если вы захотите под залог этих акций получить что бы то ни было. Своим комментариям вы как раз и высказали полное непонимание такой вещи.
Несомненно, цена на акции вещь вариабельная, Но от этого она не становится "не такими уж деньгами"
Кстати, современные деньги это точно такая же виртуальная штука по-вашему?
Их цена точно также зависит от настроения инвесторов?

–1

Я не учебник по экономике пишу, а комментирую фразу в начале треда: "... лишил своего начальника 6 млрд". 

Вы же комментируете другую гипотетическую ситуацию из своей головы: "...если вы захотите под залог этих акций получить..." Ваш пример был бы релевантен если бы тред начинался с фразы "...снизил ликвидность биржевых активов собственника на 5%", да, снизил. Но даже в этом случае, если посмотреть цену акций не за неделю, а за год, видно что не так уж она и снизилась. А после того как про сервисы Цукерберга написали опять все СМИ мира,  в перспективе может событие и не снизило, а повлияло на рост. 

А минусуют вас за фразу "не стоит писать". Чего ж не стоит, если хочется. 

0

Там инфа ходит, что сломалось всё из-за бота, который криво смёрджил конфиги.

1

Ну в корне посмотреть: бота кто-то создал и обслуживал, крайнего найти всегда можно. Но нужно думать над исправлением проблемы, а не крайних искать.

6

Я вот думаю как себя Сахарок чувствует? Наверное волосы на одном месте повыпадали.

2

Нет там сисадмина, есть кнопки деплоя + дистрибутив который собрали и пропустили баг.  Так тоже бывает😂

1

Это хорошо на самом деле. Многие люди вспомнили, что оказывается звонить можно не через вотсап, а просто напрямую, через сотового оператора. Ещё пара таких сбоев, и должны вспомнить, что и сообщения тоже можно отправить напрямую, не через вотсап, а то сегодня оказалось, что "вчера написать не могли, не работало ничего" XD
Пишут, кстати, что на Вайлдберрис продажи теликов вчера выросли на 40%. Жаль, нет статистики, на сколько выросли продажи алко вчера вечером. Короче, не пропадём, есичо.

8
Параллельный жар

Вот тоже интересно: люди пошли искать спасения в других соцсетях.
От чего спасаться-то?
Не от себя ли? (хитрый такой прищур)

11

Рефлекс листать соцсети

2

думаю, что еще кое-какой результат должен быть месяцев через 9 ))

8

кое-какой позитивный результат)))

1

Голубь с привязанным к его ноге обосранным этим же голубем письмом - тоже ведь своего рода коммуникация!

1

И даже на такой способ коммуникации есть Интернет-стандарт:

8

С теликами совпадение, реальный рост продаж был бы, если бы Ютуб исдох.

0
Параллельный жар

Сегодня утром такие: и что это на меня нашло. И забирать никто их не пойдёт.

0

Ну вы сравнили - звонить напрямую стоит денег поминутно, а если в другую страну, то гораздо больших, а по интернету звонить можно за цену этого интернета, еще и по видеосвязи общаться))

0

Вы правы, письма можно относить лично или голубем, ездить на лошади, пользоваться лучиной и мыться в печи😎

0

Комментарий удален по просьбе пользователя

0

В заграницу дорого смски слать. И с картинками сложно. Да и не так срочно было. Скайп немного работал тоже. У меня на компе кстати вообще ничего не работало. И Скайп к вечеру вылетел и ни один сайт не открывался...

0

«люди, не найдя привычных Instagram и WhatsApp, пошли искать спасения в Twitter и Telegram.» прямо каламбурное предложение. Какое спасение ? Сети не работали 6 часов (да?). Думаю адекватные люди просто не пользовались соц сетями это время и никак не пострадали. 

Может это говорит о том, что у людей цифровая зависимость и тут же началась ломка после падения сетей ?

11

у людей цифровая зависимость и тут же началась ломка после падения сетей

2

те кто решает рабочие вопросы в воцапе, да пострадали. и пошли в телеграм

1

Я вобще не заметил ничего.
Понимаю, у кого продвижение бизнеса в этих сетях. Но остальные то чё? Вот ржу над вами, глупенькими. Кто-нибудь уже задавал вопрос: "А вам не пох?!" ?
Буду мервым тогда...

1
Параллельный жар

Главный вопрос не том, что произошло, это итак примерно понятно. А в том, почему многомиллиардная корпорация позволяет себе такие факапы, почему ее инфраструктура такая дырявая и уязвимая. Если сейчас выяснится что под шумок утекли данные 1,5млрд пользователей, надеюсь, что власти США прикроют эту шарашку.  

5
Параллельный жар

Вполне реально, к сожалению(

1

И на старуху бывает проруха..  А вот у вас ничего никогда не ломается, не рвется, не бьется по жизни?)   Так вот у всех такие же проблемы, только  у кого-то покрупнее, просто надо относиться к этому спокойно. Восстановились быстро, молодцы, вот еслиб до сих пор ничего не работало, тогда наверное можно было сердиться.  Про утекшие данные - надо давно всем понять, все их данные утекли уже десятки-сотни раз и кому надо, всегда ими воспользуется, опять же, зачем тратить нервы по этому поводу, надо принять как данность ^_^

0

В США, как и любом правовом государстве, государство никого не "прикрывает" за сложности в работе. Это в РОссийской ментальности нужно всех кто что-то делает, работает, ошибается, учиться, делает для людей сервисы — "прикрывать". 

США потому и стала страной где сделан софт (смартфона, операционки, браузера, бека) благодаря которому вы это сейчас читаете, что функция государства там не прекращать движ, а его поощрять. 

0

Будет ли такое повторяться. Будет. Потому что современный интернет всё ещё базируется на принципах, которые были выработаны 30, а иногда и больше лет назад. Никто тогда не думал о глобальной мировой сети. За прошедшие годы человечество построило интернет таким, какой он есть сейчас — централизованным, уязвимым и потому неустойчивым. Последние выключения Cloudflare, Amazon, Facebook и других крупных интернетообразующих сервисов показали, насколько хрупкая конструкция этот наш интернет. И кажется это то, что срочно пора исправить.

В принципах, которые были выработаны 30+ лет назад, централизации нет. Цукерберг и прочие создали излишне централизованные сервисы не благодаря этим принципам, а вопреки.

3

О, после того, как вирусология стала не интересна, затем поутихли инвестиции с 200% годовых, все вирусологи и инвесторы решить стать сетевиками. Каждый второй пост в интеренете стал рассказывать нам о том, как работают DNS :-)

2

Это всемирный заговор, Сато кун

0
Параллельный жар

Рухнул он в 18:45-18:55 по мск. 😂 как то начало статьи уже не задалось )

2

Еще одна дичь, расчитаная непонятно на какую аудиторию

2

Эскорт бизнес получил млрд убытки

2

Странные какие-то версии рассматриваются. А самой простой почему-то и нет: никакого сбоя не было, а ФБ и пр специально выключили, чтобы кто-то не смог определенный контент скачать или передать уж 100% никак. Потом, когда уже сами потерли то что надо, взяли и включили назад. 

1

Зато вчера многие пообщались с домашними, с семьей в живую а не онлайн. А некоторые легли спать пораньше и выспались :-) 

1

Я вчера наоборот уснуть не мог.

Но про Фейсбук только утром из новостей узнал )) 

1

6 чувство спать не давало, ведь такое важное событие в мире произошло, такой убыток понес Фейсбук. И столько пользователей нервничали :-)

0

"Вдобавок ко всему, большую часть проблем можно было решить только при физическом доступе к серверам, который существенно осложнён привычной расслабленностью удалённой работы."

Серьезно? Я почему то думал что было невозможно попасть в дата центры, потому что система управления физического доступа и прав завязана на те самые бейджи, и хостится в том же самом облаке, которое и было связанно с внешним миром через одну из пострадавших подсетей. И именно поэтому было необходимо взломать эти двери физически, что и заняло несколько часов. А тут оказывается это из за расслабленной удаленки. 

1

Точнее в серверные датацентров. В здании люди обычно есть чтобы дверь открыть.

1

Кто-то потеряет работу...

<