{"id":8525,"title":"\u0410\u043a\u0446\u0438\u044f \u043e\u0442 \u0431\u0430\u043d\u043a\u0430 \u0441 \u043e\u043e\u043e\u0447\u0435\u043d\u044c \u0434\u043b\u0438\u043d\u043d\u043e\u0439 \u0440\u0430\u0441\u0441\u0440\u043e\u0447\u043a\u043e\u0439","url":"\/redirect?component=advertising&id=8525&url=https:\/\/vc.ru\/promo\/314626-korotko-vyigrat-100-tysyach-rubley-na-pokupki-k-novomu-godu&placeBit=1&hash=452c4539de3180a40833ab562f6d46ac6a723a1c475a25d3a1dc82d21cace4b8","isPaidAndBannersEnabled":false}
DataLine

Байки из жизни наших дата-центров

Михаил Соловьёв, Директор по развитию продуктов

У нас работал инженер (назовем его Иван), который был большим перфекционистом. Лучше всего ему удавалось ровно и красиво прокладывать провода в стойках. Как-то Ивану выпала задача заменить патчкорд на тестовом стенде внутренней виртуализации.

И вот как-то раз прямо перед обедом мы увидели красный Nagios (наш мониторинг): облако потеряло часть хранилища по одному пути. Данные шли по другим путям и клиенты не пострадали, но тем не менее это была аварийная ситуация. Мы бросились ее исправлять, но не успели: через 5 минут пути сами восстановились. Расследование показало, что в аварии участвовали три СХД одного и того же вендора, но разных моделей и находящихся в разных залах. Мы долго думали и не смогли найти какой-либо связи, кроме как с активностью на Марсе. Не видели мы связи и в том, что падение продуктива произошло в тот момент, когда Иван пошел менять патчкорд на тесте. В конце концов между тестом и продуктивом несколько коммутаторов.

Всю неделю после этого инцидента работали спокойно. Затем снова за 15 минут до обеда у нас отрываются те же три СХД. Один из инженеров начинает вопить, что все пропало, другой включает голову и пытается понять, что происходит. А потом смотрит на пустое место инженера-перфекциониста и как закричит: «А где Иван?!»

Иван в это самое время снова меняет патчкорд. Говорим ему срочно откатить то, что он делал и идти к нам вместе с этим патчкордом. Возвращается Иван, а у него в руках короткий шнур желтого цвета. Мы спрашиваем, где он взял Single-mode и почему он ушел с синим, а пришел с желтым. Он в ответ: «Вы мне дали трехметровый провод, а там всего-то полметра. Я пошел на оперативный склад, взял оптику покороче. Чего вы ругаетесь…»

В общем, инженер вставил вместо провода Multi-mode — Single-mode. Тут стало понятно, что нужно провести курсы по оптике: научить отличать по цветам и назначению. В тот раз так никто до конца и не понял, что если в SAN-свитч подключить сервер сингл-модом вместо мульти-мода, то это приведет к отказу трех СХД одного вендора на другом свитче...

Кирилл Шадский, Начальник отдела управления внешними ЦОД

NORD-2 некогда порвал топы необычных ЦОДов Москвы. Он строился треугольной формы из-за особенностей площадки и расположения коммуникаций, за что и получил свое второе имя «Треугольник».В 2012 году, когда я проходил обучение, между мной и коллегой состоялся такой диалог:

— А вы слышали, какие-то болваны треугольный ЦОД затеяли!

— Господа, это не болваны, это ДатаЛайн. Рад познакомиться. Неловкая пауза*

На самом деле жизнь показала, что наша «треугольность» позволила максимально полезно использовать имеющуюся площадь.

Алексей Багаев, Операционный директор

Когда я был еще дежурным инженером, в OST’е работал один зал. Дежурка была прямо напротив этого зала, за стеклом, и его было хорошо видно. Вечереет, я работаю и вдруг вижу краснеющий мониторинг. В зал залетает весь сетевой отдел (тогда всего три инженера), ребята открывают две стойки и начинают без разбору вырывать провода клиентов.

Я в шоке смотрю на этот хоррор и не понимаю, как реагировать. В инструкции такие случаи описаны не были :)

Оказалось, клиентов отключали из-за broadcast-шторма. Он возникает из-за неправильного подключения, и конкретно в тот раз один из клиентов закольцевал свою топологию на уровне бродкастового домена. Трафик начал гоняться по кольцу, и получился такой «снежный ком». CPU под 100%, оборудование тупит и сеть полностью выходит из строя. И чтобы прекратить все это безобразие, пришлось всех отключить.

Во времена, когда ЦОДа на Коровинском еще не существовало, а в OST’е было только пару залов, мы уже любили устраивать праздники для своих клиентов.

Как-то мы готовились к празднованию Нового года, а какой Новый год без шампанского. Кто-то решил воспользоваться служебным положением и положил остужаться игристое под фальшпол в машинном зале. Про часть бутылок забыли и нашли клад только через пару месяцев. Вот радости у кого-то было...

0
0 комментариев
Популярные
По порядку
Читать все 0 комментариев
Из науки в IT: как создать свой стартап и стать преподавателем

Как перейти в IT из другой сферы? Как разработать курс, которому нет аналогов? Как студенту получить максимум пользы от занятий? Рассказывает преподаватель OTUS Сергей Окатов, руководитель курсов «Kotlin Backend Developer» и «Kotlin Developer. Basic».

Бот, который сделает маму счастливее

Kind Bot напечатает и отправит по почте фото вашей маме. В 2 клика.

Как я заработал свой первый миллион просмотров на лонгридах

Мой опыт ведения текстового блога на «Виси», «Пикабу», «Хабре», Дзене и еще пачке площадок. Сколько потратил на них сил и какую отдачу в итоге получил.

Завод по производству идей. Как работают акселераторы, зачем они нужны стартапам и куда идти с идеей прямо сейчас

По данным Startup Genome, 9 из 10 стартапов терпят неудачу. Возможных причин «смерти» много: недостаточно протестированная гипотеза, неподтвержденная юнит-экономика, неверная стратегия или просто неудача в подходе к продажам.

Как у меня украли 600 тысяч с карты, а Тинькофф нарушает федеральный закон

Спойлер: я НЕ вводил никуда код, НЕ переходил по ссылкам и НЕ сообщал данные карты.

Я всегда считал себя финансово грамотным человеком, сам когда-то работал в банке, соблюдал цифровую гигиену, держал деньги на нескольких счетах, не привязывал основную карту в непонятных сервисах, в 90% оплат пользовался Google Pay. Когда родственники присылали…

Потратили $1 млн на клинику для профилактики здоровья зубов в Москве — и через десять месяцев закрыли проект

История о неудачном запуске монопродукта в стоматологии — его пришлось переформатировать.

Та самая клиника
Наследник Рокфеллера, сын Софи Лорен, боксёр и продюсер: история француза, обманувшего Рурка, Ван Дамма и других звёзд Статьи редакции

СМИ прозвали Кристофера Роканкура звёздным мошенником: его жертвами были голливудские знаменитости и американские предприниматели. Точная сумма ущерба от действий француза неизвестна, но сам он утверждает, что за свою жизнь «заработал» $40 млн.

Кристофер Роканкур и Наоми Кэмпбелл francetvinfo
Возник по просьбе бразильских банкиров и стал любимым напитком солдат во время Второй мировой: история Nescafe Статьи редакции

В 2021 году Nescafe — крупнейшее подразделение Nestle и бренд, который оценивается больше чем в $20 млрд. По собственным данным компании, в мире каждую секунду выпивают более 5000 чашек напитка.

Дегустация Nescafe National Museum
Что Tele2 предлагает клиентам в «черную пятницу»

На главной распродаже года клиентов компании ждут сразу несколько интересных предложений: скидки на смартфоны, пакеты SMS и безлимитный трафик на YouTube, Яндекс.Карты, Яндекс.Навигатор.

Бизнес — как ребенок: как мамы совмещают свое дело с заботой о детях

Как совмещать бизнес и семью? Ко Дню матери своими историями поделились бизнесвумен, которые работают c ЮKassa и занимаются детьми. Читайте, как им удается сохранять жизненный баланс и добиваться успеха.

Как мы с двумя кошками из Москвы в Прагу летели

Данная статья будет полезна тем, кто собирается лететь из России в Чехию со своими пушистым в салоне самолета. Почему пишу именно такой маршрут? Потому что условия для всех стран очень разные.

null