реклама
разместить

“В какой-то момент хотелось скрыться в другой стране”: история одного факапа

Привет! Меня зовут Андрей Костылев. В IT работаю больше 10 лет, как раз в те времена, когда бизнес держался на техподдержке сайтов, случился факап, который полностью определил мой подход к работе на долгие годы вперед и помог собрать команду мечты.

Сейчас вместе с командой мы разрабатываем облачную ERP-систему, которая помогает сделать производство совершенным через автоматизацию процессов.

Дело было вечером.

Шел 2018 год. Я с командой уже несколько лет занимался разработкой сайтов — в том числе, услугами хостинга. Крупных клиентов — интернет-магазинов, производств и других бизнесов с поддержкой онлайн-заказов — было десятка два. Кроме них, были также клиенты поменьше, чьи лендинги тоже лежали на нашем хостинге.

“В какой-то момент хотелось скрыться в другой стране”: история одного факапа

В тот день в почте от дата-центра я заметил письмо. В нем было сказано, что один из жестких дисков поврежден, поэтому в ближайшие пару часов специалисты планируют замену диска и перезапуск сервера. Здесь нужно сразу сказать для не специалистов, что диски работают в паре, то есть зеркалят информацию друг друга. Так, и в случае внезапной поломки одного из дисков данные сохраняются.

«Обычное дело», — подумал я, и продолжил заниматься своими делами.

Первый тревожный звонок раздался вечером.

«Андрей, добрый вечер!»

«Добрый»

«Что-то у нас не загружается сайт…»

Это звонили владельцы одного крупного интернет-магазина. Разговаривали спокойно, так как никогда за нашей командой косяков замечено не было.

«Конечно, сейчас посмотрю».

И только я положил трубку — новый вызов.

«Андрей, добрый вечер. Что-то наш сайт перестал открываться…»

Не могу сказать, разволновался ли я после второго звонка, но после десятого точно стало ясно: дело — дрянь.

Момент, когда хотелось бежать и менять внешность.

Когда клиенты стали звонить один за другим с одинаковым запросом — ничего не работает— я был в дороге. Удивительно, но мне удавалось сохранять спокойствие в голосе:

«Мы уже знаем об этой проблеме и решаем ее. Спасибо за понимание…»

Ответив на десятки вызовов, я открыл ноутбук и стал разбираться.

Причина бездействия ресурсов была одна — сервер на отвечал, это означало, что проблема находится на стороне дата-центра. Я полез в почту, чтобы внимательнее прочитать письмо, которому утром не придал особого значения.

«Мы планируем перезагрузить диск…»

Перечитав эту строчку несколько раз и сопоставив А и Б, пришёл в ужас: значит, после перезапуска диск, который заменили, не синхронизировался со старым, а значит данные могли безвозвратно пропасть, поэтому сайты и не открываются.

Я начал вызванивать своего системного администратора. Он тоже пришел в легкий шок.

“В какой-то момент хотелось скрыться в другой стране”: история одного факапа

Повезло: в тот же день бэкапы проектов крупных заказчиков мы нашли и все восстановили, но остались и другие заказчики, которых тоже нельзя было бросать с проблемой. Спустя два дня интенсивной работы, сисадмин сказал:

«Ничего больше не сделаешь».Это означало, что часть клиентов — а это десятки бизнесов — могут остаться без сайта.

“Ну, может, ты еще раз посмотришь?” — писал я админу. Тогда попробов абсолютно все сценарии общения, которым учат на тренингах для руководителей: от предложения бонусов до уговоров и давления на жалость — получал один и тот же ответ: “Ничего больше сделать нельзя”. Не знаю, почему, но несмотря на его слова, я не сдался, и написал еще нескольким знакомым: попросил их посмотреть. К сожалению, план не сработал.

Сложно описать эмоции, но в какой-то момент, получая в сообщениях ответы-вариации на тему “Ничего не вышло”, мне хотелось сбежать в лес, в другую страну, отключить телефон, сменить внешность, раствориться… Но надо было обзванивать оставшихся клиентов, и объяснять ситуацию…

Я говорил, что мы можем все починить, но потребуется несколько недель. Счастье, что 100% из них адекватно восприняли произошедшее.

Для меня же слова “все починить” означали, что работу нужно сделать заново с нуля.

Время шло.Однажды я общался с новым клиентом, и обсуждая дела, заказчик посоветовал взять в проект своего знакомого в качестве админа. Я подумал, почему бы не попросить его тоже взглянуть на тот сервер.

Примерно к 5 утра он написал: “Куда копировать данные?”Я был в шоке. У него получилось добраться до информации. В тот же день мы с ним подняли все оставшиеся сайты. Я отзвонился клиентам, что теперь все работает и будет работать стабильно.С тех пор этот человек в нашей команде.

Пять ключевых выводов.

Оглядываясь назад, понимаю, что это лучший урок, который только можно было получить в профессии и этом бизнесе. Вот какие выводы сделал. Сейчас это помогает быть уверенным на 100% в качестве услуг, которые мы даём клиенту.

Итак.

Сохранять спокойствие.

Очень важно не опускать руки и до последнего искать возможности, не впадая в панику. Выход из ситуации есть всегда. Но чтобы его найти, нужно посмотреть правде в глаза, то есть открыто признать положение вещей.

Оставаться честным в своих планах с людьми, которые зависят от тебя.

Было страшно рассказать клиентам, что случилось на самом деле. Очень страшно было сказать, что быстро восстановить сайты не выйдет. Чувствовалась большая ответственность перед ними. Но когда детально рассказал, что произошло, они отнеслись с пониманием. Это помогло все силы направить на решение проблемы, а не на нервы и тревогу.

Все, что можно копировать, нужно копировать. Причём, несколько раз.

Сегодня мы работаем с надежным дата-центром в Санкт-Петербурге. Все данные клиентов X24:ERP в онлайне сразу же записываются в несколько источников, чтобы в случае отключения одного из дисков ни одна цифра не потерялась.

Когда профессионал в вашей команде говорит, что ситуация безвыходная, нужно идти к другому профессионалу.

Очевидно, что каждый человек высказывает свою точку зрения, опираясь на собственный опыт, однако в кризисные моменты здравый смысл часто перекрывают эмоции. Умение совладать со страхом и нежеланием разбираться с нуля, умение искать креативное решение — тоже часть профессионализма, которая нужна для реализации теоретических знаний.

Почти всегда можно попробовать что-то еще.

Я уже писал в одной из статей на vc.ru, что один из ключевых подходов, которые использую в работе — неразрешимых задач нет. Мой опыт говорит о том, что когда не опускаешь руки, то возможности приходят. Часто через встречу с нужными людьми. Чудо? Повезло? Как говорят, везет тому, кто везет.

Если есть вопросы и предложения, пишите в комменты или в Телеграм: @andreykostylev .

2222
реклама
разместить
33 комментария

Пулемет замолчал.
- Комиссар, патроны кончились!
- Но ты же коммунист! И вновь застрочил пулемет...

19

Денис, Вы прямо умеете самый сок выжать из статьи)))

1

Есть те кто не делает бекапы и те, кто теперь делает бекапы.

8

а также те, кто проверяет созданные бекапы..

4

Комментарий недоступен

7

Спасибо за эти слова. Прямо их бы сейчас в ту ситуацию, я думал, что поседею раньше времени.

Обожаю такие истории: когда человек даже в очень критичной ситуации не опустил руки, а продолжил бороться за результат, даже когда все вокруг говорили "Ничего больше сделать нельзя".

2
Раскрывать всегда
Рынок акций резко отскочил! Продолжится ли падение?

Падение акций, которое началось 3 января, на этой неделе резко усилилось 9 января с приходом на рынок крупных инвесторов, вследствие чего заметно возросли объемы торгов, и началась распродажа акций. В результате довольно быстро был пробит сильный уровень сопротивления 2800 пунктов по индексу ММВБ, что и привело к ускорению снижения цен. Однако паде…

График (H1) индекса ММВБ
99
22
11
реклама
разместить
Tesla в Twitter: Как Илон Маск превратил 280 символов в миллионы

Задумывались ли вы, почему все хотят электромобили Tesla, даже если они никогда их не купят? Дело не только в Илоне. Давайте разберемся, что за секретный SMM-соус у Tesla, и как его можно использовать в вашем бизнесе

Tesla в Twitter: Как Илон Маск превратил 280 символов в миллионы
2323
44
22
Банковская карта БЦК банка для россиян в 2025 году: как открыть удаленно и лично в банке
Банковская карта БЦК банка для россиян в 2025 году: как открыть удаленно и лично в банке
55
11
Наушники для чистки ушей, выгибающийся дисплей, «тостер»-зарядник и стул с охлаждением: любопытные анонсы на CES 2025

Выставка потребительской электроники, где компании показывают прототипы и линейки готовых продуктов, проходила с 7 по 11 января.

Фото The Verge
1515
1313
33
11
11
Почему вам нужно срочно создать Telegram-канал и рубить с него миллионы?

Как три года назад окупаемость каналов составляла 2 недели и почему сейчас нужно ждать минимум полгода, чтобы выйти на первые чистые деньги?

Наглядно: как ощущают себя админы, которые начали свой канал в 2022
33
33
11
Создаём мини-приложение в Телеграм для опроса клиентов. Пошаговая инструкция

С помощью данной инструкции вы сможете создать мини-приложение в Телеграм, которое поможет провести опрос клиентов, получить обратную связь и узнать мнение о вашем товаре/продукте/услуге. Навыки программирования не потребуются — только конструктор чат-ботов, таблица для сохранения результатов и пара часов свободного времени.

Создаём мини-приложение в Телеграм для опроса клиентов. Пошаговая инструкция
99
33
11
День 1054: число вакансий в сфере продаж в 2024 году увеличилось на 46%, средние зарплаты для новых сотрудников выросли до 66,7 тысячи рублей

Собираем новости, события и мнения о рынках, банках и реакциях компаний.

Фото «Ъ» 
44
11
11
💰 Лучшие места для размещения денег на короткий срок в январе
💰 Лучшие места для размещения денег на короткий срок в январе

Уже через месяц, а если быть более точным: 14 февраля, в День всех влюбленных, Эльвира Сахипзадовна может разбить кому-то сердце, ведь именно в этот день пройдет первое заседание Совета директоров Банка России по Ключевой Ставке в 2025 году.

1515
11
11
[]