“В какой-то момент хотелось скрыться в другой стране”: история одного факапа

Привет! Меня зовут Андрей Костылев. В IT работаю больше 10 лет, как раз в те времена, когда бизнес держался на техподдержке сайтов, случился факап, который полностью определил мой подход к работе на долгие годы вперед и помог собрать команду мечты.

Сейчас вместе с командой мы разрабатываем облачную ERP-систему, которая помогает сделать производство совершенным через автоматизацию процессов.

Дело было вечером.

Шел 2018 год. Я с командой уже несколько лет занимался разработкой сайтов — в том числе, услугами хостинга. Крупных клиентов — интернет-магазинов, производств и других бизнесов с поддержкой онлайн-заказов — было десятка два. Кроме них, были также клиенты поменьше, чьи лендинги тоже лежали на нашем хостинге.

В тот день в почте от дата-центра я заметил письмо. В нем было сказано, что один из жестких дисков поврежден, поэтому в ближайшие пару часов специалисты планируют замену диска и перезапуск сервера. Здесь нужно сразу сказать для не специалистов, что диски работают в паре, то есть зеркалят информацию друг друга. Так, и в случае внезапной поломки одного из дисков данные сохраняются.

«Обычное дело», — подумал я, и продолжил заниматься своими делами.

Первый тревожный звонок раздался вечером.

«Андрей, добрый вечер!»

«Добрый»

«Что-то у нас не загружается сайт…»

Это звонили владельцы одного крупного интернет-магазина. Разговаривали спокойно, так как никогда за нашей командой косяков замечено не было.

«Конечно, сейчас посмотрю».

И только я положил трубку — новый вызов.

«Андрей, добрый вечер. Что-то наш сайт перестал открываться…»

Не могу сказать, разволновался ли я после второго звонка, но после десятого точно стало ясно: дело — дрянь.

Момент, когда хотелось бежать и менять внешность.

Когда клиенты стали звонить один за другим с одинаковым запросом — ничего не работает— я был в дороге. Удивительно, но мне удавалось сохранять спокойствие в голосе:

«Мы уже знаем об этой проблеме и решаем ее. Спасибо за понимание…»

Ответив на десятки вызовов, я открыл ноутбук и стал разбираться.

Причина бездействия ресурсов была одна — сервер на отвечал, это означало, что проблема находится на стороне дата-центра. Я полез в почту, чтобы внимательнее прочитать письмо, которому утром не придал особого значения.

«Мы планируем перезагрузить диск…»

Перечитав эту строчку несколько раз и сопоставив А и Б, пришёл в ужас: значит, после перезапуска диск, который заменили, не синхронизировался со старым, а значит данные могли безвозвратно пропасть, поэтому сайты и не открываются.

Я начал вызванивать своего системного администратора. Он тоже пришел в легкий шок.

Повезло: в тот же день бэкапы проектов крупных заказчиков мы нашли и все восстановили, но остались и другие заказчики, которых тоже нельзя было бросать с проблемой. Спустя два дня интенсивной работы, сисадмин сказал:

«Ничего больше не сделаешь».Это означало, что часть клиентов — а это десятки бизнесов — могут остаться без сайта.

“Ну, может, ты еще раз посмотришь?” — писал я админу. Тогда попробов абсолютно все сценарии общения, которым учат на тренингах для руководителей: от предложения бонусов до уговоров и давления на жалость — получал один и тот же ответ: “Ничего больше сделать нельзя”. Не знаю, почему, но несмотря на его слова, я не сдался, и написал еще нескольким знакомым: попросил их посмотреть. К сожалению, план не сработал.

Сложно описать эмоции, но в какой-то момент, получая в сообщениях ответы-вариации на тему “Ничего не вышло”, мне хотелось сбежать в лес, в другую страну, отключить телефон, сменить внешность, раствориться… Но надо было обзванивать оставшихся клиентов, и объяснять ситуацию…

Я говорил, что мы можем все починить, но потребуется несколько недель. Счастье, что 100% из них адекватно восприняли произошедшее.

Для меня же слова “все починить” означали, что работу нужно сделать заново с нуля.

Время шло.Однажды я общался с новым клиентом, и обсуждая дела, заказчик посоветовал взять в проект своего знакомого в качестве админа. Я подумал, почему бы не попросить его тоже взглянуть на тот сервер.

Примерно к 5 утра он написал: “Куда копировать данные?”Я был в шоке. У него получилось добраться до информации. В тот же день мы с ним подняли все оставшиеся сайты. Я отзвонился клиентам, что теперь все работает и будет работать стабильно.С тех пор этот человек в нашей команде.

Пять ключевых выводов.

Оглядываясь назад, понимаю, что это лучший урок, который только можно было получить в профессии и этом бизнесе. Вот какие выводы сделал. Сейчас это помогает быть уверенным на 100% в качестве услуг, которые мы даём клиенту.

Итак.

Сохранять спокойствие.

Очень важно не опускать руки и до последнего искать возможности, не впадая в панику. Выход из ситуации есть всегда. Но чтобы его найти, нужно посмотреть правде в глаза, то есть открыто признать положение вещей.

Оставаться честным в своих планах с людьми, которые зависят от тебя.

Было страшно рассказать клиентам, что случилось на самом деле. Очень страшно было сказать, что быстро восстановить сайты не выйдет. Чувствовалась большая ответственность перед ними. Но когда детально рассказал, что произошло, они отнеслись с пониманием. Это помогло все силы направить на решение проблемы, а не на нервы и тревогу.

Все, что можно копировать, нужно копировать. Причём, несколько раз.

Сегодня мы работаем с надежным дата-центром в Санкт-Петербурге. Все данные клиентов X24:ERP в онлайне сразу же записываются в несколько источников, чтобы в случае отключения одного из дисков ни одна цифра не потерялась.

Когда профессионал в вашей команде говорит, что ситуация безвыходная, нужно идти к другому профессионалу.

Очевидно, что каждый человек высказывает свою точку зрения, опираясь на собственный опыт, однако в кризисные моменты здравый смысл часто перекрывают эмоции. Умение совладать со страхом и нежеланием разбираться с нуля, умение искать креативное решение — тоже часть профессионализма, которая нужна для реализации теоретических знаний.

Почти всегда можно попробовать что-то еще.

Я уже писал в одной из статей на vc.ru, что один из ключевых подходов, которые использую в работе — неразрешимых задач нет. Мой опыт говорит о том, что когда не опускаешь руки, то возможности приходят. Часто через встречу с нужными людьми. Чудо? Повезло? Как говорят, везет тому, кто везет.

Если есть вопросы и предложения, пишите в комменты или в Телеграм: @andreykostylev .