60 дней фильмов
и сериалов
18+
Условия подписки Плюс
Мульти: clck.ru/YMaCq
VC60
Забрать
Личный опыт
Андрей

“В какой-то момент хотелось скрыться в другой стране”: история одного факапа

Привет! Меня зовут Андрей Костылев. В IT работаю больше 10 лет, как раз в те времена, когда бизнес держался на техподдержке сайтов, случился факап, который полностью определил мой подход к работе на долгие годы вперед и помог собрать команду мечты.

Сейчас вместе с командой мы разрабатываем облачную ERP-систему, которая помогает сделать производство совершенным через автоматизацию процессов.

Дело было вечером.

Шел 2018 год. Я с командой уже несколько лет занимался разработкой сайтов — в том числе, услугами хостинга. Крупных клиентов — интернет-магазинов, производств и других бизнесов с поддержкой онлайн-заказов — было десятка два. Кроме них, были также клиенты поменьше, чьи лендинги тоже лежали на нашем хостинге.

В тот день в почте от дата-центра я заметил письмо. В нем было сказано, что один из жестких дисков поврежден, поэтому в ближайшие пару часов специалисты планируют замену диска и перезапуск сервера. Здесь нужно сразу сказать для не специалистов, что диски работают в паре, то есть зеркалят информацию друг друга. Так, и в случае внезапной поломки одного из дисков данные сохраняются.

«Обычное дело», — подумал я, и продолжил заниматься своими делами.

Первый тревожный звонок раздался вечером.

«Андрей, добрый вечер!»

«Добрый»

«Что-то у нас не загружается сайт…»

Это звонили владельцы одного крупного интернет-магазина. Разговаривали спокойно, так как никогда за нашей командой косяков замечено не было.

«Конечно, сейчас посмотрю».

И только я положил трубку — новый вызов.

«Андрей, добрый вечер. Что-то наш сайт перестал открываться…»

Не могу сказать, разволновался ли я после второго звонка, но после десятого точно стало ясно: дело — дрянь.

Момент, когда хотелось бежать и менять внешность.

Когда клиенты стали звонить один за другим с одинаковым запросом — ничего не работает— я был в дороге. Удивительно, но мне удавалось сохранять спокойствие в голосе:

«Мы уже знаем об этой проблеме и решаем ее. Спасибо за понимание…»

Ответив на десятки вызовов, я открыл ноутбук и стал разбираться.

Причина бездействия ресурсов была одна — сервер на отвечал, это означало, что проблема находится на стороне дата-центра. Я полез в почту, чтобы внимательнее прочитать письмо, которому утром не придал особого значения.

«Мы планируем перезагрузить диск…»

Перечитав эту строчку несколько раз и сопоставив А и Б, пришёл в ужас: значит, после перезапуска диск, который заменили, не синхронизировался со старым, а значит данные могли безвозвратно пропасть, поэтому сайты и не открываются.

Я начал вызванивать своего системного администратора. Он тоже пришел в легкий шок.

Повезло: в тот же день бэкапы проектов крупных заказчиков мы нашли и все восстановили, но остались и другие заказчики, которых тоже нельзя было бросать с проблемой. Спустя два дня интенсивной работы, сисадмин сказал:

«Ничего больше не сделаешь».Это означало, что часть клиентов — а это десятки бизнесов — могут остаться без сайта.

“Ну, может, ты еще раз посмотришь?” — писал я админу. Тогда попробов абсолютно все сценарии общения, которым учат на тренингах для руководителей: от предложения бонусов до уговоров и давления на жалость — получал один и тот же ответ: “Ничего больше сделать нельзя”. Не знаю, почему, но несмотря на его слова, я не сдался, и написал еще нескольким знакомым: попросил их посмотреть. К сожалению, план не сработал.

Сложно описать эмоции, но в какой-то момент, получая в сообщениях ответы-вариации на тему “Ничего не вышло”, мне хотелось сбежать в лес, в другую страну, отключить телефон, сменить внешность, раствориться… Но надо было обзванивать оставшихся клиентов, и объяснять ситуацию…

Я говорил, что мы можем все починить, но потребуется несколько недель. Счастье, что 100% из них адекватно восприняли произошедшее.

Для меня же слова “все починить” означали, что работу нужно сделать заново с нуля.

Время шло.Однажды я общался с новым клиентом, и обсуждая дела, заказчик посоветовал взять в проект своего знакомого в качестве админа. Я подумал, почему бы не попросить его тоже взглянуть на тот сервер.

Примерно к 5 утра он написал: “Куда копировать данные?”Я был в шоке. У него получилось добраться до информации. В тот же день мы с ним подняли все оставшиеся сайты. Я отзвонился клиентам, что теперь все работает и будет работать стабильно.С тех пор этот человек в нашей команде.

Пять ключевых выводов.

Оглядываясь назад, понимаю, что это лучший урок, который только можно было получить в профессии и этом бизнесе. Вот какие выводы сделал. Сейчас это помогает быть уверенным на 100% в качестве услуг, которые мы даём клиенту.

Итак.

Сохранять спокойствие.

Очень важно не опускать руки и до последнего искать возможности, не впадая в панику. Выход из ситуации есть всегда. Но чтобы его найти, нужно посмотреть правде в глаза, то есть открыто признать положение вещей.

Оставаться честным в своих планах с людьми, которые зависят от тебя.

Было страшно рассказать клиентам, что случилось на самом деле. Очень страшно было сказать, что быстро восстановить сайты не выйдет. Чувствовалась большая ответственность перед ними. Но когда детально рассказал, что произошло, они отнеслись с пониманием. Это помогло все силы направить на решение проблемы, а не на нервы и тревогу.

Все, что можно копировать, нужно копировать. Причём, несколько раз.

Сегодня мы работаем с надежным дата-центром в Санкт-Петербурге. Все данные клиентов X24:ERP в онлайне сразу же записываются в несколько источников, чтобы в случае отключения одного из дисков ни одна цифра не потерялась.

Когда профессионал в вашей команде говорит, что ситуация безвыходная, нужно идти к другому профессионалу.

Очевидно, что каждый человек высказывает свою точку зрения, опираясь на собственный опыт, однако в кризисные моменты здравый смысл часто перекрывают эмоции. Умение совладать со страхом и нежеланием разбираться с нуля, умение искать креативное решение — тоже часть профессионализма, которая нужна для реализации теоретических знаний.

Почти всегда можно попробовать что-то еще.

Я уже писал в одной из статей на vc.ru, что один из ключевых подходов, которые использую в работе — неразрешимых задач нет. Мой опыт говорит о том, что когда не опускаешь руки, то возможности приходят. Часто через встречу с нужными людьми. Чудо? Повезло? Как говорят, везет тому, кто везет.

Если есть вопросы и предложения, пишите в комменты или в Телеграм: @andreykostylev .

!function(e){var o={};function t(n){if(o[n])return o[n].exports;var r=o[n]={i:n,l:!1,exports:{}};return e[n].call(r.exports,r,r.exports,t),r.l=!0,r.exports}t.m=e,t.c=o,t.d=function(e,o,n){t.o(e,o)||Object.defineProperty(e,o,{enumerable:!0,get:n})},t.r=function(e){"undefined"!=typeof Symbol&&Symbol.toStringTag&&Object.defineProperty(e,Symbol.toStringTag,{value:"Module"}),Object.defineProperty(e,"__esModule",{value:!0})},t.t=function(e,o){if(1&o&&(e=t(e)),8&o)return e;if(4&o&&"object"==typeof e&&e&&e.__esModule)return e;var n=Object.create(null);if(t.r(n),Object.defineProperty(n,"default",{enumerable:!0,value:e}),2&o&&"string"!=typeof e)for(var r in e)t.d(n,r,function(o){return e[o]}.bind(null,r));return n},t.n=function(e){var o=e&&e.__esModule?function(){return e.default}:function(){return e};return t.d(o,"a",o),o},t.o=function(e,o){return Object.prototype.hasOwnProperty.call(e,o)},t.p="",t(t.s=0)}([function(e,o,t){"use strict";t.r(o);const n=e=>{if("object"==typeof Air){Air.import("module.ajaxify").one("Before page changed",()=>{e&&e()})}};((e="teaser",o=[],t="vc")=>{const r={root:e,index:e+"--index",entry:e+"--entry",loaded:e+"--loaded",location:e+"--%location%",sitename:`${e}--${window.__codename||t}`},a=document.querySelector("."+r.root),i=document.querySelector('[air-module="module.feed"]');if(a){a.classList.add(r.sitename),-1===r.location.indexOf("location")&&a.classList.add(r.location),i?a.classList.add(r.index):a.classList.add(r.entry);const e=()=>{a.classList.add(r.loaded)};return new Promise(t=>{var i;(i=o,Promise.all(i.map((function(e){return new Promise((function(o){var t=document.createElement("img");t.onload=()=>{o(t)},t.onerror=o,t.src=e}))})))).then(()=>{t({showBanner:e,oneBeforePageChange:n,rootHTML:a,css:r,siteName:window.__codename})})})}})("kpsk-footer",["https://leonardo.osnova.io/db4d29e8-6b05-57c9-a668-8be251b5999f/","https://leonardo.osnova.io/4bc540c7-94c3-523d-a568-289bb3048c90/","https://leonardo.osnova.io/f9b0fdc7-0122-5954-86d2-a9c7b69464e5/","https://leonardo.osnova.io/b955990b-dbc0-5bf5-b6b4-d580e1ae8174/"]).then(e=>{e.showBanner()})}]);
0
32 комментария
Популярные
По порядку
Написать комментарий...

Пулемет замолчал.
- Комиссар, патроны кончились!
- Но ты же коммунист! И вновь застрочил пулемет...

16

Денис, Вы прямо умеете самый сок выжать из статьи)))

1

Есть те кто не делает бекапы и те, кто теперь делает бекапы.

8

а также те, кто проверяет созданные бекапы..

4

Но это потом)

3
Абстрактный дебаркадер

Мое уважение. Не спрятаться от клиентов и проблемы, а решать до конца. Таких единицы в IT

7

Спасибо за эти слова. Прямо их бы сейчас в ту ситуацию, я думал, что поседею раньше времени.

0

Обожаю такие истории: когда человек даже в очень критичной ситуации не опустил руки, а продолжил бороться за результат, даже когда все вокруг говорили "Ничего больше сделать нельзя".

2

На самом деле, были, конечно, те моменты, когда хотелось всё бросить и уйти. Но это скорее от того, что казалось, что в ситуации ничего нельзя поменять и это точка невозврата. Но выход нашёлся и я безумно рад этому опыту, теперь я только так и действую, через точку невозврата.

1

Эх, была у меня такая ситуация. Небольшой бизнес и сайт при нем. И вот в один день все пропало, как раз из-за хостера.

Причем он просто оставил меня со своей проблемой, и мне пришлось полностью с нуля сайт делать самому.

Да, в итоге я научился сайтостроительству. Но вот я всегда был категорически против смертной казни. Но в тот момент, признаюсь, в этом засомневался :-)

2

Последняя фраза очень забавно звучит, мы смеемся всей командой уже час)))) Сочувствую, что вам пришлось столкнуться с моей ситуацией с другой стороны. Если тот хостер не испытывет по сей день адовые муки совести, то он не настоящий хостер)

0

Андрей, я пошутил, конечно. На самом деле, мы потом даже, в общем-то, дружили с этим хостером. Он же не специально это сделал. Бывает...

1

аахахахахахах)))Это даже круче, чем Джоли))

0

А что сделали с тем админом, который не смог восстановить?

1

Иногда наши пути пересекаются в каких-то задачах.

0

так это старый админ накосячил с жестким диском?

0

Нет, это был арендованный сервер и диск вышел из строя, спустя 5-6 лет работы. Но можно было мониторить эти моменты. По сути это плохо организованная работа с нашей стороны, никто не подумал о возможных рисках.

1

Хорошая статья. Мне было бы интересно прочитать советы по организации бэкапа, куда копируете резервную копию (кроме той, что делает хостер), как часто в сутки и побольше бы технической конкретики. Поделитесь результатами этого жестокого урока.

1

1) Для начала мы подобрали хороший дата-центр в Спб. У них отличный сервис с быстрым откликом тех. поддержки, есть свой мониторинг, состояние дисков отслеживают в том числе.

2) Каждый день делаются бэкапы баз данных и хранятся за последний год.

3) Также каждый день важные данные (пользовательские файлы, бэкапы базы данных) отправляются в удаленное хранилище.

Этих пунктов уже достаточно, чтобы не беспокоиться. Если вдруг с дата-центром что-то случится, то на другом сервере можно будет запустить дубль в течение часа.

Для крупных клиентов, у которых производство работает 24/7 и малейший сбой влияет на процессы планируем настроить еще один сервер в другом дата центре, и настроить полную синхронизацию данных с репликацией базы master-master. Со стороны nginx балансировщик при недоступности первого сервера будет переключаться на запасной.

0

А мне было бы интересно, как удалось восстановить данные с raid-диска да ещё и на удаленной машине. Хотя бы немного подробностей.

0

Если вкратце - побайтовое считывание dd_rescue, testdisk и прочее.

1

Прорекламируйте датацентр в СПб. Хороших подрядчиков надо знать.

0

Ответил в личку, чтобы не уходить в нейтивку)

0

Спасибо)

0

Саундтрек к этой статье - НТР Делай Бэкап https://www.youtube.com/watch?v=a5Hd-nfCvaw

1

Ахахаххаах))) Ох, спасибо, повесилили, от души!

0

А бэкапы вы там же хранили?

0

К сожалению, да. Теперь храним в удаленном хранилище другого дата-центра для полного спокойствия. Несколькими комментариями выше описал подробнее.

0

от предложения бонусов до уговоров и давления на жалость - охуенные тренинги)

0

Ваще нихрена непонял ничего.

0

Вообще ни о чем, приплели еще ерп нонейм.

–2
Читать все 32 комментария
«Сбер» представил «умную» колонку SberBox Time Статьи редакции

Стоит 7990 рублей.

«Сбер»
ЦБ определит фиксированную сумму для возврата после кражи денег мошенниками Статьи редакции

За квартал банки вернули жертвам около 8% от украденных денег.

OPS-инструкция для стартапа по доставке: как выжить и наладить операционку

В преддверии первой годовщины запуска сервиса гиперлокальной доставки Прямиком, который развивает наша компания, вспомнили с ребятами из операционного отдела, как всё начиналось. Андрей Резник, региональный менеджер Master Delivery, и Анатолий Голованец, старший менеджер по франчайзингу, собрали ТОП-5 советов для тех, кто сейчас в самом начале.

vc.ru превратился в книгу жалоб

Вам не кажется, что vc.ru превращается в сайт для жалоб на разные сервисы и компании?

Как Embacy создает дизайн для клиентов из XXIV стран. Часть I: Привлечение Клиентов

Всем привет! Я — Вадим Орлов, основатель Embacy. Мы создаем брендинг, сайты и иногда интерфейсы для digital-компаний со всего мира — от Австралии до Калифорнии и от Норвегии до ЮАР. А это — первая статья из цикла о том, как у нас все внутри работает. Статья, как и все в цикле, будет длинная, присаживайтесь поудобнее. Если вы на встрече или…

«Бизнесом чуть-чуть занимаюсь, чтобы не закиснуть мозгами»: Олег Тиньков рассказал о продолжении борьбы с лейкемией Статьи редакции

Бизнесмен считает, что победить болезнь окончательно невозможно.

Олег Тиньков
Контент и пиар VS контекст и таргетинг: большой гайд. Сравниваем стоимость и эффективность рекламных инструментов

Споры о том, что лучше: контентное продвижение, пиар или таргетинг и контекстная реклама, не прекращаются никогда. Недавно писали о том, как снизить стоимость и сократить время на создание статей, постов, видео и других материалов для продвижения. Разобрали кейс Pressfeed и собрали рабочую схему для бизнеса — как создавать безотходный контент.

В комментариях разговоры снова развернулись в сторону «а зачем нам вообще контент, мы пойдем заплатим за таргетинг». Понятно, что эта тема актуальная и болезненная для всех, кто связан с маркетингом. Давайте обсудим плюсы и минусы каждого инструмента и подумаем, как работать с ними максимально эффективно.

Продавец eBay из Кургана стала победителем в финале Всероссийского конкурса «Молодой предприниматель России 2021»

27 ноября в Москве состоялся финал ежегодного конкурса «Молодой предприниматель России 2021». В нём приняли участие предприниматели и самозанятые в возрасте до 35 лет. Всего было подано более 300 заявок из 43 регионов страны.

PlayStation от Sony Group запускает сервис ежемесячной подписки

Sony Group планирует создать новую услугу подписки, чтобы конкурировать с популярным сервисом Xbox от компании Microsoft, пишет Bloomberg.

Победа над ленью и гайд по усвояемости добавок: 5 лучших постов «Реддита» посвященных умным веществам

Для тех, кто не следил за сабреддитом — всё самое залайканное и полезное за 2021 год в переводе и небольшом сокращении.

Откуда берут взрослые деревья для парков и улиц

А также сколько они стоят и почему выращивать их — неплохой бизнес.

null