Восстановление после аварий: кейсы

Через систему удаленного доступа обнаружили, что у одного из наших клиентов вышел из строя сервер. По телефону проблема подтвердилась. Дело было вечером в середине рабочей недели, так что важно было восстановить работу критических сервисов за минимум времени, поэтому мы срочно выгрузили ночной десант в офис клиента. Сервер действительно «лег», компонентов на него не было, вышел из строя диск в массиве, и к тому же отказали сразу оба источника питания – основной и дублирующий.

Приехали на объект и сразу погрузились в работу. Несколько часов диагностики, поиск оптимального решения – и план действий готов: запускаем подменный сервер, «поднимаем» основные сервисы, переактивируем лицензии на 1С. Уже утром последствия форс-мажора были преодолены, компания работала в штатном режиме, а мы продолжали реанимировать и оптимизировать IT-систему предприятия.

Период простоя составил не более пяти часов, потери минимальны (хотя могли исчисляться миллионами). Общие затраты времени на полное восстановление работы серверов и 1С и оптимизацию IT-инфраструктуры – около 80 часов.

В итоге – у клиента новое «железо», обновленные ОС, закрыты уязвимости, полный порядок в файловой системе и учетках, появился подменный фонд и нормальное резервное копирование. Компания хорошо защищена на случай аварий.

Заканчивался обычный рабочий день, и ничто не предвещало неприятностей, когда у одного из наших заказчиков внезапно «упал» основной сервер, на котором находилось буквально все жизненно важные данные и софт, в том числе «1С:Предприятие 8.3». Но самое неприятное – бекапы файловой системы и CRM хранились на этом же сервере, так что доступ к программам и сервисам был потерян. Компания полностью встала – с клиентами не связаться, заявки не обработать, документы недоступны.

Мы обнаружили инцидент через систему удаленного мониторинга Zabbix и тут же связались с клиентом. Информация подтвердилась: сервер действительно вышел из строя. Оперативно направили команду из трех специалистов на объект и приступили к аварийно-восстановительным мероприятиям. За 5+ часов нам удалось вернуть сервер в работоспособное состояние, восстановить данные корпоративной CRM и устранить последствия аварии. Работали во внеурочное время, чтобы решить проблему как можно быстрее. Если бы клиент заранее позаботился о подменном фонде и нормальном резервном копировании, аврала удалось бы избежать, а компания не подверглась такому риску.

Как пошагово выполнялось восстановление SQL-серверов и «1С: Предприятие», читайте здесь.

В практике айтишников бывает всякое, случаются и курьезы. Вечер пятницы, звонит клиент чуть не в слезах – все пропало! Оказалось, сисадмину показалось, что серверы взломали, он в состоянии аффекта выдернул абсолютно все провода в локальной сети, полностью вырубил оборудование… и сбежал.

Руководство в панике – ничего не работает, в 1С не зайти, к файлам и документам доступа нет, телефон админа не отвечает. Проектная компания, 100+ сотрудников, работа полностью парализована. В общем, подсчитывают будущие потери, параллельно обзванивая IT-компании. Но никто не берется. Мы единственные согласились помочь.

Сделали технический аудит, серверы «подняли», восстановили доступы к сетевому оборудованию, установили парольную защиту, запустили критически важные сервисы, настроили резервное копирование, в том числе «1С:Предприятие» – в случае инцидентов можно будет легко восстановиться из бекапа. Провели инвентаризацию, восстановили лицензии на ПО (некоторые программы стоили 1–1,5 млн рублей!). И, конечно, устранили уязвимости – чтобы нормально защититься от возможных хакерских атак. Действовали оперативно, и в понедельник контора вернулась к обычному ритму.

Потери у клиента – нулевые (за исключением нервных клеток), на реанимацию потребовалось два дня, еще несколько недель разбирали «наработанное» админом, исправляли ошибки, наводили порядок. Кстати, так и не поняли, была ли угроза реальной или сбежавший админ просто сдрейфил и на аффекте все вырубил.

Подробности здесь.

Вредоносное ПО, серверный сбой, выход из строя жесткого диска, некорректное обновление или перенос – все это может повредить и даже полностью стереть базу данных 1С. При наличии бекапа восстановление не составит труда. А вот если резервное копирование не настроено, последствия для бизнеса могут стать катастрофическими. И не только в денежном исчислении.

Утрата БД – это потеря всех данных о клиентах и операциях, важной финансовой информации, нарушение обязательств, проблемы с контрагентами, налоговиками. Может нанести серьезный удар по финансам и репутации компании, даже привести к крушению бизнеса.

Как делать резервные копии БД 1С, как восстанавливать из формата dt или zip и что делать, когда восстановить данные из бекапа не получается, мы рассказывали в этом материале.

Сисадмины не всегда сбегают – иногда они просто не справляются и нуждаются в помощи коллег-специалистов. В сервисный центр приехал неработающий сервер HP, но сколько ребята с ним ни боролись – он никак не хотел запускаться. Обратились к нам. Так как удаленного подключения к серверу не было, пришлось воспользоваться видеосвязью в Whatsapp. Нам показывали, что происходит на месте, и мы в онлайн-режиме помогали определить, в чем проблема.

Оказалось, что лицензия, которую они пытались активировать, не подходит к реанимируемому серверу, поэтому диски и не отображались должным образом. Наш специалист посоветовал связаться с HP и запросить нужную лицензию, что сотрудники сервиса и сделали. В итоге лицензию получили, установили, сервер стартанул и остальные настройки они производили уже сами. В общей сложности на выяснение причин и решение проблемы с запуском сервера у нашего системного администратора ушло 2 часа.

Что такое СХД, чем выгодно использование и как ее внедрить, читайте в этой статье.

Еще один аварийный случай. Обратилась к нам компания по продажам оборудования для металлообработки с такой проблемой: перестала работать 1С – был потерян доступ к базам данных, встали отгрузки. Причиной стал сбой в работе SQL-сервера.

В первую очередь провели аудит состояния сервера SQL, БД, терминального сервера, сервера 1С, создали бекап текущего состояния базы в SQL, откатились к предыдущей версии, протестировали, изучили логи. Ситуация оказалась запущенной, и потрудиться пришлось немало: от расширения дискового пространства до написания скриптов резервного копирования по расписанию. Что конкретно делали на этом объекте, расписали здесь.

Не нужно объяснять, насколько в бизнесе важна коммуникация с клиентами и партнерами. Когда «ломается» почтовый сервер, это не только неприятно, но и становится угрозой благополучию компании. Один из наших заказчиков оказался именно в такой ситуации.

Компания пользовалась корпоративной почтой на Microsoft Exchange Server 2016. При очередном обновлении почтовый сервер отказался работать, пользовательские учетки «отвалились», доступ к Outlook остался только с мобильных. Требовалось восстановить работу Exchange, настроить отказоустойчивость на будущее, сохранить архив переписки. Решение мы предложили неочевидное, но более чем эффективное.

Восстановление почты после аварии Microsoft Exchange Server 2016 заняло примерно восемь часов и прошло практически незаметно для сотрудников – им даже не пришлось менять пароли к учетным записям.

Описание способа восстановления Microsoft Exchange Server – в этом небольшом кейс-отчете.

Остановка производственного предприятия даже на один день – это гигантские убытки. Только прямая потеря прибыли от непроизведенной во время простоя продукции исчисляется миллионами. У нашего клиента ущерб мог бы составить как минимум 10 млн рублей, обратись он к нам чуть позже. Ну а деловую репутацию пришлось бы восстанавливать годами.

Итак, звонок в субботу после новогодних каникул. Завод, 800+ сотрудников, остановка ProxMox. Отправляемся на объект. Картина удручающая, но по классике – недоработки местной IT-службы. Ошибки в конфигурировании автостарта серверов, формат баз неизвестен, бекапов, снапшотов нет, ничего не грузится… Дальше еще веселее: сисадмины что-то уже нашаманили – отключился интернет. А внутри – базы пять юрлиц, и бухгалтеру отчетность сдавать через пару суток.

Два часа тестим – диагноз неутешительный, на месте проблему не решить. Везем оборудование к себе в офис, начинаем танцы с бубном: клонирование, диагностика, попытки восстановления с помощью стандартных средств и сторонних утилит, поиск баз на дисках и виртуальных машинах, перенос файлов и так далее и тому подобное. 25+ часов айтишной магии – и вуаля! Все работает, завод спасен.

Кому интересны подробности, читайте эту статью.

Турецкая строительная компания располагала несколькими филиалами в СПб. В один «прекрасный» день почти все они отправились «в автономное плавание»: связь пропала не только по локалке, но и через интернет. Сотрудникам пришлось перейти в телефонный режим работы.Сначала думали, что проблема связана с интернет-провайдером, но со стороны поставщика услуг все работало. Причину надо было искать внутри. Своего айтишника у строителей не было, и они обратились за помощью к нам, поставив задачу восстановить сетевой доступ, интернет-соединение и связь между филиалами.

Когда наш специалист приехал на проблемный объект, выяснилось, что с сетевой инфраструктурой в компании полный бардак: доступов нет, подключалось оборудование как бог на душу положит, в серверной – длинная и запутанная «борода» из проводов, информации по топологии сети нет. А связаться со старым сисадмином, единственным человеком, который хоть что-то знал, – невозможно. Так что работать пришлось в суровых условиях. Тем не менее через пять часов работа интернета и сетевые подключения были восстановлены, офисы снова оказались на связи. Что было сделано и как отреагировал заказчик, читайте здесь.

Не все платные почтовые хостинги одинаково хороши. К сожалению, реалии таковы, что лишь отдельные провайдеры могут похвастаться оптимальным соотношением между ценой и качеством услуг, а уровень техподдержки оставляет желать лучшего у большинства. Но если на бесплатных сервисах с мелкими недостатками еще можно мириться, то за деньги мало кто на это готов. Поэтому миграция почты с хостинга на хостинг не считается чем-то особенным. Некоторые российские компании пробуют выполнить перенос самостоятельно, пользуясь нашими рекомендациями, описанными в этом гайде.

Получается не у всех, так что заявок на миграцию почты у нас меньше не стало. Яркий пример: к нам обратились ребята из Москвы, которые пытались сменить хостера по нашей инструкции, но наделали кучу ошибок и ничего не вышло. Мы перенесли почту за два дня – причем каждый ящик переводили на новый протокол вручную по отдельности, помогли разобраться с косяками и все исправили. В другом случае был крупный заказ на 80+ юзеров – на подготовку тогда ушло несколько недель. Сам перенос запланировали на выходные, чтобы не сбивать работу офиса. Все успели закончить вовремя, тем не менее в понедельник приехали к заказчику – убедиться, что почта корректно работает у всех сотрудников.

За подробностями сюда.

Заключили договор на техническое обслуживание с новым клиентом. Предприятие производственное, оборудование останавливать нельзя, каждый день простоя – грандиозные убытки. Так что возможности провести технический аудит и проверить состояние IT-инфраструктуры «на берегу» у нас просто не было. Но случился форс-мажор, и пришлось в боевых условиях подтверждать профессионализм нашей команды.

Сначала вышел из строя диск в массиве, а когда перезагрузились после замены, отказал основной и дублирующий блоки питания. На диагностику, поиск решения и восстановительные работы времени практически не было – авария произошла вечером, а следующий день был рабочим. С основной проблемой справились за пять часов. Как именно, описали в этом кейсе.

Страховки от аварий не существует. Обязательные мероприятия по оптимизации IT-инфраструктуры, такие как правильный выбор оборудования, корректные настройки, актуализация ПО, резервное копирование, меры для защиты от DDoS-атак и обеспечения безопасности, усиливают отказоустойчивость IT-системы, но не могут полностью оградить от форс-мажора. И если инцидент случается, в такие моменты очень важна скорость реакции, ведь необходимо как можно быстрее «поднять» критические для бизнеса сервисы и минимизировать время простоя. Ну а конкретное решение – оно далеко не всегда является очевидным, здесь нужен индивидуальный подход.

Если вы попали в экстренную ситуацию и вам требуется помощь экспертов, обращайтесь в «Интегрус». Восстановление после аварий – наш конек!

#восстановление #серверы #itинфраструктура #sql #кейсы