Как управлять командой, дата-центрами и бухгалтерией во время массового заражения или как мы переключаемся на удаленку

В ближайший понедельник, 23 марта команда RUVDS выходит на карантин и начинает работать из дома.

Мы попытались сократить статью, оставить только интересное и избежать советов, какая пижамка лучше настроит на рабочий лад.

Еще в статье есть важное предупреждение для руководителей, почему COVID19 дает легальное право всем контрагентам вас подвести.

Десятого марта Правительство России признало распространение коронавирусной инфекции форс-мажорным обстоятельством при выполнении госзакупок.

Чтобы не подставиться, мы советуем:

• составить чек-лист контрагентов
• отметить свои уязвимые места: чей отказ работать может остановить ваши бизнес-процессы
• подстелить соломку, где это возможно: сделать у себя запас материалов, оборудования и комплектующих или найти вариант Б, если заранее запастись нельзя

Что мы сделали сами: провели ревизию всех ремкомплектов во всех ЦОДах и доукомплектовали запас на случай того, что нас подведут поставщики железа.

А теперь можно к самой статье.

Сначала мы сделали очевидное: установили общие правила для всей команды и распорядок дня.

Ввели правила, общие для всех:

• время, в которое все сотрудники должны быть онлайн в Slack
• установили, что считается за прогул, а именно недоступность по телефону пару часов или более
• договорились о стендапах в начале и конце дня: на первых устанавливаются задачи, на последнем нужно написать краткий отчет, что получилось сделать, а что нет

Дальше разбирались с каждым отделом и что ему нужно, чтобы эффективно работать из дома. У нас их 4: техподдержка, сисадмины, отдел маркетинга и разработка.

Отделы маркетинга, разработки и руководство всегда могли работать удаленно. Для этого им достаточно ноутбуков, Slack для чатов и Zoom для конференций.

Для нас важен вопрос безопасности информации при удаленной работе, а именно возможной кражи переписок с клиентами. У всех внутренних сервисов RUVDS реализованы:

• двухфакторная аутентификация по сертификату
• логин/пароль к чувствительным ресурсам
• руководство может моментально лишить доступа конкретного сотрудника

Все это очень кстати в удаленной работе.

Здесь все оказалось просто.

Мы сохраняем старое расписание и нормативы — руководитель поддержки просматривает тикеты и проверяет время ответа точно так же, как и в офисе.

Технически обеспечить работу поддержки еще проще: достаточно настроить переадресацию звонков прямо на мобильные сотрудников. Мы пользуемся телефонией UIS, в которой звонки автоматически распределяются между свободными сотрудниками.

Значительная часть наших клиентов — юридические лица, а значит им нужна стабильно работающая бухгалтерия.

Большая часть документооборота у нас автоматизирована: в личном кабинете можно скачать договор, акты и акты сверок с печатью.

Некоторым клиентам все же требуются оригиналы и мы придумали как исправно их предоставлять: бухгалтер будет распечатывать и подписывать документы дома и отправлять почтой или курьером.

Мы договорились с охраной офиса и нашими постоянными курьерами. Охрана будет собирать корреспонденцию, эти документы раз в день отправляют курьерской службой, затем принимают обратно в офис.

Серверы и информационная инфраструктура RUVDS никогда не были привязаны к офису, а работа системных администраторов не зависела от физического доступа с оборудованию: у всех серверов есть особенный удаленный интерфейс управления, гораздо более функциональный, чем классический KVM.

Это позволяет работать с сервером хоть из Антарктиды: у нас был кейс, когда сисадмин, находящейся на станции Беллинсгаузен, расположенной на острове Кинг-Джордж, управлял нашими vds и все было в порядке. Так что сисдамин, сидящий в квартире с хорошим интернетом в пределах Москвы и МО — нестрашный для нас челлендж.

Из железа в офисе есть только управляющий сервер, но он дублируется в двух дата-центрах — в случае проблем дубликаты сразу начнут работу.

Наши дата-центры в московском регионе находятся в нескольких точках:

• Дата-центр в Королеве на территории бывшего советского бункера
• Дата-центр в М9 — это один из ключевых узлов связи в Москве и стратегически важный объект информационной инфраструктуры России. Через него мы связаны со всем миром, если упадет М9 — с большой вероятностью в Москве кончится весь интернет.

Доступ к таким объектам для инженеров не закрывают, даже если корпорация Umbrella десантируется в Москве и запускает зомби-апокалипсис или мэрия Москвы объявляет комендантский час из-за пандемии.

Значит выхода из строя оборудования без доступа наших инженеров не будет.

Еще до появления Коронавируса, наши дата-центры были готовы к тому, чтобы продолжать работу в случае поломки оборудования. Все ключевые узлы зарезервированы по схеме N+1 в соответствии со стандартами не ниже TIER III.

Это значит, что каждый элемент оборудования имеет «дублера», который в случае сбоя автоматически принимает работу на себя и система продолжает работать.

Дублируется и телекоммуникационное оборудование и энергоснабжение. На случай массового отключения электричества (если дадут сбой сразу две электростанции — основная и дублер), к серверам автоматически подключается дизельный генератор.

Мы провели внеочередные учения по переключению питания на дизель, а договоры на поставку топлива позволит флагманскому ЦОДу rucloud штатно работать в течение недели апокалипсиса.

Как и обычно, в дата-центрах круглосуточно дежурят наши инженеры.