{"id":9001,"title":"\u0417\u0430\u0447\u0435\u043c \u043d\u0443\u0436\u0435\u043d \u0444\u0438\u043d\u0442\u0435\u0445 \u043a\u0430\u043a \u0441\u0435\u0440\u0432\u0438\u0441. \u041d\u0430\u043f\u0430\u0434\u0430\u0435\u043c \u0441 \u043a\u0440\u0438\u0442\u0438\u043a\u043e\u0439","url":"\/redirect?component=advertising&id=9001&url=https:\/\/vc.ru\/promo\/321129-kritika-finteh-kak-servis-eto-dorogo-slozhno-i-slishkom-universalno&placeBit=1&hash=0f11beca127b0260f19ba1d57bd2ebb2f81750b56fe49269b93cb930545c9faa","isPaidAndBannersEnabled":false}
Сервисы
Selectel

Как избежать факапов при миграции инфраструктуры. Учимся на чужих ошибках

«При переезде оборудования было принято парадоксально глупое решение — перенести сервер между зданиями без выключения. Не добежали… »

Привет, меня зовут Виталий Прокофьев, я руковожу отделом услуг администрирования в Selectel. Среди прочего мы помогаем клиентам переехать в наши дата-центры или перейти с выделенных серверов в облако.

Недавно мы провели митап, посвященный миграции инфраструктуры. Участники поделились своим опытом и неудачами, о которых рассказали по почте. Я разобрал самые частые из них — ведь лучше учиться на чужих ошибках, чем делать свои.

В комментариях ждем всех, кто когда-либо сталкивался с этой задачей. Расскажите, как прошло.

Отнеситесь к миграции как к полноценному проекту — со стратегией и дедлайнами

Здесь совершили две распространенные ошибки: всю работу взвалили на одного человека (самого себя) и не продумали до старта четкий план миграции с этапами и дедлайнами. Как это исправить?

Во-первых, разделить обязанности. Миграцией должны заниматься минимум двое — проджект-менеджер и исполнитель. Если в вашей команде нет менеджера, доверьте эту роль одному из сисадминов, пусть он контролирует исполнителя, подсказывает ему, не дает растягивать сроки.

Мне нравится сравнивать миграцию инфраструктуры с гражданской авиацией. В самолетах всегда два пилота: они дублируют и подстраховывают друг друга. То, что может упустить один, заметит другой.

Во вторых, проджект-менеджер должен составить календарный план и предложить критерии оценки результата на каждом этапе. Разделять миграцию на этапы обязательно — неважно, куда и как вы переносите инфраструктуру, бесшовно это происходит или с небольшим даунтаймом. Перенос по частям, в спокойном темпе позволит избежать ошибок и жесткого отката к началу работ.

Что следует отразить в вашем плане:

  • Нынешнее состояние инфраструктуры.
  • Требования к новой площадке, ее технические характеристики.
  • Последовательность миграции: на какие этапы разбить переезд, с чего начать.
  • Дедлайны по проекту в целом и по каждому этапу в отдельности.
  • План «Б» — что делать, если все пойдет не так.

Совет: даже если вы уверены, что проведете миграцию без даунтаймов, лучше предупредить пользователей о возможных сбоях.

Выбирайте мягкие дедлайны

Избегайте экстремальных дедлайнов. Если переезжаете от одного провайдера к другому, не планируйте это на дату, близкую к отключению хостинга.

Идеально, если в запасе остается хотя бы семь оплаченных дней. Так вы сможете остаться на старой площадке, если миграция не состоится, и спокойно подготовиться ко второй попытке.

Используйте проверенный программный стек

Похоже, здесь с помощью Docker Swarm пытались реплицировать контейнеры на новую площадку. Могу лишь посочувствовать — это трудно управляемый и мало стабильный инструмент, даже на форумах мало кто делится опытом работы с ним.

Чтобы избежать подобных проблем, протестируйте выбранный инструмент перед использованием. Рекомендую создать точную копию инфраструктуры и перенести ее с помощью выбранного ПО, проверить «на бою». Главное — обеспечить условия, максимально приближенные к реальным. Если переезжаете далеко, разворачивайте тестовую среду в том же дата-центре или в приближенной по свойствам среде, чтобы увидеть те же задержки сети.

В целом миграция — не время для экспериментов. Если вы привыкли делать бэкапы через rsync (программа для UNIX-подобных систем, которая выполняет синхронизацию файлов и каталогов с минимизацией трафика — прим. ред.), но для миграции выбрали решение от Veeam, досконально изучите и протестируйте его.

Выбирайте ПО, с которым работаете каждый день. Хорошо знаете Ansible (система управления конфигурациями — прим ред.)? Используйте его для развертывания копии площадки.

И помните: главный ваш инструмент — это голова.

Проверьте актуальность сертификатов и сроки регламентных работ

У опытных водителей есть правило — перед долгой поездкой сделать полное техобслуживание и убедиться, что все работает исправно, неполадок в пути не предвидится. Это актуально и для миграции.

В обязательную проверку инфраструктуры входит чекап сертификатов. Обновите их досрочно, если они скоро истекают. Загляните в график регламентных работ — когда последний раз был бэкап или автоматический сброс кэша? Не начнутся ли они во время миграции?

Если этого не сделать, можно потерять часть данных или уронить производительность, которая нужна при переносе.

Делайте бэкапы на всех этапах миграции

Переезжать с неполным бэкапом или без него (что еще хуже) — это как вложить одну-две пули в барабан револьвера и приставить к виску. Если вы не любитель «русской рулетки», составьте расписание бэкапов.

Создать резервную копию нужно до начала переезда. А затем желательно делать бэкапы настроек после каждого успешно выполненного этапа миграции.

В упомянутом кейсе я бы просто отложил миграцию, пока не решатся проблемы с бэкапами. Последствия могли быть плачевными.

Изучите слабые места архитектуры

Плохо, когда несколько сервисов пишут в одну базу. Обычно их разводят по разным таблицам, а лучше — в разные базы данных. Здесь очевидна проблема архитектуры, а именно администрирования баз данных, которую проигнорировали.

По-хорошему это работа проджект-менеджера: изучить перевозимые сервисы, найти слабые места и учесть их в плане миграции. Проблемы можно обнаружить в каналах связи, настройках сети и самом коде — некоторые части приложения могли захардкодить. Все это вылезет в самый ненужный момент.

Обязательно ли самим заниматься переездом инфраструктуры?

Миграцию можно провести самостоятельно, но в некоторых случаях лучше обратиться к специалистам. Это стоит сделать, если:

  1. Цена ошибки слишком высока — даунтайм серьезно навредит бизнесу. Иногда дорогая миграция обходится дешевле простоя.
  2. Недостаточно сотрудников для переезда. Один сисадмин, который будет перерабатывать и не спать ночами, скорее всего, ошибется.
  3. Нужен сторонний взгляд на инфраструктуру. Когда вы давно работаете с системой, сложно абстрагироваться. У сторонних специалистов больше шансов увидеть проблемы, которые вылезут при переезде. В Selectel мы любую работу начинаем с аудита инфраструктуры, даже если клиент ее подробно описал.
  4. Сотрудникам не хватает компетенций или опыта для самостоятельного переноса инфраструктуры. Некоторые рассматривают миграцию как свою зону роста. Это действительно важный опыт для сисадмина, но нужно учесть все риски. Вероятно, стоит сначала поучиться на тестовых площадках или под руководством специалистов — наблюдателей или эдвайзеров. За этим тоже можно обратиться к нам.

Обратиться в Managed Services

Оставьте заявку со словами «мы хотим мигрировать». Описание инфраструктуры на данном этапе не нужно. Мы свяжемся с вами.

0
6 комментариев
Популярные
По порядку
Написать комментарий...

Вашу статью мне бы неделю назад…

2

А расскажите, что пошло не так?

0

Эту статью бы фейсбучникам неделю назад )

0

Я в своё время так хорошо мигрировал, что бекап потерял.
По началу всё шло хорошо, в один момент всё сломалось.
Хорошо, что старые серверы были ещё оплачены.
Бывало ещё лишнее бекапил, например интерфейсы сетевые.
Как же красиво потом всё лежит.
И сидишь потом, через vnc ковыряешь новый сетевой интерфейс

1

Да, вот так мы и получаем драгоценный опыт! :)

0
Читать все 6 комментариев
Что Tele2 предлагает клиентам в «черную пятницу»

На главной распродаже года клиентов компании ждут сразу несколько интересных предложений: скидки на смартфоны, пакеты SMS и безлимитный трафик на YouTube, Яндекс.Карты, Яндекс.Навигатор.

Бизнес — как ребенок: как мамы совмещают свое дело с заботой о детях

Как совмещать бизнес и семью? Ко Дню матери своими историями поделились бизнесвумен, которые работают c ЮKassa и занимаются детьми. Читайте, как им удается сохранять жизненный баланс и добиваться успеха.

Опыт возврата денег за обучение дизайну у Yakovlevv.com. Тварь я дрожащая или право имею?

В данной статье приведен мой личный опыт покупки данных курсов, мои оценочные суждения, а также сухие факты, в виде скриншотов и аудиозаписей из моей личной переписки с владельцем этих самых курсов, на тот момент исполняющего услуги как ИП Яковлев Виталий Борисович ( ОГРНИП: 319784700156839 ), сейчас же, работающего от лица ФОП Торб'як Тетяна…

Мы сделали бот, который печатает и отправляет ваши фото маме. В 2 клика
Катя со свежими фотками для родителей

Мы запустили Kind Bot — доброго бота, которому в 2 клика можно скинуть свои фотки. Он их напечатает и отправит по почте вашей маме. Или другому близкому человеку.

МТС не удалила привязанные к номеру персональные данные владельца после перехода номера к другому человеку

Какое-то время я пользовалась телефонным номером МТС, годах в 2015-18х. Номер юзался только для мессенджеров, симку в поездке вынула и куда-то задевала, в итоге номер перешел другому человеку. На звонки номер не отвечал, абонент был не абонент. В 2019 узнавала в салоне, можно ли его выкупить, сказали - увы, уже 2х владельцев сменил. Ну нет и нет.…

Из науки в IT: как создать свой стартап и стать преподавателем

Как перейти в IT из другой сферы? Как разработать курс, которому нет аналогов? Как студенту получить максимум пользы от занятий? Рассказывает преподаватель OTUS Сергей Окатов, руководитель курсов «Kotlin Backend Developer» и «Kotlin Developer. Basic».

Возник по просьбе бразильских банкиров и стал любимым напитком солдат во время Второй мировой: история Nescafe Статьи редакции

В 2021 году Nescafe — крупнейшее подразделение Nestle и бренд, который оценивается больше чем в $20 млрд. По собственным данным компании, в мире каждую секунду выпивают более 5000 чашек напитка.

Дегустация Nescafe National Museum
Завод по производству идей. Как работают акселераторы, зачем они нужны стартапам и куда идти с идеей прямо сейчас

По данным Startup Genome, 9 из 10 стартапов терпят неудачу. Возможных причин «смерти» много: недостаточно протестированная гипотеза, неподтвержденная юнит-экономика, неверная стратегия или просто неудача в подходе к продажам.

Новый пролетариат

Очень давно один из классиков написал ёмкую по тогдашним временам фразу «пролетариату нечего терять, кроме своих цепей» Сейчас сложно понять её суть, но тогда она была понятна всем. Рабочий обладал только своими «руками» и это было единственное, чем он владел, абсолютное большинство жило от зарплаты до заплаты в арендованном жилье и не обладала…

Как у меня украли 600 тысяч с карты, а «Тинькофф» нарушает федеральный закон

Спойлер: я не вводил никуда код, не переходил по ссылкам и не сообщал данные карты.

Как мы с двумя кошками из Москвы в Прагу летели

Данная статья будет полезна тем, кто собирается лететь из России в Чехию со своими пушистым в салоне самолета. Почему пишу именно такой маршрут? Потому что условия для всех стран очень разные.

null