Выбор дата-центра: как обманывают с Tier III
И как проверить уровень ЦОД.
Не менее семи раз нам в компании ITSOFT приходилось выбирать дата-центр. Во второй половине нулевых годов это были дата-центры типа IT-сарай с открытыми стойками и без фальшпола. Тогда мы размещались в МСМ (Дижитал-нетворк) и Стек Телеком. Был опыт размещения в Курчатовском институте, BST, Датахаусе, Теленет и других.
Всё очень хорошо было на моменте заключения контракта, а потом начинались проблемы, аварии и элементарное хамство и жлобство, когда нас просто один директор послал куда подальше с нашими претензиями, что в серверной проводились ремонтные работы болгаркой и нам забили пылью некоторые сервера. Точкой кипения стал очередное отключение питания.
Для размещения десятков стоек как у нас стоимость имеет значение, а для размещения одного сервера разница в 1000-1500р. в стоимости погоды не делает в остальных расходах бизнеса. Однако, с одной стороны не хочется переплачивать за воздух даже 1000 рублей, с другой — необходимо получить максимальное качество и надёжность за потраченные деньги. Учитывая наш опыт хотелось сменить не шило, на мыло, а выбрать надёжного поставщика услуг ЦОД (центра обработки данных).
Первоначальный поиск в Яндекс и Гугл дал массу сложной информации. Даже нам специалистам сложно отличить один дата-центр от другого. Нужно сравнивать ДГУ (дизель-генераторные установки), промышленные ИБП (источники бесперебойного питания), системы охлаждения, маршрутизаторы, качество каналов связи, системы пожаротушения и прочее.
Жигули и Porche Cayenne машины и могут ездить, но с ними разница гораздо заметнее, чем с вышеперечисленным оборудованием. При этом весь ТОП выдачи забит сайтами дата-центров Tier III, поэтому решили изучить этот момент подробнее и выбирать среди сертифицированных дата-центров и не ошиблись, как показали дальнейшие действия.
В ходе изучения вопроса выяснилось, что сертификаты выдаёт международная организация Uptime Institute. Это не техосмотр купить. На странице https://uptimeinstitute.com/uptime-institute-awards/achievements можно посмотреть все сертифицированные дата-центры.
Сразу обнаружилось, что огромное количество дата-центров в Москве с красивыми сайтами так называемого “уровня Tier III”. Это что-то типа китайских подделок часов Vacheron Constantin. В юные годы довелось купить. Хлам… Хотя на первый взгляд с расстояния пара метров на руке и не разглядишь и не отличишь, смотрятся дорого, пыль в глаза пускают.
Настоящий дата-центр как любой настоящий продукт должен иметь сертификат. Если продукт соответствует, то сертификат у него будет. Если же сертификата нет, но заявляют, что дата-центр уровня Tier III, то уже с порога сразу обман. А обманут в одном месте — обманут и в другом. В этом похоже и крылись наши проблемы с предыдущими дата-центрами.
Как видно из таблицы на сайте Uptime Institute у дата-центра должно быть три сертификата:
Tier III Certification of Design Documents — на проект ЦОДа.
Tier III Silver Certification of Operational Sustainability — на эксплуатацию.
Tier III Certification of Constructed Facility — на соответствие возможностей, а точнее необходимого уровня оборудования.
На 27 сентября 2019 года в Москве среди коммерческих дата-центров имеющих все три сертификата видим:
- CROC Incorporated, Kompressor Data Center
- DataLine, Nord-4 Data Center, Stage 1
- DataPro Moscow 1, Stage 1*
- DataSpace, DataSpace 1 Moscow Data Center
Крок специализируется на госсекторе, а с ним мы стараемся не работать. Более того, на их сайте даже непонятно, где искать услуги дата-центра.
В DataSpace заставили описать и “разобрать” личные ноутбуки, передать все персональные данные бессрочно, а на просьбу прекратить их обработку в соответствие со 152-ФЗ по окончании посещения — вообще отказали в пропуске. Выбрали DataLine, уже почти 3 года без единого разрыва — можно слегка “выдохнуть” и рекомендовать другим.
Сертификаты Tier III гарантируют качество услуг дата-центра, не нужно забивать себе голову как сравнить один дата-центр с другим.
* На сайте DataPro сертификат Operational просрочен на момент написания статьи.
Короче все идем в DataLine, все остальное в России-матушке - хлам. Честный автор статьи совершенно бескорыстно и бесплатно поделился с нами этой информацией.
Я поделился опытом, реально работающим методом и тем, что многие обманывают. Мы когда в тот же BST заезжали они говорили, что они уровня Tier III. Но теперь нам есть с чем сравнить с настоящим Tier III.
Если у вас есть другие аргументы как выбирать, то приведите.
А сколько стоит сертификация?
Не знаю. Это вопрос к Uptime Institute или тем дата-центрам, которые её получали.
Рискну предположить, что у настоящих дата-центров, где и проектировалось всё изначально по стандарту и оборудование соответствующее закупалось это не очень большая доля расходов. А для IT-сараев это неподъёмная доля расходов.
Самое интересное в статье отмечено, что на стоимость услуг это не влияет сильно. Размещение сервера в дата-центре без сертификатов Tier III обойдётся в 2500-3000р., а с сертификатами на 1000-1500 дороже. Разница в цене не сопоставима с разницей в качестве услуг.
И уж если экономить на бекапных серверах, где аварийность не принесёт скорее всего никакого убытка, то тогда имеет смысл выбирать размещение за 2000р в месяц в дата-центре, который не заявляет, что он уровня Tier III, у нас такой свой в Тушино на ул. Свободы.
Не похоже на обзор, просто реклама одного из вариантов.
По-моему, это вообще чистая реклама. Никто из них не является TierIII, а они являются и не работают с государством.
Все данные приведены. И все другие варианты перечислены и ссылка и скрины приведены. Приведите другие варианты. Никто же не против.
Можете привести пример несертифицированного дата-центра с uptime 100%. Вон выше уже бункер привели.
Комментарий недоступен
Хорошо, что не затопило. А то если ливнёвка как в Москве не справится...
Дата-центр не должен быть ниже уровня земли. Может ведь и трубу прорвать.
Ну и насчёт UPTIME у MTW, он 99,94% — это очень мало.
Вы это и не замечали просто. Для вас простой 8-24 минуты не критичны по несколько раз на год. С таким же успехом вы можете и за 2000р в месяц разместиться. Качество тоже, а 12000р в год экономии.
02.09.2019 22:05 24 минуты 500 Внутренняя ошибка сервера (в большинстве случаев ошибка в скриптах)
18.06.2019 07:06 8 минут Невозможно определить IP по указанному адресу. Это означает, что по мнению данной точки мониторинга указанного вами адреса не существует.
17.06.2019 17:06 8 минут Невозможно определить IP по указанному адресу. Это означает, что по мнению данной точки мониторинга указанного вами адреса не существует.
25.04.2019 17:06 8 минут Операция прервана, т.к. сервис не ответил в течение 8 секунд.
05.03.2019 22:06 8 минут Операция прервана, т.к. сервис не ответил в течение 8 секунд. Обращение производилось к IP: 93.95.103.120.
18.01.2019 07:05 24 минуты 502 Сервер (или proxy-сервер) получил недопустимые ответы другого сервера (или proxy-сервера)
10.01.2019 22:06 9 минут Операция прервана, т.к. сервис не ответил в течение 8 секунд. Обращение производилось к IP: 93.95.103.120.
10.01.2019 07:06 9 минут Невозможно определить IP по указанному адресу. Это означает, что по мнению данной точки мониторинга указанного вами адреса не существует.
05.12.2018 14:06 9 минут Операция прервана, т.к. сервис не ответил в течение 8 секунд. Обращение производилось к IP: 93.95.103.120.
25.08.2018 11:07 8 минут Операция прервана, т.к. сервис не ответил в течение 8 секунд.
Комментарий недоступен
https://ping-admin.ru/hosting_rating/hosting/28.html
Это мониторинг этого ДЦ. Если есть другие данные, мониторинги есть и у других сервисов, давайте посмотрим, что они показывают.
У вас и сертификат Tier III не при чём. Чего ж тогда ваш бункер сертификат не получит? По мелочи каждый отдельный момент вроде может и не при чём, а всё в месте уже набегает.
В кладовке стоит сервер... Аптайм 99,5%. Разумное решение.
Пока не загорится от перегрева.
Почему?
"не" пропустил.
Ну а как вы кладовку охлаждаете в жару?
Ещё за этим дело и приглядывать 24х7 нужно. Ну и поиск в помощь как народ горел размещая на балконах оборудование.
У вас затраты сильно больше, если устраивать минисерверную. Чем больше серверная, тем меньше затраты в расчёте на стойку.
У меня не столь мощное оборудование, там только веб и базы, поэтому особого разогрева нет. Дом основательный и бетонный. В кладовке даже в самую жару не более +26 градусов со включенным оборудованием. Зимой там даже холодно.
Приглядывать зачем? Правильно рассчитанное электросистема + UPS, защищающая от скачков и перенапряжения.
Затраты? Около 80 рублей на электричество в месяц. Разве это так много? Сервер приносит несравненно больше денег своей работой, но особого смысла переезда в ДЦ не вижу.
Чем больше серверная, тем меньше затраты в расчёте на стойку.Кстати, мы такой вариант считали. На работе серверная находится в офисе. Так вот, потребление у неё около 1500 рублей в месяц на электричество + 1200 на кондеи. Стойка под наши нужды где-нибудь в Селектеле обойдётся от 45-50 тысяч в месяц (без канала интернета). Так что не показатель.
Вы забыли посчитать затраты на кондей, на его установку, на обслуживание. На создание самой серверной. Вы купили офис или он в аренде у вас? Эти затраты прибавьте.
А ИБП купили? А чего не прибавляете? А за интернет платите? Кстати, инет падает. Нужно минимум два канала.
А поддержка есть? Зарплата тому кто это делает и обслуживает 0 рублей?
И сколько у вас серверов, что затраты 1500 в месяц?
По моим прикидкам 3 сервера. Это 6000р в месяц в аналогичном IT-сарае, но с поддержкой и качественным инетом. Или же порядка 12000 в нормальном ЦОД. Если вы все затраты реально посчитаете, то реально они у вас выше 6000р и даже 12000р. Вы в минусе со своей серверной.
Окей. Давайте в математику.
Два кондиционера 100 тысяч рублей. Стоят два 18 кБту. Это с установкой на сейчас. Мы ставили их 4 года назад - это было 70 тысяч. Обслуживание раз в два года (пневма есть - занимает 2 часа времени или 1000 рублей). Контроль - каждый год.
ИБП - 30 тысяч рублей на 3 кВт. Две штуки - нам они вышли 50 тысяч. Раз в три года надо менять батареи. 16 штук на ~1000 рублей + 3 часа времени. 18 тысяч рублей раз в три года.
Поддержка - уточните её уровень? Воткнуть штекер или переконфигурировать что внутри? Это нигде не бесплатно. Поверьте, но на это приходится 0,01% всего времени в месяц.
Итого затраты за три года:
материальные и капитальные со сроком службы 10 лет: 100 + 50 + 16 = 166 тысяч рублей. 166 000 / 120 = 1383 рубля в месяц
обслуживание: 2 + 2 = 4 тысячи рублей. 111 рубля в месяц. Можно сюда ещё добавить 2-4 тысячи в год на экстренные случаи. Они бывают.
электричество: 2700 * 36 = 97,2 тысячи рублей. 2700 рублей в месяц
Считаем: 2700+222+1383 ~ 4300 рубля за то, что предлагают за сумму от 40000 в месяц. В минусе ли мы, платя на порядок меньше?
Я ещё молчу о том, что в случае чего-то серьёзного, нам придётся выезжать в ЦОД, что тоже стоит денег (путь туда), полностью отрывая человека от офисной работы.
Не факт. Выезжать нужно если вам железо менять. Это можно и нашу поддержку попросить сделать. А если железо в порядке, то КВМ и удалённо всё решите. Никакой разницы нет же.
У вас сравнение некорректное. Аренду помещения не добавили. Интернет-каналы не добавили.
Поддержка может и ОС накатить, и КВМ подключить и удалёнными руками побыть и диагностику базовую сделать. Настройка специальная — уже денег стоит. Но и тут услуги админа ДЦ дешевле, чем своего на зарплате держать.
Ну и самое главное, то вы пишите 1500р про электричество, но потом сравниваете это со стойкой. Стойка — это 5кВт потребления. Я вам выше свою математику привёл. При чём тут 40000 в месяц? У нас в нашем IT-сарае это бы 5700р бы вам могло стоить. Ну или если вам нужно взять полстойки, то 27000р за размещение 23 серверов. Ну никак не сходится у вас математика.
Проблемы негров шерифа не волнуют. Аренда ничего не стоит, в целом. Интернет канал в ту стойку тоже не входит. Так что вполне корректно сравниваю.
Поддержка может и ОС накатить, и КВМ подключить и удалёнными руками побыть и диагностику базовую сделать.Вы уверены, что на системном уровне им кто-то даст доступ внутрь? Это противоречит сохранности и целостности данных. KVM у меня есть, спасибо. Доступен всегда и отовсюду через VPN.
услуги админа ДЦ дешевле, чем своего на зарплате держать.Я вам говорю, что для него это 0,02% времени. Есть масса более интересных и иногда творческих задач. Сосчитайте сколько это в рублях. Всё равно дешевле, чем поддержка.
Ну и самое главное, то вы пишите 1500р про электричество, но потом сравниваете это со стойкой. Стойка — это 5кВт потребления.Да, вы тут поймали меня. Мне электричество ничего не стоит, так как оно входит в договор об аренде всего офиса. Как-то так. Это по моим прикидкам выходит 2700 рублей с кондиционерами. Сервера редко используют 100% своей мощности, поэтому 5 кВт - не более чем маркетинг.
если вам нужно взять полстойки, то 27000р за размещение 23 серверов.Видите, всё равно близко к 30 тысячам, а не к моим рассчитанным.
Игорь, математика может сильно поменяться, если это будет хайлоад прод, где важен аптайм. Сейчас, несмотря на поддерживаемые 99% с чем-то, по сути, это не требуется на данном этапе. Поэтому не понимаю смысла разгона расходной части, когда это не требуется. :)
Использую Amazon AWS - никаких проблем с сертификатами, аптаймом, сервисами и сапортом.
Саппорт там оперативный денег стоит. И приличных.
Ещё не всем подходит заграница. Согласно закону ряд данных нужно в России держать. И пинг до Москвы и до Амазона разные, особенно, если ориентироваться не только на Москву, а и на регионы России.
Закон говорит о том, что нужно держать, а механизмов проверки этого нет. Никто не мешает держать часть баз в России, а фронт - там.
Ну так всё равно же часть нужно в России держать. А раз нужно, то значит и ЦОДы в России нужны. Ну и про пинг как-то вы пропустили аргумент. С какого-нибудь говнопровайдера в регионе ваш сайт может притормаживать.
Селектел в Москве - 6мс, DO - 3 во Франкфурте. Ну как-то так.
Это из Москвы. А из регионов?
Сколько провайдеров магистральных осталось? 3 или 4? :)
Почти два года на Амазоне и не было необходимости в описанных Вами страшилках с платным сапортом. Все запросы к ним решались на протяжении часа (если точнее минут 15-20). Я рад, что не приходилось сталкивался с серьёзными проблемами, но может потому и не сталкивался, что это Амазон.
По замечанию, что закон и нужно держать в стране, ну это частная проблема и для соблюдения таер3 не особо и нужен - храните зеркало данных.
Про пинг забыл ответить: Для cdn так же таер3 не является маст хев. Но с франкфуртом Амазона я не встречал проблем с пингами - покажите.
В статье не упомянут ДатаПро. На момент написания статьи 28 сентября 2019 у них на сайте логотип с сертификатом Tier III Silver Certification of Operational Sustainability был просрочен.