Выбор дата-центра: как обманывают с Tier III

И как проверить уровень ЦОД.

Не менее семи раз нам в компании ITSOFT приходилось выбирать дата-центр. Во второй половине нулевых годов это были дата-центры типа IT-сарай с открытыми стойками и без фальшпола. Тогда мы размещались в МСМ (Дижитал-нетворк) и Стек Телеком. Был опыт размещения в Курчатовском институте, BST, Датахаусе, Теленет и других.

Всё очень хорошо было на моменте заключения контракта, а потом начинались проблемы, аварии и элементарное хамство и жлобство, когда нас просто один директор послал куда подальше с нашими претензиями, что в серверной проводились ремонтные работы болгаркой и нам забили пылью некоторые сервера. Точкой кипения стал очередное отключение питания.

Для размещения десятков стоек как у нас стоимость имеет значение, а для размещения одного сервера разница в 1000-1500р. в стоимости погоды не делает в остальных расходах бизнеса. Однако, с одной стороны не хочется переплачивать за воздух даже 1000 рублей, с другой — необходимо получить максимальное качество и надёжность за потраченные деньги. Учитывая наш опыт хотелось сменить не шило, на мыло, а выбрать надёжного поставщика услуг ЦОД (центра обработки данных).

Первоначальный поиск в Яндекс и Гугл дал массу сложной информации. Даже нам специалистам сложно отличить один дата-центр от другого. Нужно сравнивать ДГУ (дизель-генераторные установки), промышленные ИБП (источники бесперебойного питания), системы охлаждения, маршрутизаторы, качество каналов связи, системы пожаротушения и прочее.

Жигули и Porche Cayenne машины и могут ездить, но с ними разница гораздо заметнее, чем с вышеперечисленным оборудованием. При этом весь ТОП выдачи забит сайтами дата-центров Tier III, поэтому решили изучить этот момент подробнее и выбирать среди сертифицированных дата-центров и не ошиблись, как показали дальнейшие действия.

В ходе изучения вопроса выяснилось, что сертификаты выдаёт международная организация Uptime Institute. Это не техосмотр купить. На странице https://uptimeinstitute.com/uptime-institute-awards/achievements можно посмотреть все сертифицированные дата-центры.

Сертификаты Tier III Uptime Institute​ Uptime Institute

Сразу обнаружилось, что огромное количество дата-центров в Москве с красивыми сайтами так называемого “уровня Tier III”. Это что-то типа китайских подделок часов Vacheron Constantin. В юные годы довелось купить. Хлам… Хотя на первый взгляд с расстояния пара метров на руке и не разглядишь и не отличишь, смотрятся дорого, пыль в глаза пускают.

Настоящий дата-центр как любой настоящий продукт должен иметь сертификат. Если продукт соответствует, то сертификат у него будет. Если же сертификата нет, но заявляют, что дата-центр уровня Tier III, то уже с порога сразу обман. А обманут в одном месте — обманут и в другом. В этом похоже и крылись наши проблемы с предыдущими дата-центрами.

Как видно из таблицы на сайте Uptime Institute у дата-центра должно быть три сертификата:

  1. Tier III Certification of Design Documents — на проект ЦОДа.

  2. Tier III Silver Certification of Operational Sustainability — на эксплуатацию.

  3. Tier III Certification of Constructed Facility — на соответствие возможностей, а точнее необходимого уровня оборудования.

На 27 сентября 2019 года в Москве среди коммерческих дата-центров имеющих все три сертификата видим:

​Список дата-центров с сертификатами Tier III на сайте Uptime Institute (1 стр.) Игорь Тарасов
​Список дата-центров с сертификатами Tier III на сайте Uptime Institute (2 стр.) Игорь Тарасов
​Список дата-центров с сертификатами Tier III на сайте Uptime Institute (3 стр.) Игорь Тарасов

Крок специализируется на госсекторе, а с ним мы стараемся не работать. Более того, на их сайте даже непонятно, где искать услуги дата-центра.

В DataSpace заставили описать и “разобрать” личные ноутбуки, передать все персональные данные бессрочно, а на просьбу прекратить их обработку в соответствие со 152-ФЗ по окончании посещения — вообще отказали в пропуске. Выбрали DataLine, уже почти 3 года без единого разрыва — можно слегка “выдохнуть” и рекомендовать другим.

Сертификаты Tier III гарантируют качество услуг дата-центра, не нужно забивать себе голову как сравнить один дата-центр с другим.

* На сайте DataPro сертификат Operational просрочен на момент написания статьи.

0
32 комментария
Написать комментарий...
ILoveVC

Короче все идем в DataLine, все остальное в России-матушке - хлам. Честный автор статьи совершенно бескорыстно и бесплатно поделился с нами этой информацией.

Ответить
Развернуть ветку
Igor Tarasov
Автор

Я поделился опытом, реально работающим методом и тем, что многие обманывают. Мы когда в тот же BST заезжали они говорили, что они уровня Tier III. Но теперь нам есть с чем сравнить с настоящим Tier III.

Если у вас есть другие аргументы как выбирать, то приведите. 

Ответить
Развернуть ветку
SS107043 .

А сколько стоит сертификация?

Ответить
Развернуть ветку
Igor Tarasov
Автор

Не знаю. Это вопрос к Uptime Institute или тем дата-центрам, которые её получали. 

Рискну предположить, что у настоящих дата-центров, где и проектировалось всё изначально по стандарту и оборудование соответствующее закупалось это не очень большая доля расходов. А для IT-сараев это неподъёмная доля расходов.

Самое интересное в статье отмечено, что на стоимость услуг это не влияет сильно. Размещение сервера в дата-центре без сертификатов Tier III обойдётся в 2500-3000р., а с сертификатами на 1000-1500 дороже. Разница в цене не сопоставима с разницей в качестве услуг. 

И уж если экономить на бекапных серверах, где аварийность не принесёт скорее всего никакого убытка, то тогда имеет смысл выбирать размещение за 2000р в месяц в дата-центре, который не заявляет, что он уровня Tier III, у нас такой свой в Тушино на ул. Свободы.

Ответить
Развернуть ветку
Кирилл Бородин

Не похоже на обзор, просто реклама одного из вариантов.

Ответить
Развернуть ветку
Sergei Timofeyev

По-моему, это вообще чистая реклама. Никто из них не является TierIII, а они являются и не работают с государством.

Ответить
Развернуть ветку
Igor Tarasov
Автор

Все данные приведены. И все другие варианты перечислены и ссылка и скрины приведены. Приведите другие варианты. Никто же не против. 

Можете привести пример несертифицированного дата-центра с uptime 100%. Вон выше уже бункер привели. 

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Igor Tarasov
Автор

Хорошо, что не затопило. А то если ливнёвка как в Москве не справится...

Дата-центр не должен быть ниже уровня земли. Может ведь и трубу прорвать.

Ну и насчёт UPTIME у MTW, он 99,94% — это очень мало.

Вы это и не замечали просто. Для вас простой 8-24 минуты не критичны по несколько раз на год. С таким же успехом вы можете и за 2000р в месяц разместиться. Качество тоже, а 12000р в год экономии.

02.09.2019 22:05 24 минуты 500 Внутренняя ошибка сервера (в большинстве случаев ошибка в скриптах)
18.06.2019 07:06 8 минут Невозможно определить IP по указанному адресу. Это означает, что по мнению данной точки мониторинга указанного вами адреса не существует.
17.06.2019 17:06 8 минут Невозможно определить IP по указанному адресу. Это означает, что по мнению данной точки мониторинга указанного вами адреса не существует.
25.04.2019 17:06 8 минут Операция прервана, т.к. сервис не ответил в течение 8 секунд.
05.03.2019 22:06 8 минут Операция прервана, т.к. сервис не ответил в течение 8 секунд. Обращение производилось к IP: 93.95.103.120.
18.01.2019 07:05 24 минуты 502 Сервер (или proxy-сервер) получил недопустимые ответы другого сервера (или proxy-сервера)
10.01.2019 22:06 9 минут Операция прервана, т.к. сервис не ответил в течение 8 секунд. Обращение производилось к IP: 93.95.103.120.
10.01.2019 07:06 9 минут Невозможно определить IP по указанному адресу. Это означает, что по мнению данной точки мониторинга указанного вами адреса не существует.
05.12.2018 14:06 9 минут Операция прервана, т.к. сервис не ответил в течение 8 секунд. Обращение производилось к IP: 93.95.103.120.
25.08.2018 11:07 8 минут Операция прервана, т.к. сервис не ответил в течение 8 секунд.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Igor Tarasov
Автор

https://ping-admin.ru/hosting_rating/hosting/28.html

Это мониторинг этого ДЦ. Если есть другие данные, мониторинги есть и у других сервисов, давайте посмотрим, что они показывают.

У вас и сертификат Tier III не при чём. Чего ж тогда ваш бункер сертификат не получит? По мелочи каждый отдельный момент вроде может и не при чём, а всё в месте уже набегает.

Ответить
Развернуть ветку
Sergei Timofeyev

В кладовке стоит сервер... Аптайм 99,5%. Разумное решение. 

Ответить
Развернуть ветку
Igor Tarasov
Автор

Пока не загорится от перегрева.

Ответить
Развернуть ветку
Sergei Timofeyev

Почему? 

Ответить
Развернуть ветку
Igor Tarasov
Автор

"не" пропустил.

Ну а как вы кладовку охлаждаете в жару? 

Ещё за этим дело и приглядывать 24х7 нужно. Ну и поиск в помощь как народ горел размещая на балконах оборудование.

У вас затраты сильно больше, если устраивать минисерверную. Чем больше серверная, тем меньше затраты в расчёте на стойку.

Ответить
Развернуть ветку
Sergei Timofeyev

У меня не столь мощное оборудование, там только веб и базы, поэтому особого разогрева нет. Дом основательный и бетонный. В кладовке даже в самую жару не более +26 градусов со включенным оборудованием. Зимой там даже холодно.

Приглядывать зачем? Правильно рассчитанное электросистема + UPS, защищающая от скачков и перенапряжения. 

Затраты? Около 80 рублей на электричество в месяц. Разве это так много? Сервер приносит несравненно больше денег своей работой, но особого смысла переезда в ДЦ не вижу.

 Чем больше серверная, тем меньше затраты в расчёте на стойку.

Кстати, мы такой вариант считали. На работе серверная находится в офисе. Так вот, потребление у неё около 1500 рублей в месяц на электричество + 1200 на кондеи. Стойка под наши нужды где-нибудь в Селектеле обойдётся от 45-50 тысяч в месяц (без канала интернета). Так что не показатель. 

Ответить
Развернуть ветку
Igor Tarasov
Автор

Вы забыли посчитать затраты на кондей, на его установку, на обслуживание. На создание самой серверной. Вы купили офис или он в аренде у вас? Эти затраты прибавьте.

А ИБП купили? А чего не прибавляете? А за интернет платите?  Кстати, инет падает. Нужно минимум два канала.

А поддержка есть? Зарплата тому кто это делает и обслуживает 0 рублей?

И сколько у вас серверов, что затраты 1500 в месяц?

По моим прикидкам 3 сервера. Это 6000р в месяц в аналогичном IT-сарае, но с поддержкой и качественным инетом. Или же порядка 12000 в нормальном ЦОД. Если вы все затраты реально посчитаете, то реально они у вас выше 6000р и даже 12000р. Вы в минусе со своей серверной.

Ответить
Развернуть ветку
Sergei Timofeyev

Окей. Давайте в математику.

Два кондиционера 100 тысяч рублей. Стоят два 18 кБту. Это с установкой на сейчас. Мы ставили их 4 года назад - это было 70 тысяч. Обслуживание раз в два года (пневма есть - занимает 2 часа времени или 1000 рублей). Контроль - каждый год. 

ИБП - 30 тысяч рублей на 3 кВт. Две штуки - нам они вышли 50 тысяч. Раз в три года надо менять батареи. 16 штук на ~1000 рублей + 3 часа времени. 18 тысяч рублей раз в три года.

Поддержка - уточните её уровень? Воткнуть штекер или переконфигурировать что внутри? Это нигде не бесплатно. Поверьте, но на это приходится 0,01% всего времени в месяц.

Итого затраты за три года:

материальные и капитальные со сроком службы 10 лет: 100 + 50 + 16 = 166 тысяч рублей. 166 000 / 120 = 1383 рубля в месяц

обслуживание: 2 + 2 = 4 тысячи рублей. 111 рубля в месяц. Можно сюда ещё добавить 2-4 тысячи в год на экстренные случаи. Они бывают.

электричество: 2700 * 36 = 97,2 тысячи рублей. 2700 рублей в месяц

Считаем: 2700+222+1383 ~ 4300 рубля за то, что предлагают за сумму от 40000 в месяц. В минусе ли мы, платя на порядок меньше?

Ответить
Развернуть ветку
Sergei Timofeyev

Я ещё молчу о том, что в случае чего-то серьёзного, нам придётся выезжать в ЦОД, что тоже стоит денег (путь туда), полностью отрывая человека от офисной работы.

Ответить
Развернуть ветку
Igor Tarasov
Автор

Не факт. Выезжать нужно если вам железо менять. Это можно и нашу поддержку попросить сделать. А если железо в порядке, то КВМ и удалённо всё решите. Никакой разницы нет же.

Ответить
Развернуть ветку
Igor Tarasov
Автор

У вас сравнение некорректное. Аренду помещения не добавили. Интернет-каналы не добавили.

Поддержка может и ОС накатить,  и КВМ подключить и удалёнными руками побыть и диагностику базовую сделать. Настройка специальная — уже денег стоит. Но и тут услуги админа ДЦ дешевле, чем своего на зарплате держать.

Ну и самое главное, то вы пишите 1500р про электричество, но потом сравниваете это со стойкой. Стойка — это 5кВт потребления. Я вам выше свою математику привёл. При чём тут 40000 в месяц? У нас в нашем IT-сарае это бы 5700р бы вам могло стоить. Ну или если вам нужно взять полстойки, то 27000р за размещение 23 серверов. Ну никак не сходится у вас математика.

Ответить
Развернуть ветку
Sergei Timofeyev
 У вас сравнение некорректное. Аренду помещения не добавили. Интернет-каналы не добавили.

Проблемы негров шерифа не волнуют. Аренда ничего не стоит, в целом. Интернет канал в ту стойку тоже не входит. Так что вполне корректно сравниваю.

 Поддержка может и ОС накатить, и КВМ подключить и удалёнными руками побыть и диагностику базовую сделать.

Вы уверены, что на системном уровне им кто-то даст доступ внутрь? Это противоречит сохранности и целостности данных. KVM у меня есть, спасибо. Доступен всегда и отовсюду через VPN.

 услуги админа ДЦ дешевле, чем своего на зарплате держать.

Я вам говорю, что для него это 0,02% времени. Есть масса более интересных и иногда творческих задач. Сосчитайте сколько это в рублях. Всё равно дешевле, чем поддержка.

 Ну и самое главное, то вы пишите 1500р про электричество, но потом сравниваете это со стойкой. Стойка — это 5кВт потребления.

Да, вы тут поймали меня. Мне электричество ничего не стоит, так как оно входит в договор об аренде всего офиса. Как-то так. Это по моим прикидкам выходит 2700 рублей с кондиционерами.  Сервера редко используют 100% своей мощности, поэтому 5 кВт - не более чем маркетинг.

 если вам нужно взять полстойки, то 27000р за размещение 23 серверов.

Видите, всё равно близко к 30 тысячам, а не к моим рассчитанным.

Игорь, математика может сильно поменяться, если это будет хайлоад прод, где важен аптайм. Сейчас, несмотря на поддерживаемые 99% с чем-то, по сути, это не требуется на данном этапе. Поэтому не понимаю смысла разгона расходной части, когда это не требуется. :)

Ответить
Развернуть ветку
Alex Nevski

Использую Amazon AWS - никаких проблем с сертификатами, аптаймом, сервисами и сапортом.

Ответить
Развернуть ветку
Igor Tarasov
Автор

Саппорт там оперативный денег стоит. И приличных. 

Ещё не всем подходит заграница. Согласно закону ряд данных нужно в России держать. И пинг до Москвы и до Амазона разные, особенно, если ориентироваться не только на Москву, а и на регионы России.

Ответить
Развернуть ветку
Sergei Timofeyev

Закон говорит о том, что нужно держать, а механизмов проверки этого нет. Никто не мешает держать часть баз в России, а фронт - там.

Ответить
Развернуть ветку
Igor Tarasov
Автор

Ну так всё равно же часть нужно в России держать. А раз нужно, то значит и ЦОДы в России нужны. Ну и про пинг как-то вы пропустили аргумент. С какого-нибудь говнопровайдера в регионе ваш сайт может притормаживать.

Ответить
Развернуть ветку
Sergei Timofeyev

Селектел в Москве - 6мс, DO - 3 во Франкфурте. Ну как-то так.

Ответить
Развернуть ветку
Igor Tarasov
Автор

Это из Москвы. А из регионов?

Ответить
Развернуть ветку
Sergei Timofeyev

Сколько провайдеров магистральных осталось? 3 или 4? :)

Ответить
Развернуть ветку
Alex Nevski

Почти два года на Амазоне и не было необходимости в описанных Вами страшилках с платным сапортом. Все запросы к ним решались на протяжении часа (если точнее минут 15-20). Я рад, что не приходилось сталкивался с серьёзными проблемами, но может потому и не сталкивался, что это Амазон.
По замечанию, что закон и нужно держать в стране, ну это частная проблема и для соблюдения таер3 не особо и нужен - храните зеркало данных.

Ответить
Развернуть ветку
Alex Nevski

Про пинг забыл ответить: Для cdn так же таер3 не является маст хев. Но с франкфуртом Амазона я не встречал проблем с пингами - покажите.

Ответить
Развернуть ветку
Igor Tarasov
Автор

В статье не упомянут ДатаПро. На момент написания статьи 28 сентября 2019 у них на сайте логотип с сертификатом Tier III Silver Certification of Operational Sustainability был просрочен.

Ответить
Развернуть ветку
29 комментариев
Раскрывать всегда