Тестирование виртуальных серверов, или как выбрать хостинг-провайдера

"Вы говорите, что выбирать надо из двух зол?! Тоже мне ассортимент!“
Веслав Брудзиньский

Выбор провайдера хостинга и виртуального сервера конечно же не ограничивается двумя вариантами – на рынке десятки дата-центров, выбор нетривиален и вот почему. В тарифах провайдеров услуг изначально нет полной информации о типах процессоров, памяти, дисках, их производительности, о канале связи и т.д. Более того, даже открытые данные не приведены, как говорится к одному знаменателю с тем, чтобы их можно было сравнить. Поэтому перед нами всегда стоит вопрос: как понять что из себя представляют те или иные услуги и как сделать правильный выбор? К примеру, стоимость виртуального сервера у одного провайдера в 4 раза выше, чем у другого – это говорит о жадности хостера или высоком качестве услуг?

Дабы разобраться в теме сделаем тест-драйв провайдеров и проведем сравнение сопоставимых услуг. Столкнем лбами 13 компаний. Мы взяли представителей разных ниш, отличающихся как широтой услуг, так и ценами, с тем, чтобы выборка была репрезентативной и показала срез рынка.

Итак, разместим хостеров в алфавитном порядке:

Но прежде чем сравнивать, укажем что данное сравнение дает? А дает исследование следующее:

Замечание: мы не рассматриваем особенности и различия виртуальных машин VDS, VPS и других облачных решений и для простоты все их будем называть VDS.

А) Методика расчета тарифов

В исходных данных мы имеем только стоимость всей конфигурации VDS. Так как не все провайдеры разбивают их на составляющие, то это довольно скудная информация, которая не дает нам четкого представления о том, за что мы собственно платим. Чтобы дать представление об этих параметрах, в рамках нашей модели мы учитываем каждый элемент, а именно CPU — RAM — Storage — Network с равным весом – по 25%. При необходимости вы можете модифицировать коэффициенты под ваши потребности и получить результаты уже со своими данными.

Для приведения любой конфигурации к общему знаменателю, что очень важно, надо иметь эталон, относительно которого мы будем производить сравнение. Поэтому мы брали значения тарифов и пересчитывали их так, чтобы их можно было сравнивать между собой по цене относительно эталона (Reference price в таблицах ниже). В качестве эталона мы остановились на следующей конфигурации:

Б) Метод расчета производительности

В качестве основы мы выбрали дистрибутив Ubuntu (20.04) – это бесплатное ПО со множеством готовых решений, которое позволяет тестировать VDS со множеством параметров, без дополнительных лицензий.

Выбранное программное обеспечение вы можете также установить и использовать на других дистрибутивах Linux (CentOS, Debian, Arch и др.). Давайте рассмотрим утилиты, на которых мы остановились:

1. Процессор Phoronix Test Suite, build-linux-kernel. Phoronix Test Suite – огромный набор тестовых программ под разные задачи, здесь можно найти множество полезных утилит, но мы остановились на build-linux-kernel, которая измеряет скорость сборки ядра Linux. Мы хотели взять утилиту, которая будет выполнять задачи, подобные тому что выполняют многие пользователи регулярно на своих машинах, начиная с простых вычислений, например, установкой и запуском программ, и заканчивая итерациями посложнее – их компиляцией и сборкой.

2. Память Lmbench. Основная особенность данной программы заключается в записи в память блоков разного размера за одну итерацию и способности показать отличия в производительности разных конфигураций на одной и той же аппаратной части. Она измеряет множество значений, из которых мы выбрали пропускную способность памяти при выполнении последовательного чтения данных (Memory read bandwidth), последовательной записи данных (Memory write bandwidth), выборочного чтения и записи данных вместе (Memory partial read/write bandwidth), так как прежде всего именно эти значения отражают способность быстрого доступа к информации в/из памяти.

3. Диски fio. Данная программа выполняет нагрузку на дисковую подсистему, отображая показатели скорости нужного типа операций в IOPS. Мы измеряли значения по чтению, записи, чтению и записи совместно (по соотношению 50/50), руководствуясь параметрами доступа к информации на дисках.

4. Сеть speedtest-cli. Программа измеряет скорость сети. Мы остановились на значении исходящей скорости, так как передача данных клиентам на серверах и VDS происходит гораздо чаще, чем операции скачивания, и этот параметр обычно всегда ниже входящей скорости.

При расчете производительности, мы сталкиваемся с той же проблемой сравнения – показатели нужно привести к общему знаменателю, поэтому мы пересчитываем полученные измерения по отношению к лучшим результатам, которые в данном случае выполняют роль эталона и берутся за 100%. Вынесем их отдельно:

Теперь мы можем уже сравнивать и технические показатели VDS между собой (Score в таблицах ниже).

Примечание: Показатели процессора чем ниже, тем лучше (быстрее вычисляет, требуется меньше времени), у всех остальных параметров - чем выше, тем лучше (отображение производительности: выше сама скорость).

Чтобы объединить показатели производительности и цены, разделим первое значение на второе. (Effective score per в таблицах ниже). Данный показатель отражает то, что мы называем эффективностью VDS (производительность VDS за его стоимость), его мы и будем использовать при сравнении провайдеров в итоговой таблице.

Программа делает три измерения и высчитывает среднее значение, которое указано в таблице ниже (CPU, PTS). При сильных расхождениях делается до десяти измерений.

Программа делает множество измерений разных блоков. Чем больше объем памяти, тем больше измерений. Мы остановились на значениях 8-ми блоков от 1 до 134 Мб. При конфигурации в 1 Гб памяти максимальное значение блока достигло 134 Мб, поэтому его мы и взяли за верхний порог. При небольших значениях учитывается только кэш процессора, а так как значение кэша процессоров у всех разное, мы приняли решение начать с 1 Мб, чтобы показать влияние на результаты более качественного железа, но при этом минимизировать зависимость от кэша процессора. Для проверки измерений на сильное влияние кэша процессора мы дополнительно провели сравнение с вычислением среднего значения от трех последних измерений. Зависимость сохранялась и поэтому мы приняли решение остановиться на восьми, чтобы погрешности было меньше:

Далее мы производили расчет среднего значения от восьми измерений (в случае с 512 Мб, бралось среднее из 7 измерений). Вычисляли три таких значения и рассчитывали среднее от них, оно и представлено в таблице ниже (RAM, Lmbench).

Здесь мы вычисляли среднее значение трех измерений каждого типа данных. Полученные значения по трем типам данных складывали вместе и вычисляли уже среднее значение, оно и указано в таблицах ниже (Storage, Fio).

Допущение: для конфигурации машины с 512Мб у RUVDS использовался iozone, т.к. fio бы заблокирован с их стороны, измерения проводились аналогичным образом.

Здесь мы определяли среднее значение трех измерений исходящей скорости.

Все значения мы собрали в таблицы, где указаны следующие данные:

а) Конфигурации тарифов

RAM, Gb – количество оперативной памяти в Гб

vCPU, Cores – количество виртуальных ядер процессора

Storage, GB – объем жесткого диска в Гб

Network Out, Gbit/s – исходящая скорость интернет соединения в Гбит/с

Price, $ – стоимость услуги в долларах (по курсу 1$ = 77 рублей)

б) значения измерений

RAM, Lmbench – производительность памяти

CPU, PTS – производительность процессора

Storage, Fio – производительность дисков

Network, Speedtest – производительность сети

в) расчетные данные

Reference price, $ – нормализованная стоимость услуги по эталону в долларах;

Score - приведенная производительность, в сотых долях (%);

Effective score per $ – эффективность VDS (производительность за стоимость).

Исследование помогло и нам самим провести работу над ошибками. Скорректировали цены по некоторым позициям (в сторону снижения), что порадовало потребителей.

Важное замечание: материал предлагает, если так можно сказать критически подойти к выбору провайдера и конкретной конфигурации виртуальной машины. Цены могут со временем меняться, поэтому не стоит делать упор на то, что сейчас у той или иной компании услуга стоит дороже или дешевле. Мы предлагаем методологию, которая со временем не утратит свою актуальность. Более того, на ее основе вы сможете выработать свое практическое пособие (будем рады, если поделитесь им с нами или в комментариях). Эту мысль мы также подчеркиваем и в резюме, поскольку считаем ее крайне важной.

Приведем пример с полученными данными нашей компании:

Остальные данные 12-ти компаний можно посмотреть по ссылке

В итоге мы построили таблицу, где сравнили все результаты по выбранным провайдерам и привели их к читаемому виду:

здесь:
RAM, GB – показатель памяти у тарифов провайдеров
AVG – среднее значение четырех расчетных значений Effective score per $ выше 10 во второй степени.

Построим график эффективности по показателю AVG

Получилось три группы: одна из компаний ушла в отрыв, далее пелотон из пяти лидеров и следом догоняющие.
Второе важное замечание №2: Таблица да и вся методика построена из предположения, что каждый параметр имеет равный вес. В том случае, если Вы придаете большее значение, допустим производительности дисков, то картина распределения будет иной. Напомним, что наша задача – поделиться методикой оценки сервисов, поэтому окончательное решение и выводы Вы сделаете сами.
Вывод 1. Из результатов по дискам мы видим, что некоторые провайдеры ограничивают скорость. Скорее всего они это делают для снижения риска нагрузки на дисковую подсистему. Yandex, Ruvds (на начальных тарифах), Leaseweb, Firstvds, REG.RU, Skyhost.

Там где это различие менее заметное, могут использоваться просто разные конфигурации серверов.

Показатели сети не всегда соответствуют или даже приближаются к заявленным значениям. Это говорит об ограничениях на интерфейсах серверов с VDS, или о проблемах в сети провайдера. Также выяснилось, что конкретно speedtest, установленный из репозиториев, может занижать результаты сети. Мы со своей стороны также поработали над этими значениями и теперь можем гарантированно выделить 1 Гбит/с на каждый VDS. Мы не стали менять данные в таблице, чтобы показатели оставались сравнимыми, но отдельно покажем тут что, если производить измерения через speedtest ookla с их сайта, то результат будем иным:

Инструкцию по установке установке можно найти по следующей ссылке

Возвращаясь к началу статьи, покажем ту самую вишенку на торте, на которую мы обращали ваше внимание – вопрос соотношения цены и качества разных конфигураций, можно сравнить результаты первого VDS с первого места и последнего VDS с последнего места, давайте посмотрим, как интересно это сравнение выглядит:

В данном случае мы можем увидеть как раз тот самый пример, когда производительность в Linode даже при таком раскладе, практически везде, существенно выше чем в Skyhost, а цена значительно ниже.

Возьмем еще одно сравнение:

А это уже тот случай, когда мы видим более дорогого, но вместе с тем более качественного провайдера по показателям производительности.

Надеюсь что вы найдете в этих таблицах еще много интересного и сможете исследовать информацию самостоятельно при помощи данной методики.

Вывод 2. Из пункта 1 видно насколько важно проводить тестирование перед тем, как брать VDS в аренду. Возможно провайдеры переживают за безопасность. Можно предложить им сделать предварительную привязку ваших банковских карт и сбор паспортных данных. К сожалению, данная процедура доступна не у всех, или есть, но с определенными нюансами, давайте рассмотрим этот вопрос несколько подробнее:

Провайдеры, у кого есть тестовый период:

DO, Yandex, ITSOFT, Ruvds*

* – протестировать диски скорее всего не дадут (у нас было так)

Провайдеры, у которых есть возможность взять поминутную, почасовую или суточную тарификацию:

Linode, Selectel, Sweb**, Beget, REG.RU**

** – оплата за месяц, но можно отказаться через сутки/двое и вернуть средства

Провайдеры, у которых нет тестового периода, но можно менять тариф:

Firstbyte, Firstvds, Skyhost

Провайдеры, у которых тестового периода нет и тариф изменить не получится:

Leaseweb

Таким образом заключаем, что проведение тестов поможет вам исключить ошибки при выборе VDS.

Вывод 3. Наилучшие результаты бенчмарков достигнуты при соотношении x ядер vCPU к xGB RAM. Процессор успевает обрабатывать данные при таком объеме памяти более эффективно. Такая конфигурация не подойдет под все задачи и не выгодна провайдерам, так как не позволяет использовать весь потенциал ресурсов сервера, но обеспечивает лучшую производительность. Также видно, что большее количество ядер CPU не дает прироста при малом количестве памяти (обрабатывать нечего), однако такая конфигурация может использоваться для большого количества вычислений на лету (используется редко). Но большее количество памяти может быть использовано для последовательного доступа к большему количеству приложений.

Вывод 4. На основании полученных данных мы приняли меры по уменьшению стоимости некоторых тарифов, так что аналитическая работа была проведена не зря, ну а результаты исследований публикуем в открытом доступе. Пусть эти данные, а самое главное методология оценки провайдеров послужит хорошим людям.

Приняв решение хранить данные не в собственной стойке, а в ЦОДе стороннего провайдера, потратьте время не только на обзвон возможных вариантов, но и на небольшое тестирование. Это окупится. Цены на услуги у большинства дата-центров весьма условны (так, к сожалению, принято на рынке). Покупая виртуальную машину, используйте подход, схожий с покупкой обычной машины. Приходя в автосалон вы же не говорите, что вам нужен кузов, четыре колеса и мотор, ну и чтобы скорость была за двести. Без анализа ситуации в автосалоне на сайте хостера вам выдадут типовой вариант:

Нет, так дело не пойдет. Вы же берете в аренду сервер не на неделю, скорее всего вы берете виртуальную машину на долгий срок для хранения и обработки критичных для вашего бизнеса данных. Поэтому потратьте время, протестируйте поставщиков, проведите замеры и выберите лучшего. Заодно и определитесь с конфигурацией. Методика дата-центра ITSOFT – вам в помощь.

Мы давно на рынке, поэтому не боимся поделиться “конфиденциальной” информацией. И да, статья не преследует чисто продажные или рекламные цели. Мы никого не агитируем, как указано выше, мы провели исследование, сделали для себя полезные выводы и делимся ими с заинтересованными людьми.