Мой GPU сервер

Выше обещал рассказать про gpu сервер, так вот.
Сидел я значит где-то в начале января за пк и понял, что хочется иногда что-нибудь из моделек стартануть фоново, чтоб не забивать основную карту и с ней можно было экспериментировать дальше. Зная примерную цену аренды gpu (еще раз чекнул) - стало грустно. Выход один - собираем свою коробку.

Материнка

Пошел искать мать проц, что там модно для домашнего инференса, нашел всякие threadripper, epyc и прочее серверное, абсолютно незнакомые сокеты и матери. Посерчил авито, вроде что-то есть, но надо долго нудно подбирать и будет на заказ, доставка недели 2, а то и месяц, но ведь уже захотелось.

Начал искать матери из потребительского сегмента, так как это привычнее и понятнее. Из требований ddr5, 2 gpu слота, для начала должно хватить, ну и bifurcation x8x8 или x4x4x4x4

Оказалось таких материнок не очень много:

Поддержку bifurcation стоит перепроверять, если будете искать, так как какие-то я проверил спецификацию/документацию, а какие-то даже не смотрел (например за 120к).

Выбор пал на ASUS PROART X870E-CREATOR WIFI, так как есть линии прямо до cpu от двух слотов и режим x8x8 из коробки.

GPU

Тут выбор большой, но если учитывать цены, то не большой. Фактически думал над вариантами:

Тут стоит обратить внимание на планируемую нагрузку, обучать что-то большое не планирую, кажется проще взять в аренду A100 какую-нибудь. Большие LLM тоже стартовать не планирую, для кода есть вкусные подписки, для проектов API явно дешевле и проще. А вот TTS, ASR, всякие denoise, upscale audio и прочие небольшие, но интересные модельки - это как раз то, что я планировал крутить на сервере.

Вывод был примерно такой: 3090 - у меня одна есть, ну может 2 и найду по городу, но надо их как-то проверять, чистить, вдруг помрут, будет грустно, будто бы хватит и 32 гб vram 5060 ti - дешево, простенько, но вдруг совсем медленно 5090 - вкусно, можно потом вторую воткнуть и вообще красота, давай прикинем цены, ага, одна карта будет стоить как весь сервер с двумя 5060 ti

В итоге взял RTX 5060 Ti 16gb две штуки.

CPU

Нам нужно 16 линий PCI-E. Что-то очень дорогое или максимальное на am5 сокете брать смысла не вижу, тем более у нас там 2 маленькие видяхи. Но и 8/16 ядер у меня уже есть, хочется пощупать что-то посильнее. Взял Ryzen 9 7900, главным преимуществом считаю TDP 65W, он тупо не ест питание, соотвественно не греется.

RAM

Тут все просто - дорого. Мне много памяти вроде не нужно, берем самую дешевую ноунейм из тех что получится найти, потом если что обновим, одна плашка 32gb.

Все остальное менее интересно, фулл конфигурацию с ценами положу в комментариях в тг, там же будут фото. У кого есть домашние железки, делитесь под постом: что за железо, для чего собирали.

Суммарно коробка вышла: 258к

Подписывайтесь на Telegram – xVibeNot