PewDiePie собрал домашний сервер для запуска LLM с Nvidia RTX 4000

PewDiePie выпустил видео, в котором собирает домашний сервер для локального запуска LLM.

В основе сервера:

– 8 видеокарт Nvidia RTX 4000;

– процессор AMD Ryzen Threadripper;

– 192 ГБ оперативки и 160 ГБ видеопамяти.

Железа хватит, чтобы запустить GPT-OSS-120B, Llama 3.3 70B, DeepSeek-Coder-V2 или Qwen 2 / 2.5 72B.

Путь легенды: летсплеи по Minecraft → рождение сына → собственный сервер.

Подписывайтесь на Telegram Тайпспейс Медиа.