Для любителя ударить по нейронкам на домашнем оборудовании вопросы железа всплывают регулярно. Экспериментируя с большими языковыми моделями (LLM) мне часто не хватало 32 Гб оперативной памяти и приходилось свопить, что в разы может сократить скорость инференса.
Весной, когда сделал сборку компьютера для двух GPU 3090 24Gb, ступил изрядно, п…