В прошлый раз я разбирал, почему локальные модели тормозят, и вывод получился простой: всё упирается в память, которая не успевает отдавать веса модели. Тогда я обещал вернуться к теме, когда соберу требования к подходящему стенду. Собрать требования оказалось самой полезной частью затеи: разговор про компьютер для нейросетей сводится к объёму памя…