Михаил Алексеев

1. Как насчет совсем бюджетного варианта - Tesla M10 32 Гб? Вариант с тремя GPU дешевле ~100 тыс. руб. выглядит очень заманчиво, но там 4 дохлых GPU на одной плате, итого 12 GPU на сервер... зато 96 Гб. Интересно, на что этот Франкенштейн будет похож в работе? Скорость будет как на CPU? )))
2. К сожалению у меня нет средств на сборку 500k+, сервер использую для личных нужд, как личный ассистент. На данный момент использую:
Tesla P40 24Gb 2 шт.
GeForce gtx 1080 ti 11gb 1 шт.
Xeon E5-2680 v.4 2 шт.
Хочется сделать вариант с Tesla P40 24Gb 4 шт. чтобы запускать модели 100-140B, но есть сомнения в ту ли сторону я двигаюсь. Какую скорость можно будет получить, например на модели wizardlm-2 8x22b? На CPU эта модель у меня работает ~3 токена/сек. На GPU в имеющиеся 59 Гб не влезает, но модели 70B на GPU выдают порядка 12-15 токенов/сек. Выходит на модели wizardlm-2 8x22b (вдвое больше) скорость будет вообще порядка 7 токенов/сек? Это не сильно быстрее CPU и ради 7 токенов городить 4 GPU сборку точно смысла нет.
3. Так же вопрос, по процессору. Правильно ли я понял из статьи, что замена CPU на версии с меньшим количеством ядер, но более высокими частотами на ядро даст прирост скорости?

А где Вы успели протестировать GPT-4? ChatGPT сейчас работает на версии 3.5

Описал ему жизненную ситуацию и попросил дать статьи закона, на которые можно сослаться для решения вопроса. Был шокирован юридической грамотностью и довольно конкретными цитатами из законов. Только вот ни одной статьи, которую он привел в природе не существует и никогда не существовало ни в одной редакции. После указания на это недоразумение сукин сын извинился и придумал новый несуществующий закон и так раз 10 по кругу. Просто жесть.

Просить у Путина средства под проект базирующийся на американской платформе это неуважение к своей стране и президенту. Тоже мне нац. проект.