Признавайтесь, кто мечтает купить h100? Цена на Авито - 2.5 млн. руб. (без гарантии качества). Что вам даст такая карта? Qwen 110B и LLaMA 3.3 70B = 20 токенов (40 символов) в секунду при таких больших ИИ... Надо ли? Вопрос открытый, но для систем, которые обрабатывает очень чувствительные данные и только локально - вполне себе.

Например, вы делаете RAG для внутренних документов компании. А можно h200 еще взять - 3 млн. руб. (+42% увеличение производительности: до 31 токенов/сек против 22 на H100).

Русский ИТ бизнес (https://t.me/bezsmuzi)