Антон Павлов

Иллюзия того, что передовой искусственный интеллект всегда можно будет брать по подписке за двадцать долларов или через открытый API, стремительно тает.

Yttri Forge начинался как попытка нормально запускать современные модели на обычной видеокарте. В какой-то момент стало понятно, что очередной набор параметров для готового движка уже не поможет. Пришлось лезть в KV-cache, FlashAttention, CUDA Graphs, Tensor Cores, планировщик, собственные CUDA-ядра и устройство памяти GPU. Рассказываю, что из этог…