Localai

Проект kimi-k3-in-c реализует inference Kimi K3 практически с нуля на portable C99. Чекпоинт модели занимает 1,56 ТБ, но пик RAM при запуске составил всего 8,24 ГБ.

Фокус в MoE и стриминге весов. Из 896 экспертов на токен выбираются только 16, а остальные веса не обязаны постоянно лежать в оперативной памяти. Огромная часть модели читается пр…

MacsArt GPT BOX — это инструмент, создаваемый мной, «не-айтишником», для таких же профессионалов, которые хотят работать с ИИ легко, но при этом сохранять глубину рассуждений и абсолютную приватность.