Убийца корпоративных облаков: как сжать ИИ в 20 раз и утереть нос ленивым гигантам

Пока крупные корпорации сжигают гигаватты энергии и строят целые АЭС под свои «жирные» нейросети, опенсорс доказывает, что всё дело в банальной лени программистов.

Я взял передовую архитектуру Mixture of Experts (как в GPT-4), перевёл на экстремальные 1-битные рельсы и на копеечной видеокарте Nvidia T4 сжал слой со 125 МБ до 6.2 МБ (сжатие в 20 раз!) с сохранением 99% логики. Время просчета — 0.001 секунды.

Настоящий ИИ может весить копейки и летать локально без всяких облаков OpenAI и Google.

Сейчас запустил официальное голосование на Hugging Face — выкладывать ли чистое PyTorch-ядро этого конвертера (quantum_moe.py) в открытый доступ на GitHub. Кому интересны реальные цифры оптимизации и кто хочет проголосовать «ЗА» или «ПРОТИВ», залетайте: https://huggingface.co