Всем привет! Мне 11 лет. Я часто думал, почему билеты на самолёты и поезда стоят так дорого. Сначала я хотел изобрести новый супер-двигатель, но физика — суровая штука, и реальные технологии стоят миллиарды.Тогда я решил поменять саму бизнес-модель. Я заставил систему зарабатывать на рейсе так много, чтобы билет для обычного пассажира стоил 0 рубле…
Главный секрет ИИ-монополистов, который они скрывают от инвесторов. Честный эксперимент на видеокарте Nvidia T4, разрушающий триллионный миф.
Пока OpenAI и Google заливают лень своих разработчиков миллиардами долларов, независимый опенсорс доказывает: будущее ИИ весит копейки и помещается на флешку.
Пока крупные корпорации сжигают гигаватты энергии и строят целые АЭС под свои «жирные» нейросети, опенсорс доказывает, что всё дело в банальной лени программистов.
Я взял передовую архитектуру Mixture of Experts (как в GPT-4), перевёл на экстремальные 1-битные рельсы и на копеечной видеокарте Nvidia T4 сжал слой со 125 МБ до 6.2 МБ (сжатие в 20 раз…
Привет! Чтобы не быть голословным в разговорах об оптимизации, я провел серию жестких стресс-тестов своего гибридного no-CUDA движка прямо в стандартном окружении Google Colab на базовом двухъядерном CPU Intel Xeon.
Задача: Загрузка, фильтрация по условию и квантование (bfloat16) крупного массива данных объемом 50 000 000 объектов.
Вот реальные рез…
Привет, хабровчане и vc-сообщество!
В прошлый раз я рассказывал про архитектуру своего no-CUDA движка, а сегодня решил устроить ему настоящий стресс-тест под капотом бесплатного Google Colab и сравнить скорость с обычным Python-пайплайном.
Привет! Разработал легковесный гибридный движок для высокоскоростной обработки и квантования массивов данных. Главная фишка — выжать максимум из обычного процессора (CPU) через низкоуровневые векторные инструкции AVX2 на C++20, полностью отказавшись от привязки к CUDA.
Сверху накинул Python-обертку для удобной интеграции в скрипты.
Чтобы не тратить…