NanoChat от Андрея Карпаты: минималистичный LLM-бот для обучения
Кстати, Андрей Карпаты недавно выкатил NanoChat — минималистичный опенсорс, в котором весь цирк LLM умещается в один репозиторий и около восьми тысяч строк. На выходе у вас будет собственный LLM-бот и отчет со всеми метриками.
Цена такого развлечения около ста долларов на сервере с восемью H100 и примерно четыре часа пробега. Если восьми H100 под рукой как-то не оказалось, можно крутить на одной видеокарте дома, просто уменьшаешь батч и запастись терпением.
Проект опенсорс и бесплатный, подходит тем, кто хочет быстро разобраться в архитектуре языковых моделей. А если захочется по-взрослому, автор уже намекает на более длинные пробеги за триста и тысячу долларов.
В общем, отличный учебный каркас для своих маленьких ботов.
Подписывайтесь на Telegram Точки над ИИ.