Nanochat от Андрея Карпаты: свой клон ChatGPT за $100 и 4 часа

Про nanochat:

✦ Регламент обучения LLM с нуля всего на 8 000 строк кода

✦ Поддерживает минимальные зависимости и доступен для самостоятельного использования

✦ Включает токенизацию, предварительное обучение, точную настройку, обучение с подкреплением и оценку модели

✦ Предлагает использовать узел 8хH100: за 4 часа и примерно $100 можно запустить небольшой чат-бот

✦ За 12 часов на облачном GPU получается уровень GPT-2 (это ~$300-400)

✦ За 40 часов тренировки модель решает простые задачи по математике и коду (около ~$1000)

Ссылки:

⟡ GitHub

⟡ Изучить nanochat (в deepwiki)

⟡ Документация

EFEMERA

Подписывайтесь на Telegram EFEMERA: AI news.