xAI опубликовала исходный код чат-бота Grok Статьи редакции
Модель содержит 314 млрд параметров.
- Компания xAI, которую Илон Маск запустил летом 2023 года, опубликовала исходный код чат-бота Grok.
- В сообщении xAI говорится, что языковая модель Grok-1 содержит 314 млрд параметров, а опубликованные данные включают «веса базовой модели и сетевую архитектуру». Её обучение завершилось в октябре 2023 года.
- Grok-1 распрострняется по лицензии Apache 2.0, которая позволяет использовать модель в коммерческих целях, но не включает данные, используемые для обучения.
- xAI представила чат-бота Grok в ноябре 2023 года. Он доступен пользователям X с подпиской Premium+ за $16 в месяц. Бот может генерировать тексты по запросу и отвечать на вопросы в режиме реального времени. Разработчики заявляли, что Grok способен отвечать на «острые» вопросы, которые блокируются большинством ИИ-систем.
- 11 марта 2024 года Илон Маск пообещал опубликовать исходный код Grok. Он объяснил шаг стремление сделать платформу «самой прозрачной и ориентированной на поиск истины».
- До этого он подал иск к OpenAI и её сооснователям Сэму Альтману и Грегу Брокману — из-за того, что компания якобы пренебрегла условием работать как некоммерческая организация и «на благо человечества».
25K
показов
6.2K
открытий
А вообще есть ИИ, которые можно на своей базе данных тренировать, а не использовать глобальную мусорную сеть? Сколько искал своими гуманитарными мозгами, не нашел решения.
Есть. См. понятие Lora. Это механизм дообучения имеющихся больших нейронных сетей. Самому большую сеть создать нереально - нужны сотни мощных видеодаптеров по миллиону рублей за штуку и много месяцев тренировки. Т.е. нужны миллиарды рублей.
Но уже такую готовую сеть можно дообучить на своих данных с помощью даже одного видеоадаптера - минимум 3090/4090. В основном всё упирается в объем видеопамяти. 24Gb - минимум для обучения.
Еще проблема, что всё быстро развивается, нет четкой полноценной простой пошаговой документации.
Спасибо. В
Получается на своих данных эту штуку пока не обучить - или дорого, или бессмысленно. Отложим в долгий ящик.
Думаю, быстро найдутся энтузиасты, которые её дообучат, преобразуют в более компактный вид, доступный для дообучения на 4090.
Или можно использовать эту модель для обучения других своих компактных моделей.
Подождем. Пока получается только алгоритмический путь. Нейронка учится связывать сложные темы в осмысленное
можно дообучить GPT в Azure Open AI, гонять потом эту модель будет стоить 3$ в час.
А инфа про это в сети есть, мануалы или описание?
Видеоадаптера и эвм
А вместо своего 24гь можно арендовать гугл коллаб. Или на фри тарифе попробовать