Сотрудник Yandex Research разработал сервис для запуска большой языковой модели Llama 3.1 «на обычном компьютере»

Он работает на основе методов сжатия, которые позволяют уменьшить модель в несколько раз.

2828
22

Я уже попробовала этот сервис и была приятно удивлена. Модель неплохо справляется с генерацией текстов и ответом на вопросы. Правда, иногда возникают небольшие ошибки, но в целом очень перспективно.