«Яндекс» разработал методы сжатия языковых моделей для запуска на устройствах с меньшей вычислительной мощностью
Это позволит снизить расходы на внедрение нейросетей, говорят в компании.
- Учёные Yandex Research разработали новые методы сжатия больших языков моделей вместе с исследователями из Института науки и технологий Австрии (ISTA) и Научно-технологического университета имени короля Абдаллы в Саудовской Аравии (KAUST), сообщили в «Яндексе». Их код опубликован на GitHub.
- Они позволяют уменьшить модель «в несколько раз» и сократить количество необходимых для запуска процессоров. Это поможет бизнесу снизить расходы на внедрение нейросетей и обслуживание оборудования, отмечают в компании.
- Решение включает два инструмента. Первый сжимает модель до восьми раз, чтобы её можно было запустить, например, на одном графическом процессоре вместо четырёх. Второй исправляет ошибки, возникшие в процессе сжатия для, чтобы сохранить качество ответов нейросети.
- Эффективность методов проверили на моделях Llama 2, Llama 3, Mistral и других. Качество ответов оценивали на англоязычных тестах — в среднем оно сохранилось на 95%. По словам «Яндекса», другие «популярные решения» для сжатия моделей сохраняют от 59% до 90% их качества.
Мир меняется слишком быстро, чтобы полагаться на статичные стратегии. Устойчивость компании зависит от гибкости ее подходов: сценарного планирования, адаптации базовых систем и вовлеченности команды. Приглашенный преподаватель Школы управления СКОЛКОВО Егор Кривошея раскрыл ключевые принципы построения устойчивой стратегии, — с примерами Shell, App…
Яндекс представил новое поколение своей флагманской языковой модели — YandexGPT 5 Pro, которая устанавливает новые стандарты в обработке естественного языка для русскоязычного сегмента. Интегрированная в сервис «Алиса Про», модель демонстрирует качество ответов, сопоставимое с мировыми лидерами вроде GPT-4o от OpenAI, превосходя предыдущую версию Y…
Их стоимость варьируется от $250 до $1000.
Настроил Авито так, что отдел продаж заказчика лег, а я получил самое хвалебное и приятное письмо благодарности за всю свою жизнь, а потом меня уволили. Рассказываю о том, как правильно настраивать Авито, чтобы он колоссально окупался.
Комментарий недоступен
"Института науки и технологий Австрии"
С институтом из недружественной страны, значит, сотрудничают. Так-так-так.
Как думаете пора уже уголовку им, или понаблюдаем ещё?
Это Яндекс Воложа, это другое
О, годное дело 👍🏻