«Яндекс» представил языковую модель YandexGPT 3 Pro Статьи редакции
Она отвечает на запросы «лучше» YandexGPT 2 в 67% случаев, отмечают в компании.
- «Яндекс» анонсировал линейку нейросетей YandexGPT 3. Первая модель — YandexGPT 3 Pro — доступна для бизнес-клиентов через Yandex Cloud. Она эффективней справляется со «сложными запросами» и точнее следует «заданному формату ответов», рассказали в компании.
- В ближайшее время модель появится в сервисах «Яндекса», но в каких именно — не уточняется. Пока оценить работу YandexGPT 3 Pro можно в деморежиме. Новым зарегистрированным пользователям доступно 100 бесплатных запросов в час.
- Нейросеть корректней работает с фактами, даёт более точные и полные ответы, а также допускает меньше стилистических ошибок, отмечают в «Яндексе». По собственным оценкам компании, в среднем YandexGPT 3 отвечает «лучше» YandexGPT 2 в 67% случаев.
- Модель «особенно хорошо» справляется с задачами в сферах клиентской поддержки, онлайн-продаж, маркетинга и рекламы, а также коммуникаций и управления персоналом. Также нейросеть «лучше» составляет договоры, счета, нормативные акты, должностные инструкции и другие документы.
- Корпоративные заказчики могут самостоятельно обучить YandexGPT 3 Pro для своих бизнес-задач в сервисе ML-разработки YandexDataSphere. Стоимость использования модели снизилась «почти в два раза», подчеркнули в компании, не уточнив подробностей.
- В дальнейшем «Яндекс» планирует представить новые модели из линейки YandexGPT 3. Каждая из них будет ориентирована на решение задач «определённого типа».
- «Яндекс» добавил в «Алису» нейросеть YandexGPT, научив помощника писать тексты и предлагать идеи, в мае 2023 года. Технология также используется в «Яндекс Маркете», «Лавке», «Практикуме» и других сервисах. В сентябре компания выпустила новую версию генеративной нейросети — YandexGPT 2.
22K
показов
10K
открытий
Хорошим тоном при анонсе новой LLM уже давно является таблица сравнения качества ответов с другими моделями по стандартизированным тестам, а не эти вот абстрактные "на 67% лучше прошлой версии"
Что-то я не слыхал про такие, да и что мешает натренировать нейросеть отвечать правильно на стандартные тест, казалось бы. Можете дать больше информации?
Это считай как ЕГЭ и другие экзамены государственного образца в США
На самом деле YandexGPT 3 ХУЖЕ чем ChatGPT 3.5 turbo.
ChatGPT 3.5 turbo в англоязычном тесте MMLU набирает 70%, а YandexGPT 3 в русскоязычном лишь 63%.
Вы либо сделайте двойные тесты(русс и англ тест для обеих нейронок) и возьмите среднее, либо в результатах явно дайте людям знать что ChatGPT 3.5 turbo хуже работает с русским языком.
YandexGPT 3 YaMMLU_ru 63%
ChatGPT 3.5 turbo YaMMLU_ru 58%
YandexGPT 3 MMLU -ChatGPT 3.5 turbo MMLU 70%
Как видите, осталось прогнать YandexGPT 3 на MMLU и посчитать среднее по языкам для каждой нейронки.Для ChatGPT 3.5 turbo оно 64
Чтобы YandexGPT 3 в среднем набрал 65(и вы могли сказать что она в среднем лучше чем ChatGPT 3.5 turbo в тестах MMLU+YaMMLU_ru) вам нужно чтобы YandexGPT 3 в MMLU набрал минимум 67, т.е. больше чем русскоязычном. Чего, очевидно, не произойдет.
Понятно для чего все это сделано, просто со стороны, для более менее разбирающихся людей, это выглядит не как очень честный маркетинг.https://habr.com/ru/companies/yandex/news/803271/comments/
ЕГЭ в сша? Не слыхал