«Яндекс» представил языковую модель YandexGPT 3 Pro Статьи редакции

Она отвечает на запросы «лучше» YandexGPT 2 в 67% случаев, отмечают в компании.

  • «Яндекс» анонсировал линейку нейросетей YandexGPT 3. Первая модель — YandexGPT 3 Pro — доступна для бизнес-клиентов через Yandex Cloud. Она эффективней справляется со «сложными запросами» и точнее следует «заданному формату ответов», рассказали в компании.
  • В ближайшее время модель появится в сервисах «Яндекса», но в каких именно — не уточняется. Пока оценить работу YandexGPT 3 Pro можно в деморежиме. Новым зарегистрированным пользователям доступно 100 бесплатных запросов в час.
  • Нейросеть корректней работает с фактами, даёт более точные и полные ответы, а также допускает меньше стилистических ошибок, отмечают в «Яндексе». По собственным оценкам компании, в среднем YandexGPT 3 отвечает «лучше» YandexGPT 2 в 67% случаев.
  • Модель «особенно хорошо» справляется с задачами в сферах клиентской поддержки, онлайн-продаж, маркетинга и рекламы, а также коммуникаций и управления персоналом. Также нейросеть «лучше» составляет договоры, счета, нормативные акты, должностные инструкции и другие документы.
  • Корпоративные заказчики могут самостоятельно обучить YandexGPT 3 Pro для своих бизнес-задач в сервисе ML-разработки YandexDataSphere. Стоимость использования модели снизилась «почти в два раза», подчеркнули в компании, не уточнив подробностей.
  • В дальнейшем «Яндекс» планирует представить новые модели из линейки YandexGPT 3. Каждая из них будет ориентирована на решение задач «определённого типа».
Изображение «Яндекса»  
  • «Яндекс» добавил в «Алису» нейросеть YandexGPT, научив помощника писать тексты и предлагать идеи, в мае 2023 года. Технология также используется в «Яндекс Маркете», «Лавке», «Практикуме» и других сервисах. В сентябре компания выпустила новую версию генеративной нейросети — YandexGPT 2.
0
138 комментариев
Написать комментарий...
Qnoc

Хорошим тоном при анонсе новой LLM уже давно является таблица сравнения качества ответов с другими моделями по стандартизированным тестам, а не эти вот абстрактные "на 67% лучше прошлой версии"

Ответить
Развернуть ветку
Юрий Б.
по стандартизированным тестам

Что-то я не слыхал про такие, да и что мешает натренировать нейросеть отвечать правильно на стандартные тест, казалось бы. Можете дать больше информации?

Ответить
Развернуть ветку
Филипп Новиков
по стандартизированным тестам

Это считай как ЕГЭ и другие экзамены государственного образца в США

Ответить
Развернуть ветку
Юрий Б.
Вы взяли ChatGPT 3.5 turbo который по большей части обучен на англоязычных текстах, далее взяли YandexGPT 3 который обучен на русскоязычных текстах, дали им РУССКОЯЗЫЧНЫЙ тест, а выдаете результаты тестов так будто ваша нейронка лучше чем ChatGPT 3.5 turbo. >Нейронки же тупо в неравных условиях.
На самом деле YandexGPT 3 ХУЖЕ чем ChatGPT 3.5 turbo.
ChatGPT 3.5 turbo в англоязычном тесте MMLU набирает 70%, а YandexGPT 3 в русскоязычном лишь 63%.
Вы либо сделайте двойные тесты(русс и англ тест для обеих нейронок) и возьмите среднее, либо в результатах явно дайте людям знать что ChatGPT 3.5 turbo хуже работает с русским языком.
YandexGPT 3 YaMMLU_ru 63%

ChatGPT 3.5 turbo YaMMLU_ru 58%

YandexGPT 3 MMLU -

ChatGPT 3.5 turbo MMLU 70%

Как видите, осталось прогнать YandexGPT 3 на MMLU и посчитать среднее по языкам для каждой нейронки.
Для ChatGPT 3.5 turbo оно 64

Чтобы YandexGPT 3 в среднем набрал 65(и вы могли сказать что она в среднем лучше чем ChatGPT 3.5 turbo в тестах MMLU+YaMMLU_ru) вам нужно чтобы YandexGPT 3 в MMLU набрал минимум 67, т.е. больше чем русскоязычном. Чего, очевидно, не произойдет.

Понятно для чего все это сделано, просто со стороны, для более менее разбирающихся людей, это выглядит не как очень честный маркетинг.

https://habr.com/ru/companies/yandex/news/803271/comments/

Ответить
Развернуть ветку
Юрий Б.

ЕГЭ в сша? Не слыхал

Ответить
Развернуть ветку
135 комментариев
Раскрывать всегда