AI Journey 2023: обновления GigaChat

Распознаёт жестовый язык, генерирует музыку, разбирается в обществознании не хуже выпускников — на конференции AIJ GigaChat стал главным ньюсмейкером. Рассказываем, что нового добавили в нейросетевую модель Сбера и что она теперь умеет.

В основе новой версии GigaChat лежит одна из самых сильных продакшн-моделей для русского языка с 29 миллиардами параметров. По результатам тестов она превзошла схожие по количеству параметров иностранные аналоги в бенчмарке MMLU. В модели улучшилось качество суммаризации и рерайтинга текстов, редактирование текстов и качество ответов на вопросы. Первыми API новинки смогут испытать представители бизнеса и академического сообщества.

Разработчики GigaChat показали прототип общения с моделью при помощи жестового языка. Модель сама, без дополнительных преобразований, понимает контекст распознанных жестов, дактиль (произношение слов по буквам), составные жесты, а также терминологию банковской сферы, транспорта, животных, и даже несколько слов из сферы медицины и образования. Сервис можно использовать для создания доступной среды в МФЦ, в аэропортах, вокзалах, метро, в больницах для общения пациента и врача, в банковских сервисах и для адаптации онлайн и офлайн-образования.

Пользователи GigaChat в перспективе смогут генерить музыку по текстовому запросу. Для этого в GigaChat интегрируют нейросети CLaMP и SymFormer. Для обучения второй использовались платформа ML Space и датасет из 200 тысяч композиций разных стилей: от классики до рока.

В GigaChat можно будет загружать PDF-файлы. Например, суммаризовать ключевые мысли в финансовом отчёте или сформулировать вопросы к тексту и его содержанию. Также сервис объединит в себе суперсилы GigaChat, нейросети Kandinsky и AI-сервиса для коррекции правописания SAGE. Можно будет сгенерировать текст, адаптировать его для любой аудитории, исправить орфографию и пунктуацию, создать к тексту иллюстрации.

Filatov & Karas создали трек и музыкальный клип совместно с искусственным интеллектом Сбера

AI-продукты Сбера заколлабились с музыкантами Filatov & Karas. Kandinsky помог с визуализацией клипа на трек «Спойлер», а совместно с моделью SymFormer созданы музыкальные партии. Виртуальный ассистент Салют спел на бэках голосом Афины. Также в творческом процессе принял участие GigaChat. В приложении СТУДИО от HiFi-стриминга Звук скоро появятся автоматизированные возможности для записи композиций, чтобы каждый смог подключить силу ИИ для своего творчества.

GigaChat сдал ЕГЭ

GigaChat набрал достаточно баллов на ЕГЭ по обществознанию, чтобы поступить в вуз — 67, что больше среднего балла среди выпускников 2023 года (56,4). На «экзамене» использовали тестовые задания 2024, ответы GigaChat проверил сперва независимый эксперт НИУ ВШЭ, а затем экспертная комиссия вуза. Они обращали внимание не только на корректность постановки задач и достоверность фактологических ответов GigaChat, но и на качество выполнения творческих заданий.