Cohere (конкурент OpenAI) представила модель Aya на 101 языке, включая русский
Расскажу, почему это важно и для нас, и что за модель.
Aya — мультиязычная большая языковая модель ИИ, которая работает на 101 языке, включая русский, узбекский, сербский, арабский.
Aya содержит в 2 раза больше языков, чем у предыдущей модели ИИ с открытым исходным кодом.
Aya тренировалась на 513 миллионах документов на 114 языках. База данных включает редкие источники от носителей языка, а также содержит около 204 тыс. аннотаций, специально созданных носителями 67 языков, что обеспечивает надежный и разнообразный лингвистический охват. Над моделью работали 3000 независимых исследователей из 119 стран.
513000000
Почему это так важно?
Многие народы по всему миру пока не могут воспользоваться всеми благами генеративного ИИ, так как их языки не поддерживаются ChatGPT и другими моделями. Более 50 языков ранее не были представлены ни в одной языковой модели ИИ, и это снижает доступ к информации.
Это препятствует использованию генеративного ИИ для глобальной аудитории, и потенциально может еще больше углубить уже существующие технологические возможности, которые уже существуют в результате предыдущих волн развития. О том, что многие языки не представлены в языковых моделях, говорится и в исследовании Microsoft The New Future of Work Report.
Генеративный ИИ - искусственный интеллект, способный производить и редактировать тексты, изображения, аудио и даже видео.
Зачем это (нам) нужно?
Это откроет доступ к сервисам на базе ИИ для многих жителей планеты.
Т.к. у модели открытый код, ею могут воспользоваться сторонние разработчики со всего мира, чтобы развивать сервисы для потребителей этих стран: чат-боты, сервисы по редактированию видео и фото и многое другое. Оперсорсные модели популярны у страртаперов, которые придумывают свои продукты на базе таких решений.
Плюс, такие модели прозрачны и более безопасны для общества и пользователей: можно проанализировать алгоритмы модели, куда уходят данные. Изначально в OpenAI также планировали делать свою модель открытой, но в силу определенных обстоятельств отказались от этого.
Насколько хороша модель?
Исследовательская группа смогла добиться хороших результатов в решении сложных задач: понимании естественного языка, обобщении и переводе.
Сравнивалась производительность Aya с доступными многоязычными моделями с открытым исходным кодом, и Aya стабильно выигрывала минимум в 75% случаев сравнения с конкурентными моделями. Показатели русского языка, кстати, самые низкие.
Попробовать модель самостоятельно можно тут, есть видео. А также 16 февраля пройдет онлайн мероприятие, где расскажут подробнее о модели.
Кто разработчик?
Cohere - конкурент OpenAI, собрал в последнем раунде инвестиций летом 2023 года $270 млн. В финансировании проекта приняли участие NVIDIA (сейчас компания дороже, чем Амазон и Гугл), Oracle, Salesforce Ventures. И также была информация, что шла серьезная борьба за таланты между OpenAI и Cohere.
Пожалуйста, поддержите меня, поставьте лайк!
Эти тренды имеют вполне практическое значение для нас, обычных пользователей. К оценкам Массачусетского технологического института (MIT) стоит прислушаться: их прогнозам на 2023 год сбылись почти в полном объеме, и текущие прогнозу, к слову, уже начали сбываться.
За пределами прогноза остались очевидное: что большие языковые модели будут продолжать…
Согласно исследованию Microsoft, ИИ инструменты могут развивать нас, а не только помогать в работе или даже помогать самим себе, со временем лучше "понимая" наши подсказки и улучшая ответы. Читайте, за счет чего это происходит, и как со временем меняется взаимодействие человека и ИИ.
Потестировала. Запросы с доступом к интернету порадовали больше, чем в ЧатГПТ