Алленовский институт разрабатывает открытую языковую модель для исследовательских работ

Количество ИИ-инструментов, способных выполнять разноплановые задачи с текстом, растет с каждым днем. Однако большинство современных языковых моделей являются закрытыми, что лишает сторонних исследователей возможности изучать принципы их работы. Институт AI2 занялся разработкой открытой большой языковой модели с целью создать инструмент для научно-исследовательских работ.

Алленовский институт искусственного интеллекта (AI2) - некоммерческая организация, занимающаяся исследованиями в области машинного обучения. Разрабатываемая им языковая модель получила предварительное простое название Open Language Model (OLMo). Работа над инструментом будет проводиться в сотрудничестве с производителем микросхем AMD и стартапами по обработке данных для тренировки языковых моделей.

По словам старшего директора по исследованиям НЛП в AI2 Ханны Хаджиширзи, исследовательско-технологические сообщества нуждаются в доступе к открытым языковым моделям для продвижения и развития науки, для чего институт и создаёт конкурентоспособную языковую модель.

Безусловно, OLMo будет не первой языковой моделью с открытым исходным кодом - помимо неё уже существуют такие примеры, как Bloom и Llama. AI2 рассматривает OLMo не только как модель, но и как платформу, с которой исследователи смогут брать отдельные разработанные институтом компоненты - либо для использования в своих проектах, либо для попыток улучшения и оптимизации инструмента. По словам Хаджиширзи, вся работа над OLMo будет выложена в открытый доступ, включая публичную демо-версию инструмента, набор обучающих данных и API.

Мы разрабатываем OLMo, чтобы предоставить сообществу исследователей искусственного интеллекта более широкий доступ к работе непосредственно над языковыми моделями. Мы считаем, что широкая доступность всех компонентоа OLMo позволит исследователям изучать и улучшать то, что мы создаём. Наша конечная цель — совместными усилиями создать лучшую модель открытого языка в мире.

Ханна Хаджиширзи

Значимое отличие OLMo от аналогичных больших языковых моделей, по словам разработчиков, заключается в том, чтобы она будет целенаправленно натренирована лучше работать с текстами образовательного формата (учебниками, научными статьями и т. д.), чтобы стать «уникально подходящей» системой для научно-академических инструментов.

Как и в случае со многими инструментами генеративного ИИ, перед AI2 стоит вопрос определения прав на владение контентом, который будет генерироваться с помощью OLMo. Для определения прав интеллектуальной собственности и оценки вопросов конфиденциальности команда института планирует работать с юристами и сторонними экспертами на протяжении всего процесса создания модели.

По словам Хаджиширзи, AI2 также будет использовать все возможные опции для снижения риска использования языковой модели в злоумышленных и вредоносных целях.

Институт планирует потратить на разработку модели около года и выпустить публичную демо-версию в 2024 году. По информации от разработчиков, у OLMo будет около 70 миллиардов параметров. Обучение начнётся в ближайшие месяцы и будет проходить на LUMI - самом мощном современном суперкомпьютере.

Если вам понравилась статья, поделитесь ею в своем блоге или поставьте нам оценку, чтобы о проекте узнало как можно больше читателей!

0
7 комментариев
Написать комментарий...
Степан Ураган
Ответить
Развернуть ветку
Света Бабич

страшно,очень страшно. Но статья крутая

Ответить
Развернуть ветку
Джимми Нейтрон

Пхахпхапа

Ответить
Развернуть ветку
Джем клубничный

То есть скоро можно будет перестать общаться с реальными людьми и просто общаться с ИИ?

Ответить
Развернуть ветку
Olga Bubnova

Такой прогресс только радует

Ответить
Развернуть ветку
Двайт

Мда, треш

Ответить
Развернуть ветку
Оксана Прокофьева

Спасибо за статью, очень интересный контент

Ответить
Развернуть ветку
4 комментария
Раскрывать всегда