OpenAI представляет «Project Strawberry»

OpenAI снова расширяет границы искусственного интеллекта, представляя новую ИИ-модель под названием «Project Strawberry», о которой пока не сообщалось. Эта инициатива, ранее известная как Q*, направлена на значительное расширение возможностей ИИ-моделей в области мышления.

Согласно недавним утечкам от Bloomberg и Reuters, OpenAI добивается прогресса в создании ИИ-моделей, способных планировать, автономно ориентироваться в интернете и проводить то, что OpenAI называет «глубокими исследованиями».

По сути, OpenAI стремится сделать ИИ более похожим на человека.

По некоторым данным, OpenAI провела внутреннее тестирование модели, показав 90-процентный результат в сложном математическом тесте для ИИ. Однако они не смогли подтвердить, связано ли это с Project Strawberry.В то же время два других источника сообщили, что видели демонстрационные ролики проекта Q*, в которых модели решают сложные математические и научные вопросы, выходящие за рамки возможностей современных ведущих коммерческих ИИ.

Какие именно методы использовал OpenAI для расширения этих возможностей, пока неясно. В отчете Reuters упоминается, что проект Strawberry включает в себя тонкую настройку существующих больших языковых моделей OpenAI, которые уже были обучены на обширных наборах данных.

Этот подход, как сообщается, схож с тем, который описывается в работе 2022 года исследователей из Стэнфорда под названием Self-Taught Reasoner (STaR).

На рисунке выше внешний цикл тонкой настройки обозначен пунктирной линией. Предполагается, что вопросы и истинные ответы присутствуют в наборе данных, а обоснования генерируются с помощью STaR.

Несколько недель назад в интервью Dartmouth Engineering технический директор OpenAI Мира Мурати рассказала о следующем поколении ИИ, который, по ее словам, будет обладать интеллектом, сравнимым с интеллектом человека с докторской степенью.

Strawberry - это та модель, о которой она говорит?

Современные ИИ-модели отлично справляются с генерацией текста и выполнением конкретных задач, но им трудно даются сложные рассуждения, долгосрочное планирование и автономное принятие решений.
Однако важно учитывать более широкий контекст.
Поскольку Илья Суцкевер больше не является частью OpenAI, а ключевые члены команды согласования покинули компанию, растут опасения по поводу направления исследований OpenAI и безопасности продуктов, которые они выпускают на рынок.
Хотя я глубоко скептически отношусь к нынешней траектории развития, я не являюсь экспертом в области ИИ. Мои опасения связаны с быстрыми темпами развития и потенциальными последствиями этих передовых технологий.

Проект Q* получил широкую известность в 2023 году из-за драмы с Сэмом Альтманом и Ильей Суцкевером; на самом деле разработка велась с начала 2022 года.

Основные сроки разработки:

Архитектура Project Q* сочетает в себе большие языковые модели, обучение с подкреплением и поисковые алгоритмы. Она объединяет методы глубокого обучения, использованные в ChatGPT, с правилами, запрограммированными человеком. Эта ИИ-модель потенциально сочетает в себе Q-обучение и поиск A*.

Официального заявления от OpenAI нет, но термин «Q*» может быть связан с историей DeepMind, связанной с обучением с подкреплением. Изначально DeepMind использовала Q-обучение для обучения нейронной сети для игры в видеоигры Atari путем проб и ошибок, оптимизируя функцию, называемую Q-функцией, для оценки вознаграждения за различные действия.

Опираясь на эту основу, Q*, вероятно, представляет собой попытку объединить большие языковые модели с методами поиска в стиле AlphaGo, потенциально используя обучение с подкреплением для улучшения модели. Целью является создание системы, в которой языковые модели могут совершенствовать свои способности, «играя против самих себя» в сложных задачах рассуждения, расширяя границы возможностей этих моделей.

Хотя мы еще не знаем всех деталей, ясно, что они нацелены на что-то большое. Я скептически отношусь к тому, что Q*, или проект «Клубника», - это прорыв, который приведет к AGI. Я не верю, что он представляет угрозу для человечества. Однако он может стать значительным шагом на пути к созданию ИИ с общими способностями к рассуждению.

Важно понимать, что интеллект, будь то человеческий или искусственный, существует в различных диапазонах.

Как способность человека к рассуждению зависит от таких факторов, как IQ, так и ИИ-системы также имеют различные уровни возможностей в зависимости от их дизайна и обучения. Для многих промышленных и специализированных приложений современные ИИ-системы уже демонстрируют AGI-подобные способности, превосходя большинство людей в специфических задачах, связанных с анализом данных, распознаванием образов и логическими рассуждениями.

Однако человек по-прежнему сохраняет преимущество в таких областях, как общее мышление, здравый смысл, креативность и эмоциональный интеллект. Ключ к раскрытию действительно преобразующего потенциала лежит не в противопоставлении ИИ и человеческого интеллекта, а в их объединении.

#openai #ai #ии

Источник статьи на английском - здесь