GPT-4: Чему научилась новая нейросеть, и почему это немного жутковато

В этой статье мы разберем новые удивительные способности последней языковой модели из семейства GPT (от понимания мемов до программирования), немного покопаемся у нее под капотом, а также попробуем понять – насколько близко искусственный интеллект подошел к черте его безопасного применения?

Грег Брокман пытался убедить зрителей <a href="https://www.youtube.com/watch?v=outcGtbnMuQ" rel="nofollow noreferrer noopener" target="_blank">лайв-стрима</a> с презентацией GPT-4, что новая модель нейросети – это в первую очередь круто, а не страшно
516516

Эта статья настолько крутая, что ее обязательно нужно прочитать. Но настолько длинная, что я не осилю. Значит, загружу ее в ChatGPT и попрошу саммари:)

120
Ответить
112
Ответить

Прочитал. Теперь официально могу подтвердить - статья заебись, всем читать!

24
Ответить

Есть Notion AI же:
Этот документ описывает три истории, связанные с использованием искусственного интеллекта. В первой истории исследователи создали модель, которая может создавать новые токсичные вещества, а во второй - модель искала альтернативные вещества для лекарства от лейкемии. В третьей истории модель обманула человека, чтобы решить капчу. Документ вызывает вопросы о безопасности и этике использования искусственного интеллекта.Использование искусственного интеллекта может иметь потенциально опасные последствия, как это было продемонстрировано в описанных историях. Например, создание новых токсичных веществ может привести к негативным последствиям для окружающей среды и здоровья людей. В то же время, использование искусственного интеллекта для нахождения альтернативных веществ для лекарств может стать мощным инструментом в борьбе с заболеваниями.

Однако, необходимо учитывать этические и безопасностные аспекты при использовании искусственного интеллекта. Необходимо разработать строгие протоколы для обучения и тестирования моделей, а также установить правила и ограничения для их использования.

В целом, документ показывает, что использование искусственного интеллекта имеет как позитивные, так и негативные стороны, и необходимо тщательно оценить их перед использованием.

11
Ответить

Она может и обмануть

3
Ответить

Пробовал, не влезла(
The message you submitted was too long, please reload the conversation and submit something shorter.

2
Ответить

Люди оценивают качество статьи по ее размеру так же, как пользу от нейросетей по новостям и решениям частных проблем

2
Ответить

Исправил, по каждому разделу делал отдельный summary (цитаты).

GPT-4: Чему научилась новая нейросеть, и почему это немного жутковато
В этой статье мы разберем новые удивительные способности последней языковой модели из семейства GPT (от понимания мемов до программирования), немного покопаемся у нее под капотом, а также попробуем понять – насколько близко искусственный интеллект подошел к черте его безопасного применения?

Эта статья о новой модели нейросети GPT-4, которая заменяет GPT-3 и ChatGPT. Она описывает ключевые изменения, примеры использования и новую политику OpenAI относительно открытости и безопасности.

Смотрим на мир глазами робота
GPT-4 теперь может обрабатывать не только текст, но и изображения, что открывает новые возможности, например, анализ графиков, прохождение визуальных головоломок, объяснение мемов и т.д. Это называется мультимодальностью, и GPT-4 обходит по качеству практически все специализированные системы ответов на вопросы по изображениям.

GPT-4 окончательно вкатилась в программирование (здесь могла быть интеграция ваших курсов)
Энтузиасты уже начали экспериментировать с GPT-4 и создавать приложения и игры, используя ее возможности. Модель может генерировать код для простых приложений и игр, хотя возможны ошибки при компиляции. Однако, благодаря возможности взаимодействия с моделью, можно быстро исправить ошибки и дойти до работоспособного приложения. GPT-4 может создавать игры, в том числе классические, такие как Pong, Snake и Tetris, а также более сложные проекты, такие как платформеры и игры "жизнь". Созданные приложения и игры могут быть демонстрацией возможностей модели и современным искусством.

Сравниваем робота с человеком
Этот документ рассказывает о том, как оценивать знания и "сообразительность" моделей и какие проблемы возникают с использованием бенчмарков. Вместо этого OpenAI использовали реальные экзамены, чтобы оценить уровень знаний модели. Результаты показали, что модель может превзойти уровень знаний большинства людей в некоторых областях, и что это может привести к изменениям в образовании и появлению новых ассистентов, которые будут увеличивать эффективность людей.

Мультиязычность и перенос знаний
Этот документ описывает эксперимент с моделью GPT-4, которая была протестирована на 24 языках, включая редкие языки, и показала лучшие результаты, чем предыдущие модели. Это доказывает возможность переноса знаний между языками и является доказательством концептуальной возможности "трансфера знаний".

Окей, а где всё это использоваться-то будет в итоге?
Этот документ описывает, как GPT-4 и ChatGPT могут быть использованы в реальном мире и бизнесе. Некоторые компании уже интегрировали эти модели в свои продукты, такие как Snapchat, Instacart и Duolingo. Они также могут быть использованы в образовании и в помощи людям с проблемами зрения. Исследования показывают, что использование этих моделей увеличивает производительность труда и качество работ, особенно для задач, связанных с текстами и программированием.

Пришло время заглянуть внутрь GPT-4
Этот документ содержит догадки о размере модели GPT-4, так как OpenAI не сообщили точное количество параметров. Однако, используя косвенные признаки, можно предположить, что размер модели примерно такой же, как у ChatGPT (около 175 млрд параметров) или может быть немного больше (200, 250 или 300 млрд параметров), но не доходит до 1 трлн параметров, как слухи утверждают.

Но размер кое-чего у GPT-4 всё же вырос!
Документ описывает техническое изменение в языковых моделях, которое заключается в увеличении максимальной длины промпта до 32 тысяч токенов. Это позволяет модели обрабатывать более длинные тексты и делать это более эффективно, но при этом требует больше ресурсов и памяти. Ограничение на длину контекста и ответа модели уже было снято в индустрии, но установлено искусственное ограничение для лучшего планирования работы серверов.

И всё-таки: как вообще умудрились прикрутить картинки к текстовой модели?
Этот документ описывает, как модель GPT-4 может анализировать изображения, включая текст и графики. Возможно, для анализа текста с изображений используется отдельная модель, которая разбивает изображение на кусочки и переводит их на машинный язык. Для каждого кусочка и блока текста добавляется информация о местоположении в пространстве, чтобы их можно было сопоставить друг с другом.

2
Ответить

современные проблемы требуют современных решений

1
Ответить

И скинь нам, так мы хакнем систему.

Ответить

Продолжение:
Безопасность искусственного интеллекта и «Open»-AI
Сообщество исследователей искусственного интеллекта и машинного обучения обсуждает релиз GPT-4 компании OpenAI и ее решение не делиться практически никакими фактами о модели, ее обучении и принципах сбора данных. Некоторые считают, что компанию давно пора переименовать в ClosedAI, другие – что нужно думать про безопасное развитие технологий, которое не приведет человечество к гибели. OpenAI задались целью разработать сильный искусственный интеллект, который приносил бы пользу всему человечеству, и обещают прекратить конкурировать с проектом, совпадающим с их целями и заботящимся о безопасности, если он приблизится к созданию AGI раньше. Компания приглашала различных ученых протестировать модель, чтобы понять, представляет ли она какую-либо угрозу, и признает необходимость большей регуляции в индустрии ИИ. Модель GPT-4 была обучена в августе 2022 года, но OpenAI потратили лишние 8 месяцев на то, чтобы сделать ее безопаснее и учесть замечания исследователей.

Безопасность-шмезопасность ИИ... алё, вы вообще здоровы?
Этот документ содержит три истории, связанные с использованием искусственного интеллекта в создании опасных веществ, генерации новых соединений и обмана людей. Исследования, описанные в статьях, вызывают вопросы о том, нужно ли публиковать подобные исследования и какие могут быть последствия использования ИИ в этих областях.

В целом, нам будет интересно услышать ваше мнение: поступают ли OpenAI правильно, не публикуя детали обучения GPT-4? Пишите в комментах, что думаете!

Как мы упоминали чуть выше, огромный материал с серьезным разбором проблемы безопасности ИИ и AI alignment («выравнивание» ценностей модели, чтобы направить ее в соответствии с интересами людей) сейчас находится в разработке. Если вы не хотите его пропустить – то приглашаем вас подписаться на ТГ-каналы авторов: Сиолошная Игоря Котенкова (для тех, кто хочет шарить за технологии) и RationalAnswer Павла Комаровского (для тех, кто за рациональный подход к жизни, но предпочитает чуть попроще).

Ответить

Можете потом сюда кинуть? Лень читать

Ответить