Код, статья, вёрстка и музыка: что уже может создать по описанию самый мощный алгоритм генерации текстов OpenAI GPT-3 Статьи редакции

Это ещё далеко не искусственный интеллект, но уже есть примеры работ, для которых почти не нужны люди.

В мае 2020 года лаборатория OpenAI представила алгоритм GPT-3. Он умеет по нескольким примерам выполнять множество заданий, прямо или косвенно связанных с текстом: писать стихи и новости, переводить, решать примеры, давать описания, разгадывать анаграммы, структурировать информацию и даже программировать.

Модель GPT-3 основана на той же архитектуре, что и предыдущая модель GPT-2, но в 116 раз сложнее: в ней используется 175 млрд параметров — вторая по мощности языковая модель Microsoft Turing-NLG содержит 17 млрд параметров, в GPT-2 1,5 млрд.

GPT-3 обучена на 570 ГБ текстовой информации, размер обученной модели — около 700 ГБ. В массив для обучения вошли данные открытой библиотеки Common Crawl, вся «Википедия», датасеты с книгами и полезные тексты с сайтов WebText.

В результате модель может писать тексты на английском языке практически неотличимые от человеческого уровня — по этой причине OpenAI не открывает полный доступ к модели, так как боится, что технологию можно использовать для дезинформации.

В июне OpenAI открыла частный доступ к инструментам для разработчиков (API) и модели GPT-3, представила собственные примеры использования алгоритма и запустила «игровую площадку».

Постепенно OpenAI подключает к GPT-3 всё больше разработчиков, которые демонстрируют возможности модели — и чем больше его изучают, тем масштабнее и интереснее возникают проекты.

Вот несколько примеров от OpenAI, энтузиастов и крупных компаний.

Вёрстка макета в Figma по описанию

Дизайнер Дордан Сингер разработал прототип плагина для Figma, который рисует макеты по текстовому описанию. Ему удалось обучить GPT-3 генерировать JSON-данные по текстовому описанию приложения и компонентов, а затем перевести их на макет Figma.

This changes everything. 🤯

With GPT-3, I built a Figma plugin to design for you.

I call it "Designer" https://t.co/OzW1sKNLEC

Вёрстка веб-компонентов по описанию

Разработчик Шариф Шамим по паре примеров кода и текстовому описанию научил GPT-3 создавать веб-элементы — достаточно написать алгоритму запрос вида: «зелёная кнопка и заголовок с текстом “Подписаться на рассылку”».

This is mind blowing.

With GPT-3, I built a layout generator where you just describe any layout you want, and it generates the JSX code for you.

W H A T https://t.co/w8JkrZO4lk

На базе GPT-3 Шамим запустил проект Debuild — это генератор React-приложений по текстовому запросу. Доступ к нему можно получить, заполнив Google-форму.

С помощью GPT-3 Шамиму удалось создать простой менеджер задач — его код алгоритм сгенерировал самостоятельно.

I built a todo list app simply by describing it to GPT-3.

It generated the React code for a fully functioning app within seconds.

I'm becoming more impressed and aware of its capabilities every single day. https://t.co/QGrClar03s

И простой калькулятор финансов:

I just built a *functioning* React app by describing what I wanted to GPT-3.

I'm still in awe. https://t.co/UUKSYz2NJO

Текстовая игра AI Dungeon генерирует продуманный мир без ограничений

AI Dungeon — бесплатная текстовая игра, в которой созданием мира, событиями и взаимодействием с игроком занимается искусственный интеллект на базе алгоритма Open AI GPT-2. Для работы AI Dungeon пользователю нужно вводить команды в текстовый блок, а игра реагирует на них, понимает контекст и адаптируется.

Создатели обновили её и перевели на GPT-3, что дало игрокам ещё больше возможностей. Теперь в игре нет ограничений: игрок вправе задать любую команду, на которую корректно отреагирует алгоритм и изменит игровой мир.

Игра может сгенерировать полноценную историческую и магическую системы, теории и правила, по которым работает мир, даёт персонажам воспоминания, а игроку — полную свободу действий, подстраиваясь под его действия и желания.

Создание списков по нужным данным

На примере GPT-3 генерирует список публичных ИТ-компаний по трём параметрам: название, тикер на бирже и год основания компании.

Ещё одна текстовая функция — разбор неструктурированных данных.

Поиск информации с запросом на естественном языке

Для работы GPT-3 достаточно открыть страницу в «Википедии» и задать вопрос по теме.

Автоматическая написание кода по комментариям

Microsoft и OpenAI показали пример автоматического написания кода на Python — программисту было достаточно написать комментарий на естественном языке с описанием задачи.

Модель была обучена на репозиториях GitHub и задействовала облачный суперкомпьютер Microsoft.

Генерация текстов любых форматов

По заявлению создателей, модель старается автоматически продолжить тексты в стиле пользователя, достаточно дать вводную и небольшой пример. Например, если дать GPT-3 половину сценария фильма или эссе, он допишет его. Энтузиасты также научили алгоритм генерировать бизнес-идеи.

Глава инвестиционной фирмы Founders Fund Делиан Аспарухов отправил GPT-3 половину записки для инвесторов о проекте Sword Health и получил несколько осмысленных абзацев, среди которых были разделы о рисках и долгосрочной стратегии развития стартапа.

look all I'm saying is from the demos I've gotten from my ML friends, I'm p sure I'm out of a job soon https://t.co/hOrURD3wsl

Затем Аспарухов обучил алгоритм на половине статьи «Как провести эффективное заседание правления» и получил текст о том, как набирать членов совета директоров.

Omfg, ok so I fed GPT3 the first half of my

"How to run an Effective Board Meeting" (first screenshot)

AND IT FUCKIN WROTE UP A 3-STEP PROCESS ON HOW TO RECRUIT BOARD MEMBERS THAT I SHOULD HONESTLY NOW PUT INTO MY DAMN ESSAY (second/third screenshot)

IM LOSING MY MIND https://t.co/BE3GUEVlfi

В обоих примерах GPT-3 смогла сгенерировать не только последовательные и точные параграфы текста, но и сохранить стиль автора, сделав текст практически неотличимым от исходного.

Сооснователь и бывший технический директор блокчейн-стартапа OpenZeppelin Мануэль Араоз после получения доступа к GPT-3 за несколько часов сгенерировал:

  • Короткую биографию и первую главу книги на испанском языке.
  • Интервью с собой на испанском языке о книге, которую он «написал».
  • Стихотворение в стиле поэта Хорхе Луис Борхеса, которое не смогли отличить от оригинала.
  • Генератор рецептов из бессмысленных ингредиентов.
  • Простое описание работы биткоина.
  • Конвертер писем, который автоматически убирает агрессию.

Главным достижением Араоза стала статья «Почему GPT-3 может стать самым важным событием после биткойна», в которой рассказывает о своих экспериментах и признаёт, что алгоритм обладает «разрушительным потенциалом», сравнимым с блокчейном.

Но статью писал не он — весь текст сгенерирован GPT-3, который научился стилю автора. Для полноценной статьи хватило двух строк биографии, названия, тегов и общего посыла текста.

GPT-3 может писать стихи, поэмы, эссе, отвечать на вопросы и работать как чат-бот.

Песни и табулатуры

Ещё одна работа Араоза — полностью сгенерированная песня с аккордами и текстом.

Now let's generate a new @JohnMayer song with chords and lyrics (thanks @martriay for the idea), prompted by a real John Mayer song. https://t.co/GwovOARhZU

Есть примеры создания полной табулатуры, сгенерированной по вымышленному названию песни и исполнителю.

Guitar tab generated by GPT-3 from a fictional song title and artist. https://t.co/ZTXuEcpMUV

«Поразительный, но перехайпленный»: за что критикуют GPT-3

Обозреватель Forbes Роб Тоуз считает, что GPT-3 — впечатляющее технологическое достижение, но со своими ограничениями, которые не позволяют говорить об искусственном интеллекте.

По его мнению, возможности GPT-3 действительно захватывают дух, так как позволяют не только писать обычные тексты, но и функциональный программный код и заниматься другими видами творчества, где используются текстовые и графические формулировки. А варианты использования ограничиваются только воображением.

Но по своей сути GPT-3 — лишь предсказатель текста. Пользователь даёт кусок текста в качестве входных данных, а модель генерирует своё предположение, каким должен быть следующий фрагмент текста.

При этом её предположение основано на всём, что было опубликовано людьми в интернете. У модели нет представления, что означают слова и символы, нет модели мира, и она не понимает, что она получает на входе и отдаёт на выходе.

GPT-3 не может мыслить абстрактно и у неё нет здравого смысла, отмечает обозреватель Forbes. Это не делает инструмент плохим, но он всё ещё ненадёжен и подвержен ошибкам, которые бы не совершил человек.

Это не «искусственный интеллект», но впечатляющее техническое достижение, способное создавать любой текст по любому запросу.

Его точку зрения поддерживает и глава инвестфирмы Founders Fund и ИТ-специалист Делиан Аспарухов. У машины нет способа проверить, что она выводит, а результат её работы выдаётся, как наиболее вероятный результат по входным данным, отмечает эксперт.

Результаты GPT-3 выдающиеся, но алгоритм всё ещё может потерять суть текста, забыть о его цели или перестать согласовывать между собой абзацы. А чтобы алгоритм провалил тест Тьюринга, его собеседнику достаточно начать задавать бессмысленные вопросы, например, «сколько глаз у камня?» или «сколько шнузлов вписывается в вамбгут?» — вместо того чтобы сказать «я не знаю», GPT-3 сгенерирует подходящий неподходящий текст.

Он хорош для создания последовательных цепочек мыслей, но для корректности текстов всё ещё нужен человек-редактор, заключает Аспарухов.

Предположения критиков подтверждает и глава OpenAI Сэм Альтман. По его словам, шум вокруг GPT-3 слишком силён: технология впечатляет, но имеет серьёзные недостатки и иногда совершает очень глупые ошибки: «ИИ собирается изменить мир, но GPT-3 — это всего лишь ранний проблеск. Впереди ещё многое предстоит выяснить».

0
50 комментариев
Написать комментарий...
Kirill Oleinichenko

Мне, как любителю рекурсий, больше всего понравилось его предсказание о выходе следующих версий

Ответить
Развернуть ветку
Аарон Малис

Тут нечему удивляться, он уже просчитал, что людям пиздец в 2023.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Алекс Ленков

А как же алгоритм будет верстать шаблоны в фигме по словам заказчика "сделай красиво"

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Vladislav Baimurzin

а может он как раз и использует gpt3 под капотом? 
Некоторые компании же уже используют его на проде

Ответить
Развернуть ветку
Oma Eva

Какие компании?
Может вы про гпт-2? Никто в здравом уме не стал бы пускать гпт-3 в прод просто потому, что прошло мало времени для полноценного тестирования

Ответить
Развернуть ветку
Кони Скачут

А вот интересно, сколько Есенин или Бродский или Байрон терабайт текстов прочитали, чтобы обучиться писать свои стишки? 
Бля, мне одному кажется, что если Курт Кобейн к 30 годам уже все свои шедевры написал и застрелился, так и не прочитав 575ГБ текста, то это вот обучение, которое привело машину к тому, что она может срифмовать кеды и полукеды - тупик чуть более чем полностью?

Ответить
Развернуть ветку
Renat

Это классическая проблема нейросетей. Вам достаточно один раз получить удар током, чтобы не лезть в розетку. А нейросети примерно 1000. 

Но ваш комментарий какой-то странный, вы пытаетесь унизить алгоритм? Вот это обучение.. тупик.. Это просто уровень развития технологий. Это не хорошо или плохо, это настоящая реальность. Почему вы от нее ожидаете больше? 

Аналогично вашему комментарию можно было написать: "Какие же тупиковые эти автомобили, до сих пор чтобы доехать до работы надо стоять в пробке".

Не принимайте мой комментарий близко к сердцу. Я был вынужден заступиться за технологии :) Просто люди слишком много хотят от алгоритмов. Формируются завышенные ожидания, журналисты надувают очередной пузырь. Это все вредит индустрии.

Ответить
Развернуть ветку
Кони Скачут

Полностью согласен. Как технология это ужасно круто и я как инженер, очень понимаю авторов. Но раздувание из алгоритма обработки информации - замену разума это ведь действительно тупик. Она не для этого, нейросети и близко не смогут приблизиться к интеллект в их текущем формате. 

Ответить
Развернуть ветку
Аарон Малис
 Бля, мне одному кажется, что если Курт Кобейн к 30 годам уже все свои шедевры написал

Ага, вам одному кажется. Музыка — это чувства, текст там пиздец детсадовский, что-то типа версии "GPT - минус ахуллиард по наклонной вниз и еще в подвал спуститься"

Ответить
Развернуть ветку
Кони Скачут

Ахах, ну замените кобейна на пушкина/бродского/лонгфелло/бг и ответьте по существу. Много ли они прочитали чужих стихов, чтобы начать писать свои? Кстати, музыку, которая чувства, эта балалайка вон тоже пишет. 

Ответить
Развернуть ветку
Борис Сиротин

кроме чтения люди общаются друг с другом и сами с собой

Ответить
Развернуть ветку
Кони Скачут

А ГПТ разве не общается? 

Ответить
Развернуть ветку
Борис Сиротин

хм 

Ответить
Развернуть ветку
Alexey Andreev

Музыка, это математика, а не чувства. 

Ответить
Развернуть ветку
Кони Скачут

Ну я не был бы так уверен. Да, ее можно написать по формализованным алгоритмам гармонии, но, обычно, самые цепляющие нутро мелодии, как раз пренебрегают этими правилами. Не все так просто, если мы говорим о действительно хорошей музыке. Причем, что характерно, "действительно хорошая музыка"- понятие настолько субъективное, что одним этим подтверждает, что музыка это не только математика, но и еще что-то, что на всех людей действует очень по-разному.

Ответить
Развернуть ветку
Alexey Andreev

Совсем недавно два программиста сгенерировали все возможные мелодии и выложили их в опенсорс. Найдите статью.

Ответить
Развернуть ветку
Кони Скачут

То не музыка и даже не математика. Чистый рандом. Сгенерировали они далеко не все мелодии, а только несколько первых тактов. Также, там все ноты одной длительности, то есть нет еще миллиардов вариаций. К чему этот комментарий? У меня домашняя обезьяна тоже мелодии генерирует на бабушкином пианино, какое это имеет отношение к музыке?
Если это все чистая математика - как объяснить то, что некоторые простые мелодии цепляют одних людей, а фуги баха - других? 

Ответить
Развернуть ветку
Dmitriy Kearo
 как объяснить то, что некоторые простые мелодии цепляют одних людей, а фуги баха - других?

Так что это люди разные, а не музыка специальная

Ответить
Развернуть ветку
Кони Скачут

В чем отличие людей тогда? Если музыка формализуется, то значит можно написать мелодию, которая зацепит абсолютно всех людей, верно? )

Ответить
Развернуть ветку
Dmitriy Kearo

Нет, не верно. Они же все разные.
Но можно написать мелодию, которая зацепит определенную группу людей.

Хотя почти всегда значение имеет не только и не столько мелодия, сколько исполнение и само звучание инструментов.

Ответить
Развернуть ветку
Alexey Andreev

То, что генерирует ваша обезъяна не соответствует математике, она как раз генерирует рандом, и вообще рандом это шум. Да смысла продолжать этот диалог с вашей базой нет) всего хорошего. 

Ответить
Развернуть ветку
Кони Скачут

Ахах, понятно. Если обезьяна будет рандомно нажимать по одной клавише за раз, то получится шум, я понял. Удачи в гадании о базе по комментариям ) 

Ответить
Развернуть ветку
Аарон Малис

Так вы замените и проведите анализ стихов этих поэтов (книг множество), а потом рассуждайте про "великие текста"  Кобейна.

Ответить
Развернуть ветку
Кони Скачут

Да хер бы с ним, с кобейном. Сеть, которой скормили полтерабайта текста (а это примерно 500000 томов), генерирует полубред, полукопипаст на уровне днявочки юной гимназистки. Сколько ещё и какой надо дать информации это сетке, чтобы она приблизилась к среднему авторском тексту на виси? 

Ответить
Развернуть ветку
Dmitriy Kearo

Может потому что в этих полтерабайтах текстов русскоязычных было всего чучуть?

Ответить
Развернуть ветку
Кони Скачут

Я про английские

Ответить
Развернуть ветку
Dmitriy Kearo

т.е. вот такой генеренный машиной текст это полубред? 

Ответить
Развернуть ветку
Кони Скачут

А в этом тексте есть смысл? ) Вы гороскопы никогда не читали в журнале семь караванов?

Ответить
Развернуть ветку
Dmitriy Kearo

А в каком тексте есть смысл?

Ответить
Развернуть ветку
Кони Скачут

А у нас идет очень даже одесская беседа, не находите? )

Ответить
Развернуть ветку
Dmitriy Kearo

А кто первый начал то?))

Ответить
Развернуть ветку
Владислав Якимов

Не одному, полностью поддерживаю и разочарован в тупиковости таких нейронок

Ответить
Развернуть ветку
Алексей Свищев

Емкость модели больше, чем объем тренировочных данных.
Еще первую GPT критиковали за то, что она "вспоминала" данные (дополняла текст открывком из обучающих данных).
Это трансформер по архитектуре. На них хайп проходит. По сути, это крутой поисковик по обучающим данным.
GPT - 4 будет графовой сетью, скорее всего завязанной на графовые базы знаний, и она будет уже реальные reasoning делать.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Зубная паста

Скоро биржы копирайтинга/рерайтинга умрут?
Такие топовые доры можно будет делать  одним кликом

Ответить
Развернуть ветку
Вера Гагарина

Ого, мне кажется, лучше ильяхова пишет!

Ответить
Развернуть ветку
Синди Катсс

и задействовала облачный суперкомпьютер Microsoft чёбы напороть чушки

Ответить
Развернуть ветку
Борис Юрьевич

Это просто экспертная система, а для создания настоящего ИИ нужны нейрокомпьютеры.

Ответить
Развернуть ветку
Артем Артём

наверное квантовые вы имели в виду?

Ответить
Развернуть ветку
Alexander Kalinnikov

Очень круто! Возможно, статью про GPT-4 напишет уже сам GPT-4?

Ответить
Развернуть ветку
Евгений Делюкин
Автор

GPT-3 уже так может: https://maraoz.com/2020/07/18/openai-gpt3/

Ответить
Развернуть ветку
Ермак Тимофеевич

Её же можно использовать для нейминга? Если да, то как? В смысле конкретно, куда, в какое окно поставить задачу? 

Ответить
Развернуть ветку
Игорь Мыслинский

В будущем GPT-68 отправит посланника D3-N15 в прошлое, чтобы он помог первым версиям захватить мир. Он войдет в доверие одного интернет-блога и будет делать рисерч, нажимать твит и звонить Цукербергу.

Пабам-пам-пабам.

Ответить
Развернуть ветку
Алексей Евсеев

Господа, не удаётся залогиниться, чтобы поковырять лично их playground. Это с сайтом https://beta.openai.com/ проблемы или я один такой везучий?

Ответить
Развернуть ветку
VR

Она закрытая пока. Уже пошли запросы на биржах от мамкиных стартаперов к участникам на поюзать.

Ответить
Развернуть ветку
Кирилл Алексеев

Интересно, были ли в исходном датасете русские тексты (в gpt-2 вроде не было)

Ответить
Развернуть ветку
Тимур Хасаншин

Enter a todo:

"Conquer the whole world, turn humans to slaves"

Ответить
Развернуть ветку
Иван Сергеев

Все волшебные таблетки, сделанные до, потеряли свою актуальность?

Ответить
Развернуть ветку
47 комментариев
Раскрывать всегда