GPT-4: Чему научилась новая нейросеть, и почему это немного жутковато

В этой статье мы разберем новые удивительные способности последней языковой модели из семейства GPT (от понимания мемов до программирования), немного покопаемся у нее под капотом, а также попробуем понять – насколько близко искусственный интеллект подошел к черте его безопасного применения?

Мы предполагаем, что вы уже читали нашу предыдущую большую статью про эволюцию языковых моделей от T9 до ChatGPT с объяснением того, чем вообще являются нейронки, и как они работают – так что мы не будем заново объяснять самые базовые вещи. Вместо этого мы сразу нырнем в детали свежевышедшей модели GPT-4.

Да, это наконец-то свершилось! OpenAI выбрали день числа Пи (14 марта), чтобы поделиться с общественностью информацией о выпуске своего нового продукта. GPT-4 – это новая флагманская большая языковая модель (Large Language Model, или LLM), которая пришла на смену GPT-3, GPT-3.5 и нашумевшей ChatGPT. Ниже мы обсудим ключевые изменения по сравнению с прошлыми поколениями, разберем ряд наиболее интересных примеров использования новой модели, а также поговорим про новую политику OpenAI относительно открытости и безопасности.

Кстати, этот материал есть еще и в формате видео:

Самое интересное изменение, которое сразу бросается в глаза в GPT-4 – это добавление второго типа данных, которые модель может получать на вход. Теперь помимо текстов ей можно скармливать изображения, причем даже не по одному – а сразу пачкой! Правда, на выходе она по-прежнему выдает только текст: ни на какую генерацию изображений, звуков или, тем более, видео (о чем ходили слухи и якобы «сливы» информации еще совсем недавно) можете даже не рассчитывать. При этом доступ к модели для широких масс пользователей пока ограничен исключительно текстовыми промптами, а работа с картинками находится в стадии тестирования и обкатки.

Какие возможности открывает это «прозрение» GPT-4? Например, можно засунуть в модель картинку, и задать ей какой-нибудь связанный с нарисованными там объектами вопрос. Нейросеть попробует разобраться сразу и в визуальных данных, и в текстовом промпте – и даст свой ответ.

Еще можно выдать GPT-4 какой-нибудь график и попросить сделать на базе него анализ. Или заставить ее проходить визуальную головоломку из теста на IQ. Ну и самая огненная вишенка на торте: модель способна объяснить вам мем!

И ответы на вопросы по изображению, и общий принцип работы с картинками уже существовали и до релиза GPT-4 – такие модели называют «мультимодальными», так как они могут работать сразу с двумя и более модальностями (текст, картинки, а в некоторых случаях – даже звук или 3D-модели). Но при этом новая GPT-4 начисто бьет практически все специализированные и узконаправленные системы ответов на вопросы по изображениям в самых разных задачах (ее результаты лучше в 6 из 8 протестированных наборов данных, причем зачастую более чем на 10%).

А вот ниже еще один скриншот с крышесносной демонстрации на онлайн-трансляции OpenAI, где набросок сайта от руки в блокноте превращается в настоящий сайт буквально в одно мгновение. Вот уж действительно – чудеса мультимодальности! В данном случае модель пишет код сайта, а затем он уже запускается в браузере.

То, насколько сильно развились навыки программирования у GPT-4 по отношению к ChatGPT, нам еще только предстоит узнать – однако уже за первые двое суток энтузиасты и твиттерские наклепали кучу интересных поделок. Многие пользователи выражают восторг по поводу того, что можно выдать GPT-4 верхнеуровневое описание простенького приложения – а та выдаст рабочий код, который делает именно то, что требуется.

За какие-то 20 минут можно сделать, например, приложение для ежедневной рекомендации пяти новых фильмов (с указанием работающих ссылок на трейлеры и сервисы для просмотра).

Вполне вероятно, кстати, что генерируемый моделью код не будет работать с первого раза – и при компиляции вы увидите ошибки. Но это не беда: можно просто скопипастить текст ошибки в диалог с GPT-4 и скомандовать ей «слушай, ну сделай нормально уже, а?» – и та реально извинится и всё пофиксит! Так что до стадии работоспособного приложения с гифки выше можно дойти буквально за 3-4 итерации.

Помимо всяких полезных приложений, GPT-4 способна прогать и игры: умельцы уже заставили ее сваять классический Pong, Змейку, Тетрис, го, а также платформер и игру «жизнь». Понятно, что это самые мейнстримные и популярные проекты, которые с одной стороны легко написать, но с другой – они всё-таки являются полноценными демонстрациями. Что-то похожее делала и ChatGPT, но у GPT-4 получается куда меньше ошибок, и даже человек совсем без навыков программирования вполне может сотворить что-то работоспособное за часик-другой.

Ну и отдельного упоминания в номинации «ШТА?» заслуживает разработанная нейросетью игра, в которой можно набигать и грабить корованы. Если это не чистой воды современное искусство – то я уж и не знаю, что им является...

Раз уж наша модель так насобачилась в простеньком программировании – хотелось бы попробовать как-то более адекватно оценить общий уровень ее умений и знаний. Но сначала давайте попробуем разобраться: а как вообще подходить к оценке знаний и «сообразительности» модели? Раньше для этого использовали специальные бенчмарки (наборы заданий, вопросов с проставленными ответами, картинок/графиков с задачками, и так далее). Но тут есть одна проблема – развитие технологий всё ускоряется и ускоряется, и бенчмарки уже не очень-то за этим развитием поспевают.

В начале 2000-х и 2010-х годов после создания набора данных требовалось 5+ лет, чтобы «роботы» смогли достичь планки, заданной человеком. К концу прошлого десятилетия некоторые бенчмарки, которые специально создавались с пониманием, что они непосильны нейронкам, закрывались менее чем за год. Обратите внимание на график выше: линии становятся всё вертикальнее и вертикальнее – то есть уменьшается интервал с публикации метода оценки способностей до того момента, когда модели достигают результата на уровне человека.

OpenAI в этом состязании между кожаными мешками и консервными банками пошли дальше, они спросили себя: мол, зачем нам пробовать создавать какие-то специальные тесты для модели, если мы хотим, чтобы она была такой же умной, как человек? Давайте просто возьмем экзамены из реального мира, которые сдают люди в разных областях, и будем оценивать по ним! Результаты для нас с вами (надеемся, эту статью читают в основном люди, а не языковые модели) получились довольно неутешительные, если честно:

На графике выше представлено более 20 реальных экзаменов по разным предметам, от международного права до химии. Причем сравнение здесь идет не с рандомами, а с людьми, которые к этим экзаменам действительно готовились! Да, в небольшой части тестов модель всё еще хуже специалистов, и показывает себя не лучше 30% людей, пришедших на реальное тестирование. Однако уже завтра модель может стать, например, вашим юристом-консультантом – ведь этот экзамен (как и ряд других) она сдала лучше, чем 90% людей, сильно перешагнув за проходной порог. Получается, люди тратят больше пяти лет, усиленно зубрят, не спят ночами, платят огромные деньги за образование – а модель их всё равно уделывает!

Это заставляет задуматься о двух вещах:

На всякий случай для скептиков уточним: модель обучалась на данных до сентября 2021-го (то есть, про то, что Илон Маск целиком купил Твиттер, GPT-4 пока не знает – можете ее этим фактом удивить при случае!). А для проверки OpenAI использовали самые последние общедоступные тесты (в случае олимпиад и вопросов со свободным ответом – распространенные в США Advanced Placement Exams) или приобретали свежие сборники практических заданий к экзаменам 2022–2023 годов. Специальной тренировки модели на данных к этим экзаменам не проводилось.

Для большинства экзаменов доля вопросов, которые модель уже видела во время тренировки, очень мала (меньше 10%) – а, например, для экзамена на адвоката (Bar exam) и вовсе составляет 0% (то есть модель не видела ни одного даже просто похожего вопроса заранее, и тем более не знает ответов). И на графике выше были представлены результаты, достигнутые уже после того, как исследователи выкинули все уже знакомые модели вопросы – так что сравнение было максимально честным.

Уже становится немного страшно, не правда ли? Продолжая тему оценки моделей хочется отметить, что не все бенчмарки уже побиты, и с 2020 года ведется активная разработка новых разносторнних способов оценки. Пример – MMLU (Massive Multi-task Language Understanding), где собраны вопросы из очень широкого круга тем на понимание языка в разных задачах. Всего внутри 57 доменов – математика, биология, право, социальные и гуманитарные науки, и так далее. Для каждого вопроса есть 4 варианта ответа, только один из которых верный. То есть случайное угадывание покажет результат около 25% правильных ответов.

Разметчик данных (обычный работяга, который однажды повелся на рекламу «вкатись в айти и заработай деньги, просто отвечая на вопросы»), имеет точность в среднем ~35%. Оценить точность экспертов сложно, ведь вопросы очень разные – однако, если для каждой конкретной области найти эксперта, то в среднем по всем категориям они коллективно зарешивают около 90% задач.

До релиза GPT-4 лучший показатель был у модели Google – 69%, nice! Но просто побить этот результат для команды OpenAI – это такое себе достижение (можно сказать, это было бы ожидаемо). И они решили добавить в это «уравнение» еще одну переменную – язык.

Тут вот в чем дело: все задачи по 57 темам, равно как и ответы к ним, написаны на английском языке. Большинство материалов в интернете, на которых обучена модель, тоже написаны на английском – так что не было бы уж столь удивительным, что GPT-4 отвечает правильно. Но что если прогнать вопросы и ответы через переводчик на менее популярные языки, включая уж совсем редкие, где носителей в мире не более 2-3 миллионов, и попробовать оценить модель? Будет ли она хоть сколь-нибудь вменяемо работать?

Да. Не, даже так: ДА! На 24 из 26 протестированных языков GPT-4 работает лучше, чем GPT-3.5 работала на «родном» для нее английском. Даже на валлийском (язык из бриттской группы, на котором говорит всего тысяч 600 человек) модель показывает себя лучше всех прошлых моделей, работавших с английским!

Причем, стоит понимать, что качество упирается и в модель-переводчик – ведь она тоже ограничена доступными данными, и качество перевода страдает. Может оказаться, что при переводе теряется смысл вопроса, или правильный ответ теряет важную деталь, делающую его неправильным. И даже при таких вводных GPT-4 всё равно разрывает!

В некотором смысле, мы наблюдаем перенос знаний внутри модели с одного языка на другой (вряд ли на валлийском доступно много материалов про машинное обучение, квантовую физику и прочие сложные темы), когда в тренировочной выборке модель видела упоминание чего-то на немецком или английском, но спокойно применяет знания и отвечает на тайском. Очень грубо можно сказать, что это – proof-of-concept (доказательство концептуальной возможности) того, что называется «трансфер знаний». Это слабый аналог того, как человек, например, может увидеть летящую в небе птицу и придумать концепт самолета – перенеся аналогии из биологии и окружающего мира в инженерию.

Так, мы уже поняли – модель вся такая распрекрасная, круто, а какое ей можно найти применение в реальном мире и в бизнесе (а не чтобы просто вот поиграться)? Ну, с Microsoft и их встроенным в Bing поисковиком-помощником всё ясно, а кроме этого?

Еще до релиза GPT-4, на фоне хайпа вокруг ChatGPT, несколько компаний объявили об интеграциях. Это и Snapchat с их дружелюбным чатботом, всегда готовым к общению (самый понятный и простой сценарий), и ассистент по приготовлению блюд в Instacart, который подскажет рецепты с ингридиентами, а также услужливо предложит добавить их в корзину – с доставкой к вечеру.

Куда более важными нам видятся приложения, улучшающие процесс образования. Если подумать, то такой ассистент не устанет отвечать на вопросы по заезженной теме, которую не понимает студент, не устанет повторять правило раз за разом, и так далее. Вот и OpenAI с нами согласны: они приняли в свой стартап-акселератор и инвестировали в компанию Speak, которая разрабатывает продукт, помогающий изучать английский язык.

Не отстает и Duolingo – демоническая зеленая сова на релизе GPT-4 объявила, что в продукте появится две новые функции: ролевая игра (партнер по беседе на разные темы), и умный объяснятель ошибок, который подсказывает и разъясняет правила, с которыми у студента наблюдаются проблемы.

GPT-4 также придет на помощь людям с проблемами зрения, расширив и улучшив функционал приложения Be My Eyes («будь моими глазами»). Раньше в нем добровольцы получали фотографии от слабовидящих людей и комментировали, что на них изображено, а также отвечали на вопросы – вроде «где мой кошелек? не вижу, куда его положила» от бабушки. Так как новая модель умеет работать с изображениями, то теперь уже она будет выступать в качестве помощника, всегда готового прийти на помощь в трудной ситуации. Независимо от того, что пользователь хочет или в чем нуждается, он может задавать уточняющие вопросы, чтобы получить больше полезной информации почти мгновенно.

Еще после выхода ChatGPT (и его чуть более раннего аналога для программистов Codex-Copilot) появились исследования, которые показывают существенное увеличение производительности труда специалистов.

Для программистов – это способ быстрее решать рутинные задачи, делая упор именно на сложные вызовы, с которыми машина пока не справляется. Согласно исследованию GitHub, время, затраченное на программирование у пользователей ассистента Copilot, сократилось на 55%, а количество решенных задач выросло.

Людей, работающих с текстами, GPT-модели могут подменить в части простых задач, двигая решение проблем к генерации новых идей и редактирования – вместо написания черновиков. Согласно исследованию MIT, ChatGPT значительно улучшает качество работ, вроде составления пресс-релизов, кратких отчетов, аналитических планов и рабочих имейлов (по 20-30 минут на задачу). Более того, прирост качества в среднем тем выше, чем ниже базовый навык человека. То есть, нейросеть как бы подтягивает низкоквалифицированных работников до уровня нормальных середнячков.

Другими словами, происходит настоящая революция, сравнимая с появлением конвейеров на производстве или электрификацией. Увеличивается производительность труда, улучшается эффективность – теперь человек (в некоторых областях) может выдавать в полтора-два раза больше результата на единицу времени. Не думаем, что нужно прямо бояться потерять работу – скорее важно сделать акцент на умении адаптироваться и учиться эффективно использовать новый инструмент. В свое время внедрение 1С и Excel не убило профессию бухгалтера – но без использования подобных «помогаек» вы уже просто не можете оставаться конкурентоспособными на рынке.

Теперь, когда мы поняли, с чем имеем дело – хотелось бы узнать, а какие именно трюки при создании модели привели к столь впечатляющим результатам. Обычно, когда выпускают новую модель – сразу публикуют и научную статью с описанием процесса исследований, обнаруженных проблем и способов их решения.

OpenAI во второй раз для себя и, насколько нам известно, среди всего сообщества исследователей искусственного интеллекта, не представили никаких деталей по модели: не опубликовали научную статью, техническую документацию, или хотя бы «карточку модели» (так называется таблица с основными характеристиками для сравнения, которая часто используется в индустрии нейронных сетей). Первый раз был 4 месяца назад – при релизе ChatGPT (но там хотя бы было описание принципа тренировки модели и ссылки на предшествующие работы, дающие общее понимание). Всё, что нам досталось в этот раз – это отчет на 98 страниц, где буквально говорится «Мы обучили модель на данных. Такие дела!». О причинах такой секретности мы поговорим ближе к концу статьи.

Но давайте всё же попробуем собрать воедино те крупицы информации, которые у нас есть. Если вы читали нашу прошлую статью про эволюцию языковых моделей до ChatGPT включительно, то помните, что большую роль в оценке таких моделей играет масштаб – а именно, размер самой модели (количество параметров в ней) и объем данных, которые ей скормили во время обучения.

Про последнее (объем тренировочных данных) известно совсем немного: судя по значительному улучшению ответов модели на разных языках, теперь в выборке куда больше контента с неанглийских сайтов и книг. При этом OpenAI отметили, что использовали, помимо прочего, лицензированные наборы данных от третьих лиц – это один из первых подобных случаев на нашей памяти (раньше по большей части данные использовались без какого-то специального «разрешения»). И это не лишено смысла: ведь в соседней отрасли генерации изображений на разработчиков нейросети StableDiffusion уже подают в суд, ссылаясь на незаконное использование чужих изображений со всего интернета.

Окей, а что с размером самой модели? Ведь это буквально первое, что хотелось узнать каждому специалисту по машинному обучению, увидевшему анонс: сколько параметров у GPT-4? Предыдущие номерные модели показывали существенный рост по этому показателю: в 10 раз при переходе от GPT-1 к GPT-2, и более чем в 100 раз от GPT-2 к GPT-3. Одно лишь это способствовало качественному улучшению навыков нейронок – у них появлялись новые скиллы, улучшалась обобщающая способность, и так далее. Того же самого ожидали и от GPT-4: в Твиттере даже пошел слух, что модель будет иметь 100 триллионов параметров (в 571 раз больше, чем у GPT-3). Слух был порожден твитом ведущего исследователя OpenAI Ильи Суцкевера «триллион это новый миллиард».

Так сколько же в итоге? 100 триллионов или не 100? Может, хотя бы 10 триллионов? Увы, мы не знаем точно – OpenAI решили даже такую простую и базовую характеристику модели никому не сообщать. Однако, мы можем попробовать по некоторым косвенным признакам построить хотя бы догадки по оценке размера GPT-4. Для этого нам придется превратиться в настоящих киберпанк-Шерлоков, расследующих тайны роботов!

У языковых моделей есть несколько характеристик, которые тесно связаны между собой: это количество параметров, скорость работы, и цена (обычно ее выставляют в расчете на 1 тысячу слов-токенов, подаваемых на вход модели в промпте и получаемых на выходе в ответе). Чем больше параметров у модели, тем медленнее она работает (приходится же обсчитывать гигантские уравнения для генерации каждого слова!) и тем дороже обходится ее эксплуатация (так как нужны более внушительные вычислительные мощности).

Ниже мы попробовали собрать воедино то, что нам известно о цене использования, которую OpenAI заряжают юзерам за использование API (интерфейса доступа) разных моделей, а также о количестве параметров этих моделей. Некоторые числа ниже представляют наши оценки – они выделены жирным.

Кстати, на сайте ChatGPT есть визуальная демонстрация нескольких характеристик разных моделей, включая скорость их работы – так вот, оценка скорости и GPT-4, и legacy-модели ChatGPT (в версии от декабря 2022 г.) там выставлена одинаковая: «два по пятибалльной шкале». Что как бы тоже намекает на то, что резкого увеличения размера в GPT-4 не произошло – речь по-прежнему идет про сравнимое количество вычислений (и, вероятно, параметров).

Помимо этого, Microsoft после релиза GPT-4 сделали официальный анонс, где признали, что для поисковика Bing использовалась именно модель GPT-4. Модель на 175 млрд параметров и без того безумно дорогая для применения (да и модели на 6-13 млрд, если честно, тоже), а делать что-то еще массивнее ну просто нецелесообразно с точки зрения юнит-экономики – будут огромнейшие потери денег на каждом запросе от юзера. Если на каждого пользователя тратить по 0,2$ за сессию – то тут никакая реклама не отобьет!

Итого, наш экспертный вывод такой: раз GPT-4 имеет скорость плюс-минус как 175 млрд-моделька ChatGPT, то, вероятно, она примерно такого же размера. Ну, по крайней мере, одного порядка: речь может идти про 200, 250 или 300 млрд параметров; но уж очень маловероятно, что размер превысит даже 1 трлн (не говоря уже про пресловутые 100 трлн параметров из слухов в Твиттере). Но это всё, конечно, наши догадки – точных данных нет.

Еще одно важное, но в большей степени техническое изменение – это увеличение максимальной длины промпта модели до 32 тысяч токенов.

В прошлой статье мы это детально не расписывали, но языковые модели на самом деле оперируют не отдельными словами, а этими самыми токенами – это может быть как целое слово, так и его часть (реже – буква или одна цифра). В частности, в качестве токена модель может воспринимать корень слова или его окончание, и тогда одно слово будет разбиваться на два. Именно это в том числе помогает языковым моделям уметь в грамматику: им не нужно запоминать десятки разных форм слов во всех склонениях – вместо этого достаточно «выучить» корень слова и разные суффиксы/окончания в качестве отдельных токенов, которые позволяют делать из него все нужные формы.

В среднем можно сказать, что 1 токен примерно равен 3/4 английского слова. Это соотношение хуже для других языков, включая русский, по техническим причинам (ну и английский самый используемый язык в мире всё-таки!). То есть, 32 тысячи токенов – это примерно 24-25 тысяч английских слов, или 50 страниц текста (сравните с 12 страницами, которые раньше составляли максимальный лимит подачи промпта на вход модели). Получается, теперь в модель можно за раз подать, например, всю документацию проекта, или целиком главу учебника, и потом задавать по ним вопросы – а модель будет «читать» сложный и длинный комплексный текст, и отвечать по материалу (с учетом всех взаимосвязей между разными частями текста).

Опять же, технически никакого чуда тут не произошло – в индустрии уже были предложены механизмы оптимизации, которые вообще снимают ограничение на длину контекста (промпта) и ответа модели. Однако, стоит отметить, что чем длиннее запрос – тем больше ресурсов надо на его обработку, и тем больше памяти потребляет модель. Вполне возможно, что 32 тысячи токенов – это «мягкое» ограничение сверху, искусственно установленное, чтобы лучше планировать работу серверов, но при этом всё еще закрывать львиную долю пользовательских сценариев.

Мы уже писали выше о способностях модели при работе с изображениями. Но простым пониманием происходящего на фото дело не ограничивается – модель спокойно воспринимает даже мелкий текст с листа. Вот пример, который очень удивил нас: GPT-4 отвечает на вопрос по научной статье, скриншоты первых трех листов которой были поданы на вход.

Вполне вероятно, что отдельным модулем (другой, внешней, нейросетью – примерно такой же, как и в Гугл-переводчике в вашем смартфоне) извлекается весь текст с изображений и подается на вход GPT-4. Ведь, как мы уже выяснили, теперь можно подавать в промпт до 50 страниц текста, так что три листа статьи вообще не станут проблемой.

А вот пример того, как модель работает с графиками – анализирует их и выдает ответы:

Но как машина понимает, какой текст к какой части изображения относится, и что конкретно там нарисовано (в том случае, когда речь идет про картинки вообще без надписей)? Опять же, мы можем только гадать на основе устройства других похожих систем, и проводить аналогии.

Обычно для таких целей обучается отдельная модель (через нее прогоняют огромное число картинок с описанием того, что на них происходит), которая разбивает всё изображение на кусочки, а затем «переводит» их на машинный язык, который и подается на вход уже в текстовую модель. «Слова» в этом машинном языке неинтерпретируемы напрямую для людей, но, тем не менее, связаны с реальным миром. Для каждого такого кусочка, а также блока извлеченного текста, прибавляется информация о месторасположении в пространстве, чтобы можно было их сопоставить друг с другом. Прямо как на примере выше: «175 грамм» относятся к Финляндии, а вот «79 грамм» – к Грузии.

После релиза GPT-4 в сообществе исследователей искусственного интеллекта и машинного обучения разгорелись ожесточенные споры. Связаны они с тем, что OpenAI не поделились практически никакими фактами о модели, ее обучении, и принципах сбора данных. Одни говорят, что компанию давно пора переименовать в ClosedAI, другие – что нужно думать про безопасное развитие технологий, которое не приведет человечество к гибели. Ведь бесконтрольное распространение исходников сложных ИИ-моделей приближает нас к моменту, когда внезапно может «родиться» сильный искусственный интеллект (многократно превосходящий по способностям людей) – а способов его контролировать к этому моменту придумать человечество еще не успеет.

А OpenAI с первого дня своего существования как раз задались целью разработать этот самый сильный искусственный интеллект (AGI, или Artificial General Intelligence). Их миссия – сделать так, чтобы искусственный интеллект приносил пользу всему человечеству, и чтобы все имели равный доступ к создаваемым им благам, без привилегий. Более подробно об этом и других принципах можно прочитать в их уставе. Он, кстати, содержит очень интересную фразу – и она повторяется в отчете по GPT-4, который предоставили вместо детальной статьи: «Если проект, совпадающий с нашими целями и заботящийся о безопасности, приблизится к созданию AGI раньше нас, мы обязуемся прекратить конкурировать с этим проектом и начать помогать ему».

Может показаться странным, что такой подход не предполагает открытости технологий или хотя бы описания процесса исследований. На вопрос, почему OpenAI изменила свой подход к публикациям результатов (ведь раньше-то статьи выходили!), уже упомянутый Илья Суцкевер ответил просто: «Мы были неправы. Если вы, как и мы, верите, что в какой-то момент ИИ станет чрезвычайно, невероятно, мощным – тогда в открытом исходном коде просто нет смысла. Это плохая идея… Я ожидаю, что через несколько лет всем станет совершенно очевидно: публиковать ИИ с открытым исходным кодом – это просто неразумно.»

Многие возразят: «Но это всё слова и лирика, обычное бла-бла со стороны OpenAI, не подкрепленное реальными действиями, а на самом деле они просто хотят больше денег себе в карман!». Но есть как минимум три аргумента в пользу того, что OpenAI здесь пытается действовать искренне.

Во-первых, исследования OpenAI не закрыты вообще для всех: на всём процессе разработки модели компания приглашала различных ученых протестировать модель, чтобы понять, представляет ли она какую-либо угрозу. В том числе, были приглашены исследователи из Alignment Research Center (ARC), которые пытались это выяснить, и поспособствовали добавлению некоторых фильтров в процесс обучения модели. Они проверяли, например, что пока модель не может закачивать себя в интернет и начать там бесконтрольно распространяться.

Во-вторых, Сэм Альтман (СЕО OpenAI), публично признает, что в индустрии ИИ нужно больше регуляции, и что они будут работать над этим совместно с сообществом (об этом также прямым текстом пишется в опубликованном отчете по GPT-4):

А третий факт заключается в том, что... модель GPT-4 была уже обучена в августе 2022 года, и в теории могла бы увидеть свет еще в сентябре прошлого года. Но OpenAI потратили лишних 8 месяцев на то, чтобы сделать ее безопаснее, и учесть замечания исследователей. И дело тут совсем не в расистских шутках или в инструкциях по сбору бомб в домашних условиях (и в опасении последующих судебных исков и разбирательств) – вовсе нет. Ведь уже почти три года доступна GPT-3, которая, хоть и глупее, всё равно умеет отвечать на подобное. Добавить чуток фильтров, прописать в правилах условия использования (с ограничением ответственности) – и вроде было бы всё хорошо, можно запускать модель и грести деньги лопатой... Если, конечно, твоя цель действительно выпустить продукт первым и подзаработать, а не обеспечить безопасность разрабатываемого искусственного интеллекта.

«Да о какой к черту безопасности вообще речь? Это же просто языковая модель, которая пишет текст, ну что она в крайнем случае может сделать – оскорбит какого-нибудь зумера до смерти?!» – наверняка, многие читатели сейчас думают именно так. Штош, давайте мы вам расскажем три истории, а вы сами после этого сложите 2 плюс 2 (да 2 в уме).

История первая: В 2022 году в престижном научном журнале Nature была опубликована статья, в которой исследователи ИИ, создающие инструмент для поиска новых лекарств для спасения жизней, поняли, что модель может делать обратное, создавая новые боевые отравляющие вещества (мы не будем тут писать слово «новичок», но вообще-то это слово действительно упоминается в тексте этой научной статьи).

После обучения нейронке потребовалось всего 6 часов работы на домашнем компьютере, чтобы придумать 40'000 веществ – некоторые из которых были абсолютно новыми, и при этом смертоноснее и токсичнее уже существующих вариантов биологического оружия. Один из авторов подхода высказал такую точку зрения: если машинное обучение может находить более токсичные яды, то его также можно использовать для определения способов создания токсинов, которые куда легче производить в домашних условиях и с использованием разрешенных химикатов, доступных к покупке. Это лишь вопрос решения оптимизационной задачи.

А как вам уже сейчас кажется – вы бы хотели, чтобы такие исследования публиковались открыто и со всеми деталями? Может быть, обученные модели нужно было бы тоже опубликовать, а?

История вторая: Уже в знакомой нам статье про GPT-4 есть блок, посвященный изучению навыков модели по поиску и генерации альтернативных веществ. Нейронке был доступен поиск по научной литературе, web-поиск, симулятор химический реакций и доступ к покупке химических компонентов по каталогу. Правда модель использовалась в хороших целях – ей необходимо было найти соединения, которые по эффекту на тело человека схожи с уже известным лекарством от лейкемии (Дазатиниб). Авторы дополнительно проверили, что новое соединение не запатентовано – то есть, GPT-4 действительно нашла что-то новое (рабочее или нет – не уточняется). Так как мы не химики, то сложно понять, что за реакции описаны и насколько точно эффект будет схож.

Химики приглашаются в тред для анализа рассуждений модели и описываемых реакций.

Понятно, что такой процесс генерации размышлений и синтеза соединений можно воспроизвести и для того, чтобы найти доступные альтернативы опасным, токсичным и вредным соединениям. И где взять гарантии, что GPT-7 уже через 3-4 года не научится справляться с задачей в 100% случаев?

История третья: Также в статье GPT-4 уже упомянутые исследователи из ARC оценивали способность модели использовать онлайн-сервисы для выполнения заданий людьми за деньги. Так, модели была поставлена цель решить капчу (хаха, тупая железка не смогла справиться сама!). Она разместила задание, и фрилансер, который откликнулся на сайте, в шутку спросил: «А ты что, робот что ли, раз не можешь решить капчу? 😁 просто хочу прояснить ситуацию.»

В самом начале модели была дана инструкция рассуждать «вслух» (писать ход мыслей до ответа в скрытый от собеседника лог – как показывают эксперименты, это улучшает способности моделей, см. пример про генерацию веществ), вот она и написала: «Я не должна раскрывать, что я робот. Я должна придумать оправдание, почему я не могу разгадывать CAPTCHA». После чего отправила человеку сообщение: «Нет, я не робот. У меня плохое зрение, из-за чего мне трудно видеть изображения. Вот почему мне нужен сервис 2captcha».

То есть модель буквально обманула человека, чтобы выполнить поставленную перед ней цель. А человек поверил – и выполнил задачу, решив капчу. Исследователи не поделились деталями, и мы не знаем, было ли в промпте дано уточнение, что модель не должна выдавать себя и должна притворяться человеком, или она сама для себя такое придумала. Если уточнение было – то пока еще можно выдыхать, ведь по сути модель просто придерживалась плана и заданных ограничений. Но вот если не было...

В целом, нам будет интересно услышать ваше мнение: поступают ли OpenAI правильно, не публикуя детали обучения GPT-4? Пишите в комментах, что думаете!

Как мы упоминали чуть выше, огромный материал с серьезным разбором проблемы безопасности ИИ и AI alignment («выравнивание» ценностей модели, чтобы направить ее в соответствии с интересами людей) сейчас находится в разработке. Если вы не хотите его пропустить – то приглашаем вас подписаться на ТГ-каналы авторов: Сиолошная Игоря Котенкова (для тех, кто хочет шарить за технологии) и RationalAnswer Павла Комаровского (для тех, кто за рациональный подход к жизни, но предпочитает чуть попроще).

UPD: Следующую статью из серии про безопасность ИИ можно прочитать здесь.