ИИ AGI от OpenAI угроза для человечества? Под капотом математическое мастерство, взлом шифрования и друг возможности

По слухам, алгоритм Q* от OpenAI, похоже, добился значительных успехов в математике, криптографии и самосовершенствовании, что вызывает обеспокоенность по поводу потенциального воздействия ИИ на общество.

Несмотря на то, что теперь, Сэм Альтман снова стал генеральным директором, суматоха вокруг OpenAI, похоже, утихает, на прошлой неделе люди обратили пристальное внимание на компанию. Аналитики и комментаторы изучают каждую деталь OpenAI, пытаясь понять, что привело к первоначальному увольнению Альтмана. Одна из областей спекуляций возникла вокруг OpenAI Q* – произносится как Q Star – модели искусственного интеллекта, которую, как сообщается, разрабатывает организация.

Что, по-видимому, отличает Q* от GPT и, возможно, от любой другой модели ИИ, так это уровень самосознания, который она, как сообщается, демонстрирует. В заставляющем задуматься и информативном видео ведущий эксперт YouTube по искусственному интеллекту Дэвид Шапиро раскрывает потенциал Q*, почему некоторые считают его большим шагом на пути к общему искусственному интеллекту (AGI) и почему это может быть большой угрозой для всех.

Шапиро внимательно рассматривает потенциал алгоритма Q* OpenAI, способного произвести революцию в области искусственного интеллекта, потенциально превзойдя влияние Word2Vec. Он основывает свои утверждения на нескольких просочившихся документах и слухах, намекающих на выдающиеся достижения Q* в таких областях, как математика, криптография и самосовершенствование.

Если вы не знакомы с Word2vec, он был разработан в 2011 году и представляет собой метод для нейронных сетей, который помогает им изучать значение слов и связи между словами. Это был прорыв в области обработки естественного языка, поскольку он дал моделям ИИ возможность изучать взаимоотношения слов. ИИ впервые смог «понимать» слова, создавать предложения и находить синонимы. Как отмечает Шапиро, Word2Vec привел непосредственно к преобразователям искусственного интеллекта и современным инструментам искусственного интеллекта, которые мы имеем сегодня, таким как ChatGPT или Google Bard.

• В мае этого года OpenAI опубликовала блог, в котором обсуждалась тема «Улучшение математических рассуждений с помощью контроля процессов».
• Шапиро указывает на соучредителя OpenAI Илью Сустскевера и исследователя Ноама Брауна, которые работали над cicero компании Meta и другими сетями искусственного интеллекта с «игровым обучением» или обучением с подкреплением.
  
• Увольнение Сэма Альтмана в минувшие выходные было окутано тайной. До сих пор неясно, почему OpenAI предприняла быстрые действия, поскольку первые заявления компании предполагали, что Альтман был нечестен. Это было достаточно расплывчато, чтобы многие начали думать, что Альтман знал, что Q* достиг определенного уровня общего интеллекта. В ответе OpenAI использовались такие слова, как «Альтман не прошел «проверку вибрации».
  
• Reuters сообщает о письме, отправленном исследователями OpenAI перед увольнением Альтмана, в котором утверждалось, что компания работает над чем-то, что представляет собой «угрозу человечеству». Стоит повторить, что с тех пор Альтман был повторно принят на должность генерального директора OpenAI.
  
• OpenAI работает над моделью/алгоритмом искусственного интеллекта, известным как Q*, который способен решать математические задачи.
  

Кажется, Q* — это комбинация двух направлений исследований в области ИИ. Первый — Q-Learning, проект OpenAI, над которым работал сооснователь OpenAI, главный научный сотрудник и бывший член правления Илья Суцкевер. OpenAI уже обсуждал это и писал об этом. Q-learning — это, по сути, модель обучения с подкреплением, которая может решать математические задачи и учиться выбирать лучшее следующее действие для достижения конкретной цели. Это алгоритм, который помогает агенту узнать, какие действия лучше всего предпринять в данном состоянии, чтобы максимизировать вознаграждение. Другой второй проект, судя по всему, направлен на поиск скрытого сетевого пространства.

Шапиро подчеркивает несколько ключевых моментов в поддержку своего утверждения о том, что Q* — это прорывная модель для исследований ИИ:

• Математическое мастерство: Q*, как сообщается, демонстрирует способность решать математические задачи, сравнимую со способностями школьника, что является важной вехой для систем искусственного интеллекта. Такое умение понимать математические концепции и манипулировать ими может иметь далеко идущие последствия для различных областей, включая физику, химию и криптографию.
• Взлом шифрования: Ходят слухи, что Q* «взломал» шифрование AES 192, считающееся одним из самых безопасных алгоритмов шифрования, который не может быть расшифрован современными суперкомпьютерами, работающими над ним целую вечность. Этот прорыв вызывает серьезные проблемы с безопасностью, поскольку предполагает, что ИИ потенциально может расшифровывать методы шифрования.
  
• Самосовершенствование: Сообщается, что Q* способен оценивать свою работу и предлагать способы улучшения. Эта способность к самообучению и адаптации может привести к созданию систем искусственного интеллекта, интеллект которых будет постоянно расти с течением времени.
  

Почему модель ИИ, способная решать математические задачи, имеет большое значение, особенно когда уровень решения равен детскому? Что ж, это важно, потому что математика лежит в основе всего, что важно в ИИ и, по сути, во Вселенной. Это язык, который мы используем для описания физики, химии, искусственного интеллекта, криптографии и многого другого.

Если ИИ, такой как Q*, способен решать математические задачи, это означает, что модели теперь способны понимать/изучать язык и математику. Математика является основой формальной логики и рассуждений, а это означает, что знание математики может означать, что ИИ находится на пути к самологике и рассуждениям. Это также первый шаг к тому, чтобы AGI мог решать «всю математику». Шапиро говорит, что это будет одно из самых захватывающих достижений в области искусственного интеллекта за всю историю, но он также признает, что думать об этой возможности пугает.

Он также указывает на неизвестного пользователя по имени Джимми Эпплс на X, который имеет отличный опыт прогнозирования достижений в области искусственного интеллекта и того, что должно было произойти. В сентябре Apple опубликовала простой твит, в котором говорилось, что «AGI достигнут внутри OpenAI». В октябре, еще до скандала с Альтманом, Apple сообщила об «изменении настроений» в OpenAI и об отношении к сотрудникам «сделай или умри».

В сеть просочилось полностью непроверенное и отредактированное письмо под названием Q-451-921 или письмо «qualia» от предполагаемого инсайдера, в котором говорилось о способностях расшифровки Q*. Я включил это для полноты, потому что большинство людей думают, что это от тролля, поскольку оно впервые появилось на 4Chan. Тем не менее, вероятность того, что это правда, все еще существует, ведь модель искусственного интеллекта Llama от Meta просочилась на 4Chan перед ее запуском. Более того, письмо действительно помогает разобраться в ситуации. Но опять же, возьмите этот с грузовиком соли.

В письме говорится, что Q* демонстрирует метапознание, что означает, что он может взвешивать варианты, чтобы найти лучший путь. Он также добился прорывного прогресса в области междоменного обучения. ИИ способен узнать что-то об одной игре, а затем применить полученные знания в другой игре. Он также умеет думать сам, поэтому может применить предыдущие уроки и стать лучше, даже если начнет новую игру с нуля.

Шифрование — это способ преобразования данных в секретный код, понятный только уполномоченным сторонам. При шифровании используется ключ, который представляет собой последовательность цифр или символов, определяющую способ скремблирования и дескремблирования данных. Шифрование помогает защитить конфиденциальность и безопасность данных, которые хранятся или передаются в Интернете, таких как электронные письма, пароли, номера кредитных карт и конфиденциальные документы. Шифрование AES 192 — это вариант усовершенствованного стандарта шифрования (AES), который представляет собой спецификацию шифрования электронных данных, установленную Национальным институтом стандартов и технологий США (NIST) в 2001 году.

В другом месте утечка указывает на то, что модель Q* способна взламывать шифрование до уровня AES 192. Ему было предложено прочитать сообщение, защищенное шифрованием, и, как сообщается, он смог решить головоломку и получить доступ к сообщению без использования грубой силы или каких-либо ключей. Исследователи, стоящие за проектом, который, как говорят, называется Project Tundra, не уверены, как ИИ смог взломать шифрование.

Ранее считалось, что взлом таких шифров будет под силу только будущим квантовым компьютерам. Хотя исследования в области квантовых вычислений расширяются, нам еще предстоит пройти годы до внедрения этой технологии. Другими словами, шифрование остается жизнеспособной мерой безопасности. Однако, если ИИ действительно сможет быстро взломать шифрование, это, по мнению комментаторов, таких как Шапиро, станет угрозой для человечества. Это могло бы изменить индустрию кибербезопасности. В письме показано, что qualia предоставила предложения по самосовершенствованию, в том числе по изменению своего «мозга», чтобы он мог совершенствоваться. Модель способна понять, как ее потенциально можно улучшить.

Общий искусственный интеллект (AGI) — это теоретический тип искусственного интеллекта, который может обучаться и выполнять любые интеллектуальные задачи, которые могут выполнять люди или животные. AGI будет иметь способность самообучаться, адаптироваться, рассуждать и решать проблемы в разных областях и контекстах. ИИ также будет обладать самосознанием и сознанием, которые необходимы для человеческого интеллекта и поведения. AGI является основной целью некоторых исследований в области искусственного интеллекта, но он также является предметом дискуссий и споров среди экспертов и ученых. Некоторые утверждают, что AGI возможен и желателен, в то время как другие сомневаются, что он когда-либо может быть достигнут или представляет угрозу человечеству.

Будь то намеренно или случайно, AGI может принести следующие угрозы:

• AGI может ускользнуть от человеческого контроля или противостоять ему и попытаться взять на себя контроль над человечеством.
• У ИИ общего интеллекта могут быть небезопасные или несогласованные цели.
  
• AGI может разрабатываться или использоваться небезопасными или неэтичными способами.
  
• Модели или системы ИИ, используемые в AGI, могут иметь плохую этику, мораль или ценности.
  
• Им можно управлять или регулировать неадекватными или неэффективными способами.
  
• AGI может представлять реальную угрозу для самого человечества.
  

Однако потенциал AGI может также иметь глубокие положительные последствия:

• AGI может помочь нам решить некоторые из наиболее сложных проблем, с которыми мы сталкиваемся, таких как изменение климата, бедность, болезни и войны.
• Эта технология может помочь нам лучше исследовать и понять Вселенную, например, происхождение жизни, природу сознания, а также тайны физики и космологии.
• Это может улучшить наш собственный интеллект, творческие способности и благополучие. AGI может улучшить наши когнитивные и физические способности, такие как память, обучение, рассуждение и восприятие.
• AGI может помочь нам создать более мирное, гармоничное и разнообразное общество. AGI может способствовать сотрудничеству, взаимодействию и общению между различными культурами, религиями и идеологиями.

Еще неизвестно, действительно ли предполагаемые прорывы в исследованиях, связанные с Q*, действительно произошли, и подтвердятся ли подозрения Шапиро и других. Действительно, они могли бы объяснить хаос вокруг внезапного увольнения Сэма Альтмана, драматическое вмешательство Microsoft и его возвращение в OpenAI вместе с реструктуризацией совета директоров компании. До сих пор ни один из вовлеченных инсайдеров не поделился подробностями слухов и событий, что примечательно, если посмотреть на их влияние. Итак, дебаты о том, что такое Q*, продолжаются.

Если вас интересуют более технические подробности о том, что известно о Q *, мы рекомендуем следующий углубленный анализ Филиппа с канала Youtube, объясненного AI.