“Приостановить разработку искусственного интеллекта недостаточно. Нам нужно всё закрыть” Э.Юдковский

Оригинал статьи в TIME.

« В открытом письме, опубликованном сегодня, содержится призыв ко «всем лабораториям ИИ немедленно приостановить как минимум на 6 месяцев обучение систем ИИ, более мощных, чем GPT-4».

Этот 6-месячный мораторий был бы лучше, чем просто отсутствие моратория. Я уважаю всех, кто подписал его. Это лучшее, что можно сделать. Я воздержался от подписи, потому что считаю, что письмо преуменьшает серьезность ситуации и предлагает слишком мало для ее решения.

Ключевой вопрос не в «человеко-конкурентном» интеллекте (как говорится в открытом письме); это то, что произойдет после того, как ИИ станет умнее человеческого. Ключевой порог может быть неочевидным, мы определенно не можем заранее рассчитать, что и когда произойдет, и в настоящее время кажется возможным, что исследовательская лаборатория переступит критические границы, даже не заметив этого.

Многие исследователи, погруженные в эти проблемы, в том числе и я, ожидают, что наиболее вероятным результатом создания сверхчеловечески умного ИИ при любых обстоятельствах, созвучным нынешним, будет то, что буквально все на Земле умрут. Не по формуле «может быть, есть какой-то отдаленный шанс», а как «очевидно, что это произойдет». Дело не в том, что вы в принципе не можете выжить, создавая что-то намного умнее вас; дело в том, что для этого потребуются точность, подготовка, новые научные открытия и, вероятно, отсутствие систем ИИ, состоящих из гигантских и непостижимых массивов дробных чисел.Без такой точности и подготовки наиболее вероятным результатом будет ИИ, который не будет делать то, что мы хотим, и ему будет наплевать и на нас, и на разумную жизнь в целом. Такая забота о жизни в принципе может быть внедрена в ИИ, но мы пока не готовы и не знаем, как это сделать.

В отсутствие этой заботы мы получаем результат «ИИ не любит вас и не ненавидит вас, вы просто сделаны из атомов, которые он может использовать для чего-то другого».

Вероятный результат противостояния человечества противостоящему ему сверхчеловеческому разуму — полный разгром. Подходящие метафоры : «10-летний ребенок, пытающийся играть в шахматы против Stockfish 15», «11-й век пытается бороться с 21-м веком» и «Австралопитек пытается бороться с Homo sapiens».

Чтобы визуализировать враждебный сверхчеловеческий ИИ, не надо представлять себе безжизненного умного мыслителя, живущего в Интернете и рассылающего злонамеренные электронные письма. Представьте себе целую инопланетную цивилизацию, мыслящую со скоростью, в миллионы раз превышающую человеческую, изначально ограниченную компьютерами — в мире существ, которые, с ее точки зрения, очень глупы и очень медлительны. Достаточно интеллектуальный ИИ не будет долго оставаться привязанным к компьютерам. В современном мире вы можете отправлять цепочки ДНК по электронной почте в лаборатории, которые будут производить белки по запросу, что позволяет ИИ, изначально привязанный к Интернету, может создавать искусственные формы жизни или сразу переходить к постбиологическому молекулярному производству.

Если кто-то создаст слишком мощный ИИ в нынешних условиях, я ожидаю, что вскоре после этого умрет каждый представитель человеческого рода и вся биологическая жизнь на Земле.

Нет уже готового плана того, как мы могли бы создать что-то подобное и при этом выжить. Открыто объявленное намерение OpenAI состоит в том, чтобы заставить какой-нибудь будущий ИИ выполнять нашу собственную работу по регуляции ИИ. Одной только мысли о том, что это и есть спасительный план, должно быть достаточно, чтобы любой здравомыслящий человек запаниковал. У другой ведущей лаборатории искусственного интеллекта, DeepMind, вообще нет никакого плана.

Короче говоря: ни одна из этих опасностей не зависит от того, являются ли ИИ сознательными или могут ли они только быть сознательными; это присуще понятию мощных когнитивных систем, которые жестко оптимизируют и рассчитывают результаты, соответствующие достаточно сложным критериям. С учетом сказанного, я пренебрег бы моральными обязанностями человека, если бы не упомянул также, что мы понятия не имеем, как определить, осознают ли системы ИИ сами себя, поскольку мы понятия не имеем, как декодировать все, что происходит в гигантских непостижимых массивах — и поэтому мы можем в какой-то момент непреднамеренно создать цифровые разумы, которые действительно сознательны и должны иметь права, а не быть собственностью.

Правило, которое большинство людей, знакомых с этими вопросами, поддерживали 50 лет назад, заключалось в том, что если система искусственного интеллекта может говорить бегло, заявляет о своей самосознательности и требует прав человека, это должно быть под жестким запретом на просто случайное владение этим ИИ и использование его после этого момента. Мы уже давно перешли эту черту. И, вероятно, это было правильным; я согласен, что текущие ИИ, вероятно, просто имитируют разговоры о самосознании из обучающих данных. Но я отмечаю, что учитывая наш практическое незнание внутренностей этих систем, на самом деле мы толком не знаем.

Если таков наш уровень невежества относительно GPT-4, а GPT-5 является таким же значительным шагом в возможностях, как от GPT-3 к GPT-4, я думаю, что мы больше не сможем корректно говорить «вероятно, не самосознающий». Если мы позволим людям создавать GPT-5, правильный ответ будет «не знаю; никто не знает». Если вы не можете быть уверены, создаете ли вы самосознающий искусственный интеллект или нет, это тревожно не только из-за моральных последствий «самосознающей» части, но и потому, что неуверенность означает, что вы не знаете, что делаете, и это опасно, и вы должны остановиться.

7 февраля Satya Nadella, генеральный директор Microsoft, открыто хвастался, что новый Bing «заставит Google поплясать». «Я хочу, чтобы люди знали, что мы заставили их танцевать», — сказал он.

Это не то, как должен говорить генеральный директор Microsoft в трезвом уме. Это показывает огромный разрыв между тем, как мы сейчас относимся к проблеме, и тем, насколько серьезно нам нужно было подойти к проблеме неще 30 лет назад.

И мы не планируем преодолеть этот разрыв за шесть месяцев.

На то, чтобы достичь сегодняшних возможностей, потребовалось более 60 лет с того времени, когда было впервые предложено и изучено понятие искусственного интеллекта. На решение проблемы безопасности сверхчеловеческого интеллекта — не идеальной безопасности, но хотя бы в смысле «не убивать буквально всех» — разумно было бы потратить как минимум половину этого времени. И дело в том, что попытку сделать это с помощью сверхчеловеческого интеллекта, если вы сделаете это неправильно с первого раза, то не сможете извлечь уроки из своих ошибок, потому что будете уже мертвы. Человечество не научится на своих ошибках, не сдует пыль, чтобы снова попытаться преодолеть препятствия, как в других задачах, которые мы преодолели в нашей истории, потому что нас всех уже не будет.

Попытка сделать что-то правильно с единственной попытки — непростая задача как в науке, так и в технике. Мы не предлагаем ничего похожего на подход, который потребовался бы для успешного выполнения этой задачи. Если бы в зарождающейся области общего искусственного интеллекта мы придерживались даже меньших стандартов инженерной строгости, которые применяются к мосту, предназначенному для перевозки пары тысяч автомобилей, завтра вся эта область была бы уже закрыта.

Мы неготовы. Мы не собираемся быть готовыми в любой разумный период времени. Плана нет. Прогресс в возможностях ИИ значительно опережает прогресс в согласовании ИИ или даже прогресс в понимании того, что, черт возьми, происходит внутри этих систем. Если мы действительно сделаем это, мы все умрем.

Многие исследователи, работающие над этими системами, считают, что мы движемся к катастрофе, и многие из них осмеливаются говорить об этом в частном порядке, а не публично; но они думают, что не могут в одностороннем порядке остановить «падение вперед», что другие будут продолжать, даже если они лично уволятся с работы. И поэтому они все думают, что могут продолжать. Это глупое положение дел и недостойный способ умереть для Земли, и остальное человечество должно вмешаться в этот момент и помочь отрасли решить проблему коллективных действий.

Некоторые из моих друзей недавно сообщили мне, что, когда люди, не связанные с индустрией искусственного интеллекта, впервые слышат о риске исчезновения из-за искусственного общего интеллекта, их реакция такова: «Может быть, тогда нам не следует создавать сильный ИИ».

Услышав это, я вселил в себя крошечную искорку надежды, потому что это более простая, более разумная и, откровенно говоря, более разумная реакция, чем та, которую я слышал за последние 20 лет, пытаясь заставить кого-либо в отрасли воспринимать эти вещи серьезно. Любой, кто говорит это в здравом уме, заслуживает того, чтобы услышать, насколько плоха ситуация на самом деле, а не говорить, что шестимесячный мораторий исправит ее.

16 марта мой партнер [по исследованиям] прислала мне этот email (потом она дала мне разрешение на цитирование его здесь): «Нина потеряла зуб! Обычным образом, как это делают дети, а не из-за невнимательности! Увидеть, как GPT4 справляется с стандартизированными тестами в тот же день, когда Нина достигла детской вехи, вызвало волну эмоций, которая на минуту смела меня с ног. Все происходит слишком быстро. Я беспокоюсь, что поделиться этим усилит вашу собственную печаль, но я предпочитаю быть известной вам, чем чтобы каждый из нас страдал в одиночестве».

Когда инсайдерский разговор касается печали от того, что у вашей дочери выпал первый зуб, и мысли о том, что у нее не будет шанса повзрослеть, я полагаю, что мы уже не играем в политические шахматы по поводу шестимесячного моратория.

Если бы существовал план выживания Земли, если бы мы прошли шестимесячный мораторий, я бы поддержал этот план. Нет такого плана.

Вот что на самом деле нужно сделать:

Мораторий на новые крупные тренировочные запуски должен быть бессрочным и распространяться по всему миру. Не может быть исключений, в том числе для правительств или вооруженных сил. Если мировая политика начинается с США, то Китай должен увидеть, что США не ищут преимущества, а скорее пытаются предотвратить ужасно опасную технологию, у которой не может быть настоящего владельца и которая убьет всех в США, Китае и на Земле. Если бы у меня была бесконечная свобода писать законы, я мог бы сделать единственное исключение для ИИ, обученных исключительно решению задач в биологии и биотехнологии, а не обучаемых на текстах из Интернета, и не до того уровня, когда они начинают говорить или планировать; но если бы это хоть немного усложняло проблему, я бы немедленно отбросил это предложение и сказал бы просто закрыть все это.

Выключите все большие кластеры графических процессоров (большие компьютерные фермы, где совершенствуются самые мощные ИИ). Отключите все большие тренировочные запуски. Установите потолок того, сколько вычислительной мощности можно использовать для обучения системы ИИ, и снизьте его в ближайшие годы, чтобы компенсировать более эффективные алгоритмы обучения. Никаких исключений для правительств и вооруженных сил. Немедленно заключайте многонациональные соглашения, чтобы предотвратить перемещение запрещенных видов деятельности в другие места. Отслеживайте все проданные графические процессоры. Если разведка сообщает, что страна, не входящая в соглашение, строит кластер ГПУ, бойтест не столько возможной войны между странами, сколько нарушения моратория; будьте готовы уничтожить мошеннический центр обработки данных авиаударом.

Ничего не говорите про противорчие национальным интересам, дайте понять, что всякий, кто говорит о гонке вооружений, — дурак. То, что мы все живем или умираем как один, в данном случае является не политикой, а фактом природы. Надо четко заявить в международной дипломатии, что предотвращение сценариев вымирания в результате действий ИИ считается приоритетом, именно это, а не предотвращение полного обмена ядерными ударами, и что союзные ядерные страны готовы пойти на некоторый риск обмена ядерными ударами, если это необходимо для снижения риска крупных тренировок ИИ.

Это тот вид изменения политики, который заставил бы меня и моего партнера обнять друг друга и сказать, что произошло чудо, и теперь есть шанс, что, возможно, Нина выживет. Разумные люди, впервые услышавшие об этом, и здраво рассуждающие: «возможно, нам не следует этого делать», заслуживают честного ответа на вопрос о том, что нужно сделать, чтобы это произошло. И когда ваша политика требует таких больших изменений, единственный способ ее осуществления — это убедить законодателей, что если они будут вести себя как обычно и делать то, что является политически выгодным, то их собственные дети тоже умрут.

Выключите все это ИИ.

Мы не готовы. Мы не собираемся быть более готовыми в обозримом будущем. Если мы продолжим это, все умрут, включая детей, которые этого не выбирали и не сделали ничего плохого»