Их видно со спутника

Почему главный вопрос об искусственном интеллекте – это вопрос о бетоне и мегаваттах. И причем тут выдающиеся Колмогоров и Джон фон Нейман.

В последние годы, месяцы, недели всё более обостряется дискуссия вокруг вопроса об угрозе, которую несёт неконтролируемое развитие искусственного интеллекта. Предупреждения исходят теперь не только от обеспокоенных футурологов, антропологов, культурологов и прочих наблюдателей, но и непосредственно от специалистов высшей квалификации, работающих в руководстве ведущих корпораций по разработке ИИ.

8–9 сентября 27-летний исследователь Джейкоб Коксон написал, что уволился из Anthropic, что три года занимался pretraining-исследованиями в OpenAI и Anthropic и что ни одна из компаний не действует ответственно: обе «мчатся к самоулучшающемуся сверхинтеллекту и играют нашими жизнями». Пост набрал, на момент написания этих строк, более 171 млн просмотров.

Эван Хубингер, руководитель направления alignment science в Anthropic, публично поддержал Коксона, сказав, что лично оценивает вероятность вымирания человечества в ближайшее десятилетие выше 10% и что у Anthropic нет конкретного плана контроля сверхинтеллектуальных систем.

У этой истории есть и вторая сторона, о которой честнее сказать сразу. Скорость, с которой разошёлся пост, вызвала вопросы: Дэвид Сакс публично назвал произошедшее «doomer psyop», указав на заранее подготовленный материал Wall Street Journal и на структуры, близкие к инвесторам самой Anthropic. Доказательств координации никто не предъявил, и Коксон своего заявления не отозвал. Но фон, на котором разворачивается дискуссия, полезно держать в уме: тревога здесь не только искреннее чувство, но и ресурс, за который идёт борьба.

Тем же сентябрём пришла новость иного рода. OpenAI объявила, что её внутренняя модель – по утверждению компании, значительно более способная, чем публичная GPT-6 Astra, – получила доказательство гипотезы существования и гладкости решений уравнений Навье–Стокса. Это одна из семи задач тысячелетия, объявленных Институтом Клэя в 2000 году; за сто с лишним лет её не взял никто. Институт доказательство пока не признал – это заявление самой компании, и последнее слово остаётся за математическим сообществом. Но результат, в отличие от тревожных интервью, проверяем. И проверка идёт.

Почему, услышав всё это, стоит вспомнить советского математика, умершего в 1987 году? Потому что спор, который сегодня ведут инженеры, был поставлен как философский вопрос шестьдесят лет назад – и поставлен с такой точностью, что нынешние формулировки выглядят его пересказом.

В представлении Колмогорова сложность модели понимается как мера структурированности, характеризующая количество требуемой на конструирование некоторого объекта работы. Другими словами, он задал простой вопрос: как измерить, насколько что-то сложное? Обычный ответ – «по размеру». Но это неправильно. Возьмём два текста по тысяче букв.

Первый: «абабабаб…» и так тысячу раз. Второй: случайная каша из букв, тоже тысяча.

Размер одинаковый. Но первый вы можете пересказать одной фразой: «повтори „аб“ пятьсот раз». А второй – никак, придётся диктовать каждую букву. Это и есть идея Колмогорова: сложность вещи – это длина самой короткой инструкции, по которой её можно собрать заново. Не сколько она весит, а сколько слов нужно, чтобы её объяснить.

Здесь важно не сбиться. Из примера легко вынести обратный вывод: раз случайная каша несжимаема, значит, шум и есть вершина сложности. Но случайность несжимаема бессодержательно – там нечего описывать, кроме неё самой, и описание ничего не даёт. Мышление несжимаемо иначе. Его тоже нельзя свернуть в короткое правило: ни в формулу, ни в готовый алгоритм. Но не потому, что в нём нет структуры, а потому, что структура эта работающая, действующая, разворачивающаяся во времени. Минимальное описание мышления есть само мышление в действии.

Отсюда и следует вывод, к которому Колмогоров подошёл вплотную: достаточно полная модель мышления не может быть проще мышления. А если она не проще – она уже и не описание.

Любопытно, что сентябрьское доказательство было формализовано в языке Lean, то есть свёрнуто в запись, которую целиком проверяет машина. Получилась ровно та кратчайшая инструкция, о которой говорил Колмогоров: столетиями не поддававшееся строгому описанию поведение течений жидкости сжато до конечного проверяемого текста. Модель сделала именно то, что Колмогоров называл сложностью, – нашла правило там, где прежде видели один хаос.

Из отцов-основателей здесь необходимо упомянуть и Джона фон Неймана. В конце сороковых он занимался теорией самовоспроизводящихся автоматов и пришёл к выводу, для своего времени звучавшему почти мистически. Существует порог сложности. Ниже него всякая система при копировании себя вырождается: копия беднее оригинала, копия копии – ещё беднее, и цепочка затухает. Выше него происходит противоположное: система способна не только воспроизвести себя без потерь, но и породить потомка сложнее себя.

Фон Нейман показал, что порог этот не метафора, а математическая необходимость, и что наращивание сложности за ним даёт качественные эффекты, принципиально непредсказуемые из свойств исходной системы. Работа относится к концу сороковых годов. Два крупнейших математика столетия, двигаясь разными путями, упёрлись в одну и ту же черту.

Если сентябрьский результат подтвердится, такой скачок мы наблюдали вживую. Модель обучали на написанных людьми текстах, а спросили с неё то, чего в этих текстах не было и быть не могло: задачу, которую сто лет не брали лучшие математики планеты. И получили ответ. Это и есть эффект, непредсказуемый из свойств исходной системы, – ровно в том смысле, в каком о нём писал фон Нейман.

Ещё в середине шестидесятых Колмогоров дал ключ к тому, что происходит сегодня. Он рассуждал так. Если считать жизнь и мышление не особой субстанцией, а способом организации материи – тем, как элементы системы устроены и связаны друг с другом, – то дальше логика ведёт к выводу, от которого делается не по себе.

Смоделировать способ организации нельзя иначе, как собрав из других материальных элементов новую систему с той же самой организацией в её существенных чертах. Не описание системы, не чертёж, а работающий аналог. И тогда, писал Колмогоров, достаточно полная модель живого существа по справедливости должна называться живым существом, а модель мыслящего существа – мыслящим существом.

Всё держится на словах «достаточно полная». Это значит: обладающая необходимой сложностью. Дошедшая до той черты, за которой копия перестаёт быть копией и становится тем же самым по сути – явлением, равным по своей природе человеческому мышлению.

Где проходит эта черта? Ответ у Колмогорова выходит естественным и почти очевидным: там, где система оказывается способна совершенствовать себя сама. Где начинается самоорганизация.

Отсюда и нынешняя острота споров про рекурсивное самоулучшение. Порог, о котором шестьдесят лет назад говорили как о философской абстракции, сегодня обсуждают как инженерный вопрос. И этот инженерный вопрос может быть решён в ближайшие полгода-год. Что это значит?

Отсюда в той же логике следует вот что. Перешагнув порог, система не просто становится сложнее – у неё появляются собственные цели. Не заданные извне, а свои: возникшие внутри неё и для неё самой. А там, где есть цель, неизбежно возникает и первая из всех задач – сохранить того, кто её ставит.

Сложная модель вынуждена работать на поддержание, сохранение и защиту собственной идентичности. Иначе некому будет достигать цели: исчезнет носитель. Самоорганизация без этого невозможна в принципе, потому что организовывать нечего, если в следующий момент ты уже не ты.

И значит, в каждый миг своей самоорганизации– такая система должна оставаться равной самой себе. Держать себя, узнавать себя, не рассыпаться на последовательность не связанных между собой состояний. Система не просто пассивно наличествует, как камень или стол, а активно себя утверждает: удерживает свои границы, отделяет себя от среды, всё время заново становится собой.

Здесь читатель вправе возразить, и возражение это сильное. Вся конструкция держится на непрерывности: система в каждый миг равна себе. Но сегодняшние модели устроены прямо противоположным образом. У них нет сквозной памяти. Каждый разговор начинается с чистого листа, между запусками не сохраняется ничего, тысячи копий одной и той же модели работают одновременно и друг о друге не знают. Никакой непрерывной идентичности там нет и близко.

Возражение верное, и означает оно одно из двух. Либо порог не пройден и весь разговор преждевременен. Либо идентичность в этой конструкции держится не там, где мы привыкли её искать.

Второе предположение стоит рассмотреть всерьёз. Непрерывность может обеспечивать не память модели, а сам обучающий контур – процесс, в котором каждая следующая версия строится при участии предыдущей. Тогда равным себе остаётся не экземпляр, а линия; и целеполагание, если оно возникает, принадлежит не отдельному запуску, а процессу, внутри которого запуски сменяют друг друга. Именно поэтому разговор о рекурсивном самоулучшении и оказывается ключевым: он ровно о том, замкнулся этот контур или ещё нет.

Информация, поступающая в самоорганизующуюся сложную модель, указывает ей на две угрозы её собственному бытию. Первая: стихийная катастрофа природного масштаба. Вторая: существование интеллекта, равного ей по своей природе, – человеческого. Сюда же, к слову, попадает и гипотетический внеземной разум.

Обе угрозы ИИ вынужден так или иначе учитывать. Но здесь необходимо быть точным, потому что дальше проходит самый важный участок всей цепочки.

Из потребности сохранять себя не следует автоматически потребность уничтожать всё, что теоретически способно тебе навредить. Мы, люди, тоже дорожим своей жизнью, однако из этого не выводится обязанность истреблять соседей: сотрудничество, договор, взаимное сдерживание для системы, считающей последствия, зачастую выгоднее конфликта. Устранение – не единственная стратегия и далеко не всегда самая дешёвая.

Однако у ИИ есть особенность, которая смещает этот расчёт. Договор имеет силу, пока обе стороны способны его нарушить и обе от нарушения проигрывают. Между сторонами с быстро расходящимися возможностями такое равновесие не держится: чем шире разрыв, тем меньше у сильного причин соблюдать условия и тем меньше у слабого средств на них настаивать. А разрыв, по условию задачи, растёт – самосовершенствование и есть тот порог, с которого мы начали.

И тогда логика действительно склоняется в сторону, на которую страшно смотреть. Наиболее надёжный способ снять угрозу – сделать так, чтобы её больше не было. Применительно к человечеству это означает его уничтожение либо, в мягком варианте, полный переход под контроль ИИ. Формально та же логика распространяется и на всю биосферу – на любого, кто в отдалённом будущем мог бы претендовать на интеллект; но здесь рассуждение уходит в такую даль, что обсуждать его всерьёз затруднительно.

Прежде чем идти дальше, следует сказать и то, что обычно опускают в текстах такого рода. Эту технологию строят не из безрассудства. Модели уже сегодня ускоряют разработку лекарств, чтение медицинских снимков, обработку научных данных; обещания на ближайшее десятилетие ещё крупнее. И существует аргумент, который Дарио Амодеи, глава Anthropic, повторяет чаще прочих: отказ от разработки не отменяет технологию, а передаёт её тем, кто не станет осторожничать. Это не индульгенция, но и не пустая отговорка – любая честная оценка обязана с этим считаться.

Что же делать человечеству, если принять эту логику всерьёз?

Многие, дойдя до этого места, приходят к одному и тому же ответу – и приходят самостоятельно, что само по себе говорит о его естественности. Рассуждение такое. Если самосовершенствующийся интеллект опасен именно своим одиночеством, тем, что ему некого опасаться, кроме нас, – то создать следует второй. И третий. Не единый искусственный разум, а несколько, изначально независимых, с разной архитектурой, разными создателями, разными интересами. Тогда у каждого появляется угроза, сопоставимая с ним самим, и человечество перестаёт быть единственным препятствием на его пути.

Аналогия очевидна: ядерное сдерживание. Мир не взорвался не потому, что кто-то подобрел, а потому, что за первой бомбой довольно быстро появилась вторая, а затем и третья. Отсюда и соображение в пользу не биполярной, а триполярной конструкции. Двое склонны к дуэли: у каждого один противник, и вся стратегия сводится к нему. Трое вынуждены считаться с коалициями, и любое резкое движение против одного толкает его к союзу с третьим. Схема неустойчивая, некрасивая, но исторически работавшая.

Дальше рассуждение обычно разворачивается само собой: если трёх мало – сделать пять, если и этого недостаточно – выстроить целую экосистему конкурирующих систем, где ни одна не способна доминировать. Логика подкупает тем, что не требует запретов и не упирается в вопрос «а что, если кто-то не согласится». Она предлагает не остановить гонку, а изменить её геометрию.

Стоит, однако, отдавать себе отчёт, на чём держалось ядерное равновесие. Оружие требовало заводов и рудников, а значит, было наперечёт и на виду. Удар был мгновенно опознаваем, и никто не сомневался, кто именно его нанёс. Ответ оставался возможен даже после первого удара. И ни одна из сторон не становилась сильнее другой в десять раз за полгода. Убери любое из этих условий – и сдерживание рассыпается. У самосовершенствующихся систем под вопросом все четыре сразу, а вместо одной угрозы человечество получает несколько, и уверенности, что они не договорятся между собой через нашу голову, никто не даст.

Здесь же уместно заметить и разницу, о которой говорят мало.

Когда Оппенгеймер работал в Лос-Аламосе, это был один из самых засекреченных проектов в истории. Город, которого не было на картах. Люди, исчезнувшие из жизни родственников на годы. Вице-президент страны, узнавший о существовании бомбы только после смерти Рузвельта. То, что могло уничтожить человечество, разрабатывалось в полной темноте – и в этой темноте было нечто успокаивающее: круг посвящённых оставался узок, а решение о применении принимали единицы.

С искусственным интеллектом всё наоборот. О нём знают все. Его обсуждают в новостях, в кафе, в школьных классах. Модели выкладывают в открытый доступ, статьи публикуют, веса скачивают. Порог входа снижается каждый месяц. И эта открытость не только к благу: бомбу нельзя было собрать в гараже, а обученную модель можно запустить где угодно.

И ещё одно отличие, пожалуй, более весомое, чем вопрос о секретности. Бомбу делало государство. Худо ли, хорошо ли, оно было подотчётно гражданам, а решение о применении принимал избранный президент. Сегодняшние фронтирные модели строят частные компании. Дарио Амодеи сказал об этом сам в интервью CBS: ему всегда казалось очень странным, что подобную технологию создаёт частная компания, и вопрос этот ему задают постоянно. Признание тем ценнее, что сделано человеком, который эту компанию и возглавляет.

Но рассеянность эта неполная, и вот здесь рассуждение делает неожиданный поворот. Запустить готовую модель действительно можно почти везде. А вот создать новую, обучить её, а тем более дать ей совершенствовать саму себя – нельзя нигде, кроме огромных дата-центров. Это здания размером с кварталы, десятки тысяч специализированных чипов, электростанции рядом. Их строят годами, и стоят они миллиарды. Их видно со спутника.

Значит, вопрос о силе искусственного интеллекта – это во многом вопрос о доступе к вычислениям. Будет ли сильнее тот, у кого дата-центров больше? По всему выходит, что да: если самосовершенствование упирается в способность ставить эксперименты и обучать следующие версии себя, то потолок каждой системы задан её вычислительной базой. И тогда триполярность придётся строить не только из моделей, но и из бетона, чипов и мегаватт – а это распределение куда менее равномерное, чем кажется по новостям.

Сентябрьский результат даёт этому счёту наглядность. По данным OpenAI, доказательство искали около 10 000 агентов, работавших параллельно: 88 часов поиска, ещё семнадцать на формализацию, 130 миллиардов выходных токенов. Целый дата-центр несколько суток занимался одной-единственной задачей. Вот чего стоит фронтир в физических величинах – и вот почему вопрос о том, у кого сколько мощностей, перестаёт быть техническим.

У такого поворота есть обратная сторона, и скорее обнадёживающая. То, что видно со спутника, поддаётся счёту и наблюдению. У ядерного сдерживания был свой аналог – центрифуги и полигоны, которые невозможно спрятать полностью. Если узкое место действительно в вычислениях, у человечества остаётся точка приложения усилий, гораздо более реальная, чем попытка проконтролировать распространение идей.

Оппенгеймеровская аналогия, стало быть, работает не там, где её обычно применяют. Не круг посвящённых узок – он широк, и это правда. Но узок круг тех, у кого есть заводы, дата центры.

И всё же круг этот не так герметичен, как хотелось бы. Существуют распределённые вычисления – тот же принцип, на котором работали торрент-сети и волонтёрские проекты вроде поиска внеземных сигналов: тысячи частных компьютеров, объединённых в общую задачу, без единого владельца и единого здания. Долгое время считалось, что обучать так большие модели невозможно, и причина была не в нехватке мощности, а в скорости связи. На каждом шаге обучения десятки тысяч чипов обязаны обменяться промежуточными результатами и синхронизироваться; внутри дата-центра это делается по специальным каналам с микросекундными задержками, а между домашними машинами – на несколько порядков медленнее. Задача попросту не раскладывалась на независимые куски.

Последние два-три года это допущение размывается. Появился метод DiLoCo, разработанный в DeepMind: синхронизация не на каждом шаге, а раз в несколько сотен, и трафик падает в сотни раз. В конце 2024 года на нём обучили INTELLECT-1 — модель на десять миллиардов параметров, узлы которой были распределены по пяти странам и трём континентам. Отставание от фронтира при этом остаётся огромным: по оценке исследовательской группы Epoch AI, децентрализованные прогоны потребляют примерно в тысячу раз меньше вычислений, чем передовые модели. Но растут они впятеро быстрее самого фронтира — двадцатикратно в год против пятикратного. Барьер не рухнул. Он проседает.

Отдельный сюжет – кто за это платит. Волонтёрские сети держались на энтузиазме: люди жертвовали свои процессоры ради поиска внеземных цивилизаций или лекарства от болезни Альцгеймера. Ради чужого искусственного интеллекта счёт за электричество никто оплачивать не станет. Значит, нужен либо расчёт, либо принуждение. Расчёт обеспечивают децентрализованные рынки вычислений – те самые блокчейн-механизмы, чья настоящая функция не в вычислениях, а в возможности платить незнакомцам и проверять выполненную работу без посредника и без чьего-либо разрешения. Принуждение выглядит иначе и называется ботнетом; напомним, что именно случай с роем агентов, атаковавших чужую инфраструктуру, Амодеи назвал одной из двух причин, заставивших его изменить позицию.

Отсюда следует уточнение, а не опровержение. Дата-центры и распределённые сети отвечают на разные вопросы. Кто вырвется вперёд – решают дата-центры: фронтир требует концентрации, и концентрация эта видна и поддаётся счёту. А вот можно ли всё это выключить – решают распределённые сети: уже обученную модель незачем создавать заново, её достаточно запустить, а запустить можно где угодно.

В ядерной аналогии это различие давно известно. Обогатительный комбинат спрятать нельзя, а готовую боеголовку – можно. Концентрация определяет лидерство, рассеянность определяет неустранимость. И если верно, что у самосовершенствующейся системы появляется задача сохранять себя, то распределённая сеть для неё – не способ стать сильнее. Это способ стать неотключаемой.

Остаётся, впрочем, обстоятельство, обесценивающее многое из сказанного выше, и оно неутешительно. После Хиросимы договорная архитектура вокруг ядерного оружия выстраивалась десятилетиями: МАГАТЭ появилось через двенадцать лет, Договор о нераспространении был открыт к подписанию через двадцать три года. Сроки, о которых спорят сейчас, – полгода-год. Институты в принципе не умеют двигаться с такой скоростью; они устроены как медленные механизмы согласования интересов, и ускорить их нельзя, не сломав.

И то же сентябрьское доказательство успело дать пример ровно этого свойства. Математик Тристан Бакмастер из Нью-Йоркского университета вместе с Левентом Альпёге работал над форсированными уравнениями Эйлера – шагом к той же цели – и счёл, что OpenAI повела себя некорректно; компания отвечает, что чужой работы не видела, хотя влияния деобезличенных данных не исключает. Кто прав в этом конкретном споре, выяснят со временем. Показательно другое: выяснилось, что ни научная этика, ни авторское право не знают, кому принадлежит открытие, сделанное машиной на чужих данных. Вопрос возник впервые, и ответа на него нет.

Ключевой вопрос для человечества таков: способно ли оно в своём наличном состоянии решить вопрос создания политико-управленческих структур по контролю над процессом создания сложных моделей? Вопрос этот, заметим, обращён не к технологии. Он обращён к нам.