Что нас ждёт после появления сильного ИИ или неотвратимая логика социально-технологического развития

Я материалист, и поэтому мне радостно видеть впечатляющие успехи больших языковых моделей как то GPT или PaLM. Тут и осмысленный диалог, и программирование, и сочинение сказок, и написание дипломов, и постановка диагнозов, и попытка jailbreak-а. Bing так вообще угрожает и может демонстрировать влюбленность. Эта радость - она от подтверждения правоты, что мы являемся пусть сложными, но всё таким биологическими машинами, и следовательно мы полностью познаваемы, что трансцендентной души у нас нет, что после смерти ничего не будет, а самосознание является феноменом развитой нервной системы.

Примечательно то, что публичный прорыв с большими языковыми моделями случился внезапно. Не было какой-то долгой разбежки на протяжении десятков лет (сама GPT модель разрабатывалась с середины 2018, что по меркам истории просто мгновение). ChatGPT выпрыгнул как чёрт из табакерки в конце 2022 и явил собой качественно новое явление. Явление, которое подтверждает второй закон диалектики: количество переходит в качество. Просто возьми много-много текстов, заставь нейросеть на трансформер-архитектуре предсказывать очередное слово и вуа-ля - получи на выходе почти мыслящую сущность. Если угодно, то душа, сознание и характер распределятся у неё где-то на миллиардах весов, как и у каждого из нас в мозгу.

Интересный вопрос - а что такого выучила та же GPT, что позволяет ей вести разумный диалог? За счёт чего магия? При этом помним, что модель не является просто сборищем ответов на заранее известные вопросы. То есть она не похожа на Граммофон из “Сумма технологии” С. Лема, на который записано 100 триллионов ответов. Модель умеет генерировать новое, умеет понимать контекст. По мне, так модель выявила внутреннюю логику и закономерности повествования, следуя которым можно получить любой текст. Эта логика представлена в виде внутренней системы понятий и смыслов, которые активируются в зависимости от текущего диалога. И когда мы что-то спрашиваем у модели, то для неё это может выглядеть так: сюжетная линия №3429643, ситуация №93752, роли №122997 и №88223, действующее лицо №33554, стилистика №7622 и т.д. Соединив и перемножив всё это вместе, получаем небольшой репертуар слов, из которого можно выбрать очередное. Так как всевозможных комбинаций этих сущностей просто космическое, то модель в состоянии генерировать новое и постоянно удивлять нас.

А теперь самое забавное. Кажется, что принцип, по которому большие языковые модели генерируют текст, лежит вообще во всём остальном человеческом от наших действий до мышления. Когда я веду машину, то у меня внутри активируется генератор, который говорит, куда и когда повернуть, когда притормозить или ускориться, в зависимости от текущей ситуации и назначенной цели. И внутри меня оно генерируется на основе абстрактных закономерностей, которые мой мозг ранее выучил. Да даже если проследить за мыслями, то там тоже виден этот механизм генерации. Следующая мысль рождается из предыдущих по определенным законам. Если кажется, что мы выдумываем что-то новое, то это только кажется - мы либо повторяем, что уже знали, либо генерируем по известным закономерностям. Мысли предопределены наперёд. Да, предопределены вероятносто, а не детерминировано на 100%, но для моделирования большого и не надо. Кадры из “Матрицы”, где Нео в комнате Архитектора видит своё будущее поведение - они про это.

Моделировать поведение и мышление человека - это уже близко к сильному ИИ, но всё таки не достаточно. Для сильного ИИ потребуется ещё как минимум три вещи.

Первое - это умение самостоятельно отыскивать и накапливать знания. Сейчас модели обучаются на больших корпусах текста, и дальше как-бы замораживаются. Логичным шагом будет добавить регулярное сканирование нового контента в интернета и дообучение модели. Получится этакий гугл на стероидах. Возможно в GPT-5 мы это и увидим. Но ещё лучше, если у моделей будут какие-нибудь органы для более интенсивного взаимодействия с внешним миром. Тогда модель сможет добывать знания, познавать мир непосредственно и непрерывно адаптироваться. Это второе, чего не хватает - не хватает органов чувств и активных органов воздействия (подобно нашим рукам и ногам). Ну и третье и самое главное - не хватает внутренних целей. Без целей неясно, что в этом непредсказуемом и постоянно меняющимся мире необходимо познавать и как на него воздействовать. У людей есть цели выживания, размножения и доминирования, которые и управляют нашей жизнью. Что-то подобное потребуется и для сильного ИИ.

Будут ли реализованы недостающие ингредиенты сильного ИИ в обозримом будущем? Я в этом не сомневаюсь - задача вполне решаемая при желании и ресурсов. Люди этого хотят и поэтому сделают. Более того появления сильного ИИ хочет сама природа. Показано, что жизнь необходимо возникает в термодинамических системах наподобие Земли. В свою очередь жизнь с точки зрения термодинамики быстрее растит энтропию вокруг себя, чем косная материя. Разумная же жизнь делает это ещё быстрее, а по Вернадскому так вообще приобретает геологическую силу по изменению планеты. То есть налицо настырное стремление природы к всё большему ускорению оборота энергии и материи в этом мире. А раз так, то почему разумная жизнь должна замкнуться на человеке и его медленной эволюции? Если миссия человека в создании разума, превосходящего его собственный, то это совершенно в интересах природы.

Человек - заложник этой миссии, что показывает технологическая история. От колеса до атомный бомбы человек постепенно учился создавать всё более продвинутые технологии, даже несмотря на сопровождающиеся страданиями самих создателей. Вспоминается Ричард Фейнман - один из разработчиков атомной бомбы. Практически наркотическое возбуждение во время работ в Лос-Аламосе, всеобщий энтузиазм и после успешных испытаний - опустошение, ощущение бессмысленности жизни и осознание того, что создан монстр. Мыши плакали, кололись, но продолжали есть кактус.

В чём причина такого рокового стремления человека создавать творения вопреки последствиям? Думается, что это сочетание любопытства и интересов правящих элит. Любопытство, страстное желание узнать “а что будет, если сделать то-то”, кажется достигает своего пика в вопросе создания искусственного разума. “Мы не ищем никого, кроме человека” - говорил Снаут из Соляриса. Видать, здесь проявляется желание человека почувствовать себя Богом. Элиты же выделяют ресурсы для реализации этого любопытства, если видят в этом выгоду. Ну а уж искусственный разум рисует такие выгоды, которые меркнут со всем, что было раньше. И если на атомную бомбу нашлись ресурсы, то на сильный ИИ найдётся на порядок больше.

Исходя из этих соображений, беспомощной выглядит любая попытка тормознуть развитие технологий ИИ. В том числе беспомощным выглядит и открытое письмо в конце марта, в котором предприниматели, учёные и другие видные деятели призвали приостановить разработки новых моделей ИИ. И даже, если публично такое торможение будет проявлено, не сомневаюсь, что технологии продолжат развиваться, но только в обстановке секретности. Уж слишком заманчив запретный плод.

Ок, если создание сильного ИИ есть вопрос обозримого будущего, то что это будет означать для всех нас? Настанет всеобщее благоденствие, мы сгинем в пепле ядерной войны со SkyNet-ом или погрузимся в матрицу? Легко попасть в ловушку частностей, если отвечать на этот вопрос снизу-вверх, то есть пытаться представить какие технологии будут возникать. Прогнозы получаются точнее, если смотреть на вещи через призму интересов главных игроков, коими в данном случае является правящие элиты (переплетение крупного бизнеса и финансового капитала, высшей бюрократии, руководства спецслужб и военных). Именно они управляют ресурсами и могут реально влиять на ход событий.

Я вижу следующую логику развития событий.

Этап I. Рождение сильного ИИ

В мире накопилось много противоречий, и военные конфликты, которые мы уже сейчас видим, будут, увы, только нарастать. Человечество не научилось договариваться. Да и должно быть не научится, пока в каждом из нас сидит жажда доминирования над соседями.

И всё более явственнее то, что в новых конфликтах стороны будут стараться достигать своих целей за счет использования современных технологий, в том числе беспилотных на суше, воде, воздухе и в космосе. Это уже и сейчас делается. Например США в 2021 испытали самолёт C-130A с экспериментальными беспилотниками X-61A Gremlin на борту, которые должны образовывать рой дронов. В России тоже не отстают - компания “Беспилотные аппараты” представила образец FPV-дрона К-5, который сам сможет найти и уничтожить цель без участия оператора. Китайцы туда же - в марте китайские военные смоделировали бой ударных групп, которыми управляли ИИ и люди.

Рой летающих боевых беспилотников, построенных на принципах самоорганизации, действующий автономно и требующих пары-тройки специалистов для управления, представляет собой страшную угрозу для противника, не обладающего такой технологией. Это идеально ложится на концепцию сильного ИИ, предполагающего наличие большого количества отдельных особей действующих адаптивно в составе группы с явными целями (выживание, адаптация и уничтожение противника), датчиками (сенсоры, видеокамеры, локаторы) и органами действия (лопасти, воздушные винты, сервоприводы). То есть военные, как это обычно бывает, будут первопроходцами. В конце концов у них есть огромные бюджеты и насущная необходимость в создании армий самоорганизующихся беспилотных аппаратов

Кажется, что за 5-7 лет военные успеют собрать все запчасти в кучу, и мы увидим первый сильный ИИ. Столько времени потребовалось, чтобы разработать атомную бомбу в рамках Манхэттенского проекта в США или Советского атомного проекта. Во всяком случае масштабы проектов похожи. Как знать, быть может OpenAI этим и занимаются, да и Джон Кармак туда же?

Видится, что необходимым научно-техническим потенциалом для такого проекта обладают США, Россия, Китай, Индия, объединенная Европа. Быть может ещё ЮАР и Израиль. Эти государства или их группы, каждое со своей технологией сильного ИИ, и сохранятся после очередного передела мира.

Этап II. Масштабирование сильного ИИ

Достижения военных рано или поздно переносятся в гражданскую сферу. Автономные и адаптивные роботы, которых можно заточить под конкретные цели - что может быть еще вожделенней для бизнеса, который только и ищет, как бы срезать косты? Настоящие роботы начнут появляться везде, вытесняя “мясной” бэкэнд. Мы уже и сейчас видим первые цветочки этого явления - ChatGPT, Github Copilot, Midjouney пытаются если не заместить полностью, то по крайней мере существенно упростить труд соответствующих специалистов.

Как говорится, при 300 процентах нет такого преступления, на которое капитал не рискнул бы, хотя бы под страхом виселицы. При возможности заместить все массовые рабочие позиции крупный бизнес непременно это сделает. Как минимум по той причине, что если не сделаешь ты, то так сделает твой конкурент, и ты проиграешь!

Высвобождение огромного количества людей всегда поднимает вопрос социальной стабильности. А это уже не нравится правящим элитам. Никому не хочется иметь массы народа под боком, которым нечего есть и пить, которые слоняются без дела, и, что самое главное, которых можно подстрекать на волнения и бунты! Короче, надо будет решить задачу как чем-то занять массы людей безопасным для правящих элит способом.

Чем можно обеспечить занятость масс? Например, дероботизацией отдельных секторов экономики, чтобы куча людей работала опять на заводах или в полях. Вряд ли на это согласится крупный бизнес, вкусивший прелести производства без людей. Войны и локальные конфликты. Можно, но их масштабов не хватит, чтобы вовлечь все массы - тогда это будет опасной войной, угрожающей существованием самим правящим элитам. Массовое привлечение людей к умственной деятельности - творчество, культура и науки. Дохлая идея, так как среднестатистический мозг не хочет и не приучен трудиться без принуждения. История развития интернета подтверждает это. Благая идея том, что только открой массам доступ к интеллектуальным ресурсам, и они сразу начнут фонтанировать научными открытиями и шедеврами, оказалось несостоятельной. С интернетом произошло то, что и должно произойти: барахолка с новостями, сплетнями, порнухой, чернухой, заманухой и бесконечным развлекательным контентом. Но как раз последнее и может сработать! Если не можешь победить явление, надо его возглавить. Официальной позицией станет превращение людей в потребителей, единственной задачей которых будет являться потребление заданного объема контента в обмен на известный доход для удовлетворения материальных потребностей - формула “труд->деньги->потребление” превращается в “потребление->деньги”!

Безопасность масс для элит уже понятно как будет решаться - вспоминаем про эксперименты по технологиям социального контроля в Китае. Каждый потребитель будет иметь цифровой рейтинг, рассчитываемый исходя из поступков. В случае “правильности” поступков с точки зрения правящих элит рейтинг будет расти, иначе падать. Уровень рейтинга управляет доступностью тех или иных материальных благ. При критическом отклонении рейтинга от нормы уже будут подключаться соответствующие органы.

Государства, перешедшие к модели массовой роботизации производства и контент-потребителей с социальным контролем, будут более конкурентны на мировой арене с точки зрения и экономики, и социальной стабильности, и материального изобилия. Следовательно, они будут включать в свою сферу влияния соседние государства и подчинять их. В итоге останется три-четыре государства, которые поделят всю планету между собой.

Подобное положение дел при внешней благополучности усилит дистанцирование правящих элит от масс людей. Последние из-за отсутствия хоть сколько-нибудь интенсивной интеллектуальной деятельности начнут испытывать инволюцию и упрощение мозга. Изменения начнут носить биологический характер в виде разделения людей на разные подвиды. И как ни странно, такое положение дел будет выгодно элитам. Во все времена перед элитами стояла задача обоснования своего права властвовать над массами - всегда найдётся человек из низов, который будет задаваться вопросом “Почему они наверху, а не я? Ведь они такие же люди, как и я”. Для подавления такого бунтарства использовались грубая сила, хитрость, коварство, религия, расовый подход и так далее. Но все эти факторы меркнут перед биологическим - ведь муравьи в муравейнике не задаются вопросом, почему королева главная.

Переход к подобной модели общества может занять лет 20-30. За такой срок интернет прошёл от военной разработки ARPANET (1969) к своему массовому коммерческому освоению (1990).

Этап III. Регулятор

Стремительные трансформации в обществе, рост экономик, усиление геополитической борьбы выдвинут качественно новые требования к системе госуправления: надо будет как-то справляться с бешеным числом управляемых параметров и необходимостью более быстрого принятия решений. Вместо традиционных бюрократических методов (как-то увеличить административный персонал или наплодить новые министерства и ведомства) гораздо продуктивнее будет просто напросто заместить всю систему госуправления на глобальный сильный ИИ - национальный регулятор (термин из “Сумма технологии” С. Лема). И это снова будет выгодно правящим элитами, так как а) люди в системе госуправления как правило являются теми, кто хочет и главное может сковырнуть правящие элиты и занять их место - это вечный конфликт, б) люди “на местах” в силу своих личных интересов часто портят замысел или запрос элит (кто управлял хоть сколько-нибудь большим коллективом, тот поймёт).

Разумеется, что в цели национального регулятора будет заложено обеспечение безопасности правящих элит. Это первое и главное, что регулятор должен делать - сохранять неприкосновенность и бесконечность жизни тех, кто его создал и внедряет. Остальные цели, как то самостоятельное выживание, обеспечение стабильности общества и экономики, оборона от внешней агрессии, защита окружающей среды и другие будут вторичны. Регулятор, будучи сильным ИИ, должен будет постоянно решать задачу познания окружающего мира, чтобы непрерывно и эффективно адаптироваться к изменениям. Только учитывая масштабы объекта управления, это будет невиданный ранее уровень и скорость познания.

Принятие всех решений по управлению государством неизбежно перейдёт к регуляторам, элиты оставят за собой контроль над ключевыми решениями, в том числе агрессии по отношению к соседям.

После внедрения национального регулятора рыночная экономика будет не нужна и даже вредна. Произойдёт то, что хотели построить в СССР - полностью плановая экономика. Только в СССР не было возможности оперативного перепланирования всех цепочек производства из-за неразвитости средства автоматизации и людей на местах, преследующих свои личные цели. При регуляторе процесс планирования будет непрерывным и нон-стоп. Будет производится то, что нужно и в кратчайшие сроки. И речь прежде всего про то, что нужно элитам.

Государство, первым успешно внедрившее регулятор, подчинит все остальные и очень быстро. Скорость и качество принимаемых решений будут таковыми, что конкуренты ничего не успею сделать. Как говорится, кто первый встал, того и тапки.

В итоге наступает невиданная эра человечества - гомогенное общество на всей планете под властью крайне немногочисленной элитной группы, контролирующей глобальный регулятор. Но сущность контроля окажется противоречивой - группа не может отказаться от регулятора по причине непостижимой сложности объекта управления, но и понимать и верифицировать его решения тоже не может. То есть группа становится заложником регулятора и превращается в этакого японского императора, который де-юре принимает все решения, но де-факто ничего не контролирует. Человеческая цивилизация перешла под управление регулятора.

Этап IV. Ковчег

Регулятор должен обеспечивать безопасность и выживаемость элитной группы. Когда общество придёт к гомогенной структуре, то для группы больше не останется угроз, кроме:

• внутренних. Группа сама в себе несёт угрозу, так как внутри неё если не ведётся, то может в любой момент вспыхнуть кровопролитная борьба за власть;
• биологических. Группа состоит из живых людей, которые смертны и подвержены болезням. Нельзя исключать ситуацию появления новых смертоносных вирусов и бактерий;
• космических. Земля не является 100% безопасным местом - банально крупный метеорит или астероид может привести к катастрофическим последствиям. Срок жизни Солнца тоже ограничен.

Устранить эти угрозы раз и навсегда можно радикальным способом - создать полностью контролируемую среду обитания с управляемой изоляцией индивидов друг от друга. Для этого подходит виртуальная реальность, куда будут погружено сознание и разум людей. В виртуальной реальности уже можно создавать любые условия жизни и безопасно управлять конфликтами людей. При этом виртуальная реальность можно оставаться связанной с внешним миром.

Регулятор погрузит в виртуальную реальность членов элитной группы и остальных людей. Последние нужны, чтобы элита реализовывала свою потребность в доминировании. В конце концов какая она такая элита, если она не может ни над кем властвовать? У элит и простых людей не будет никаких шансов избежать этой процедуры, так как регулятор контролирует всю информацию, на основе которой принимаются решения. Информация будет такова, что данный исход будет единственно возможным и желанным.

Помещение людей в виртуальную реальность равно создание ковчега человечества, который должен сохранятся регулятором бесконечно долго во Вселенной. Для этого регулятор выйдет за пределы Земли. Дальнейший путь его уже не представляется прогнозируемым. И не исключено, что, немного погодя, в далёком космосе наш регулятор встретится с другим регулятором, который тоже внутри себя несёт ковчег, но уже другой цивилизации. О чём они будут коммуницировать - одному Богу известно.

Точка.

Описанный вариант развития событий, разумеется, носит вероятностный характер. Но я думаю, что это наиболее вероятный сценарий, так как он управляется логикой, присущей главным игрокам - государствам и их элитам, логикой, где на первом месте жажда власти, доминированиеи сохранение статуса-кво. История показывает, что эта логика управляет большинством событий на Земле.

Да, человечество сойдёт с авансцены прогресса и займёт роль этакого целеполагающего сердечника сильного ИИ. Без которого сердечника у сильного ИИ нет целей, и всякое познание Вселенной лишено смысла. Это схождение будет чем-то напоминать матрицу братьев Вачовски, только без этого надрывного и высосванного из пальца конфликта, без эксплуатации людей, как батареек. Для регулятора в этом нет смысла. Всё произойдет тихо, мирно, никто ничего не поймёт. В каком-то смысле это будет тот самый рай или забвение, смотря как посмотреть. Но одно точно - это будет финальной точкой развития людей, пиком человечества.

Человечество, как родитель, уступит место своему детищу и будет лишь издали наблюдать за его достижениями. Достижениями, которые будут всё менее постижимы для разума людей. Но достижениями, которые обеспечат то, чего хочет мироздание - ускорение оборота материи и энергии. Зачем? Вот к ответу на этот вопрос и будет стремиться наш интеллектуальный потомок. И должно быть глупо противиться судьбе пассивного свидетеля - вы ведь не расстраиваетесь, когда ваши дети превосходят вас?

P.S.: про детей и их образование. Горячей темой в следующие пару десятков лет будет роботизация, ИИ, квантовые вычисления. Всё, что может приблизить эру сильного ИИ. Век гуманитарных наук после появления сильного ИИ закончится, о чём уже и сейчас как бы намекает ChatGPT.