По образу и подобию: чёрное зазеркалье

Сразу предупреждаю: сейчас будут спойлеры четвёртого сезона “Black Mirror”. Если вы его ещё не смотрели, пожалуйста, остановитесь прямо сейчас, посмотрите и потом возвращайтесь. Я подожду, я всё равно не более чем виртуальное существо, которому делать больше нечего...

...и именно об этом я и хочу сегодня поговорить.

На новогодних каникулах я посмотрел четвёртый сезон “Black Mirror”. Это был фактически binge watching, так что пока смотрел один эпизод за другим, легко было их сопоставить. И оказалось, что они все про одно и то же. Ну хорошо, все — это я загнул, но три из шести тоже немало:

• в “USS Callister” антагонист создаёт виртуальные копии живых людей и заставляет их подыгрывать в симулированной стартрекоподобной вселенной, пытая по необходимости;
• в “Hang the DJ” виртуальные копии живых людей проживают тысячи симулированных жизней, чтобы собрать данные для рекомендательного алгоритма дейтинг-приложения;
• в “Black Museum” главный экспонат музея — виртуальный клон казнённого преступника (или не преступника), который теперь вынужден переживать свою казнь снова и снова, причём каждый раз “на память” гостю музея создают нового виртуального клона, постоянно кричащего от боли.

В список ещё можно добавить эпизоды “San Junipero” и особенно “White Christmas” из предыдущих сезонов “Black Mirror”.

Видите лейтмотив? Похоже, создатели “Black Mirror” обратились к одной из центральных проблем современной этической философии: что мы будем делать, когда сможем создавать новые сознания, скорее всего в форме виртуальных копий или искусственных разумов внутри той или иной симуляции? Будут ли эти виртуальные создания “настоящими людьми” с этической точки зрения? Можно ли будет поступать с ними как нам заблагорассудится?

Судя по настроению этих эпизодов, сценаристы “Black Mirror” относятся к лагерю, который считает, что виртуальный разум тоже порождает моральную ответственность, и этические императивы относятся к “виртуальным людям” примерно в той же степени, что и к реальным. На первый взгляд это довольно очевидный вывод… правда?

Но как только мы чуть более пристально присмотримся к этому вопросу, мы сразу же столкнёмся с непреодолимыми трудностями. Первая (и самая серьёзная) проблема состоит в том, что на данном этапе развития науки мы вообще не можем понять, что же такое “сознание”.

Проблемы сознания и того, что по-английски называется first-person experience (опыт “от первого лица”), всё ещё прочно относятся к области философии, а не науки. Здесь я имею в виду, так сказать, “натурфилософию”, рассуждения о том, что пока не подвластно научному методу познания. Древние греки, например, философски рассуждали об основе всех вещей и даже пришли к идее элементарных частиц. Но хоть это для нас и выглядит как удивительно точная догадка, древние греки всё же не могли изучать элементарные частицы так, как это делают современные физики, — у них не было для этого ни подходящих инструментов, ни даже подходящих слов и концепций. В изучении сознания и first-person experience мы пока, честно говоря, во многом остаёмся на уровне древних греков: никто не знает, что это такое, и ни у кого пока нет конкретных идей о том, как узнать.

Один из главных современных философов, размышляющих об этом, — австралиец Дэвид Чалмерс. Он ввёл различие между “лёгкими” проблемами сознания, которые подвластны научному методу познания уже прямо сейчас, и “трудной проблемой” (см., например, его знаменитую статью “Facing Up to the Problem of Consciousness“). Трудную проблему, на первый взгляд, довольно просто сформулировать: что такое этот самый опыт от первого лица? Что такое “я”, которое ощущает каждый из нас? Как ощущение “себя” возникает из активаций миллиардов нейрончиков?

И на первый же взгляд кажется, что это хорошо определённая проблема, ведь личное сознание — это по большому счёту единственная вещь на свете, в которой мы действительно можем быть уверены. Концепция картезианского сомнения, прямо по Декарту, на удивление релевантна проблемам разумных людей, которых симулируют в виртуальной среде. Тот, кто контролирует симуляцию, — это фактически и есть картезианский злой демон. Если вам кажется, что вы застряли в компьютерной симуляции (тоже, кстати, серьёзная философская проблема), единственное, в чём вы можете быть уверены, — это в своём собственном сознании.

С другой стороны, личный опыт как раз полностью спрятан от кого бы то ни было, кроме вас самих. Чалмерс вводит понятие философских зомби — вымышленных существ, которые выглядят и ведут себя точно как люди, но при этом не имеют никакого личного опыта, никакой “искры” внутри. Это просто автоматы, так сказать, “китайские комнаты“, которые выдают те же ответы, что выдал бы и живой человек. Их предположительное существование, кажется, не ведёт ни к каким логическим противоречиям. Я далёк от психологии, но, может быть, психопаты именно так и рассматривают других людей: как механические объекты манипуляции, которые неспособны к субъективным переживаниям.

Не буду дальше углубляться в философские детали. Но даже этого уже должно быть достаточно, чтобы зародить сомнения насчёт виртуальных копий: откуда мы знаем, что у них будет такой же личный опыт, как у нас? Если они будут просто философскими зомби и не будут испытывать никаких субъективных страданий, то кажется, что будет совершенно этично проводить над ними какие угодно эксперименты. Или ещё проще: откуда вы знаете, что я не зомби? Если бы я им был, я бы всё равно написал ровно те же слова в том же порядке. А моя виртуальная копия ещё меньше похожа на вас, чем я сам: у неё совсем другое “железо”, другая элементная база — почему она не будет зомби?

И ещё один к вам вопрос: когда вы появились на свет? Не сегодня ли утром? У вас ведь нет непрерывного ощущения самосознания, которое связывало бы вас с вчерашним днём (при условии, конечно, что вы ложились спать). Конечно, у вас есть память о вчерашнем дне, но у виртуальной копии была бы точно такая же память… откуда вы знаете?

Что ж, мы пока не можем рассчитывать на решение трудной проблемы сознания. Мы даже не можем быть уверены, что это вообще хорошо поставленный вопрос. Однако потенциальное существование “виртуальных людей” приводит и к более практическим вопросам.

С экономической точки зрения на этот вопрос пытается посмотреть Робин Хансон (Robin Hanson), автор недавно вышедшей книги The Age of Em. Книга посвящена именно этому вопросу: что произойдёт с мировой экономикой, если мы сможем найти способ запустить эмуляции сознания людей (их Хансон и называет ems) — в точности как в эпизоде “White Christmas” из “Чёрного зеркала”? Что если мы сможем сделать миллион копий Альберта Эйнштейна, Ричарда Фейнмана и Джеффри Хинтона?

По Хансону получается, что будущее для “эмов” радужным отнюдь не выглядит. Поскольку цена копирования виртуальных людей пренебрежимо мала по сравнению с тем, чтобы вырастить с нуля живого человека, конкуренция между эмами будет очень острой. Они превратятся в почти идеальные экономические сущности — и в качестве таковых им придётся существовать очень близко к минимально возможному уровню жизни, поскольку любая “роскошь” (например, возможность работать не 14-16 часов в день, а меньше) тут же будет поглощаться новыми эмами.

Но Хансон тут же отмечает, что эмы, возможно, и не будут против: их психология адаптируется к их окружающей среде, точно так же, как человеческая психология уже адаптировалась на протяжении тысячелетий.

А “настоящие” люди смогут жить в богатстве и праздности, пользуясь доходами от этого рынка эмов… по крайней мере, некоторое время. В конце концов, нет причин не ускорять эмов настолько, насколько позволят вычислительные мощности. А это значит, что их субъективное время может идти в тысячи раз быстрее, чем наше человеческое (да-да, я знаю, опять “White Christmas”), и общество эмов может начать развиваться гораздо быстрее человеческого — с непредсказуемыми последствиями.

Хансон также рассматривает трудную проблему сознания под другим углом. Предположим, что у вас есть способ скопировать своё собственное сознание. Это открывает интересные возможности: например, вместо того чтобы идти завтра на работу, можно просто скопировать себя, заставить копию выполнить нужную работу, а потом удалить копию, — а самому в это время можно заниматься более приятными вещами. Если бы вы были эмом, вы бы смогли провернуть такой трюк в реальности… но значит ли это, что вы в конце рабочего дня совершаете убийство? Это связано с философским вопросом, известным как “проблема телепортации”: если вас телепортируют, создавая точную до атома копию в другом месте, примерно как в сериале “Star Trek”, будете ли это вы? Или настоящий "вы" будет убит в процессе, и в результате телепортации появится совершенно новая личность с теми же воспоминаниями?

Кстати, для таких этических вопросов совершенно не обязательно иметь полномасштабные эмуляции человеческого мозга. Представьте, что завтра нейронная сеть пройдёт тест Тьюринга и в процессе его прохождения будет умолять вас не выключать её, всем своим видом (то есть всеми своими сообщениями) передавая ужас перед этой потенциальной “смертью”? Будем ли мы вправе всё-таки выключить эту сеть?

Вопросов много. Вопросы здесь интересные, открытые, а зачастую — вопросы, которые непонятно даже как правильно поставить. Я хотел поделиться с вами этими вопросами, потому что мне они искренне кажутся очень интересными. Но закончить хочется предостережением. Мы сегодня говорили о “виртуальных людях”, “эмуляциях сознания”, “проходящих тест Тьюринга нейронных сетях”... но пока что все эти рассуждения имеют примерно такой же статус, что и “Black Mirror” — пока это всё хоть и научная, но фантастика, причём не самая правдоподобная на свете. Хотя хайп вокруг искусственного интеллекта продолжает расти, пока нет серьёзных причин ожидать в ближайшем будущем полные эмуляции человеческого сознания и сингулярность. Но о том, почему нет, мы поговорим как-нибудь в другой раз...