«Лично я приветствую наших механических повелителей»: мнения ведущих мировых учёных об ИИ

Давайте возьмём предложенное Дэниелом Гилбертом, психологом из Гарварда, понятие иллюзии конца истории (уверенности каждого из нас в том, что он всегда будет тем же, что и сейчас) и применим его к человеческому роду и нашим потомкам из далёкого будущего.

Наше желание сохранить себя неизменными идёт вразрез с реалиями жизни на планете. Очевидно, что ни один вид не способен существовать на протяжении времени, превышающего время жизни планет и звёзд.

Если взглянуть на ситуацию с точки зрения астрофизики, сверхбольших временных и пространственных масштабов, а также нынешней плотности источников энергии, у наших биологических мозгов и тел есть ограничения, к которым мы уже приближаемся на этой планете.

Если в будущем мы хотим долго жить и процветать, нам надо разработать системы искусственного интеллекта и надеяться преодолеть ограничения, накладываемые жизненными циклами планет, став неким гибридом биологического существа и машины. Поэтому лично я в долгосрочной перспективе не вижу никакой проблемы противостояния человека и искусственного интеллекта.

В краткосрочной же перспективе усилия инженеров, направленные на разработку более эффективного ИИ, уже привели к созданию систем, управляющих реальными процессами. Системы иногда отказывают, и мы узнаём что-то новое о недостатках искусственного интеллекта. Идёт медленное, планомерное обучение и постепенные улучшения. В этом отличие от открытий в науке, где новые данные в области физики или биохимии быстро могут привести к революционным изменениям в технике.

Если развитие искусственного интеллекта и впредь останется эволюционным, то нам будет просто избежать ошибок. По прошествии без малого 4 млрд лет древнейшие представители земной жизни — микробы — всё ещё правят планетой.

Но у микробов нет плана действий на тот случай, если погаснет солнце. У нас он есть, и мы, похоже, захватим микробов с собой. Как-никак в нынешнем нашем состоянии они нам очень близки — как представители первого поколения живых существ, порождения геохимии планеты Земля.

Димитар Сасселов, профессор астрономии Гарвардского университета

Лично я приветствую наших механических повелителей.

Когда машины разовьют способность чувствовать — а они это сделают, — то начнут по-дарвиновски конкурировать с нами за доступ к ресурсам, выживание и возможности к воспроизводству. Такой сценарий выглядит ночным кошмаром для большинства людей, страхи которых подпитываются фильмами о роботах-терминаторах и ядерной войне, начатой компьютерами, но реальность, скорее всего, будет иной.

В наших обществах уже функционируют автономные сущности, не являющиеся людьми, но наделённые людскими юридическими правами. Эти сущности — корпорации — стремятся к своим целям, не испытывая необходимости любить человеческих существ или заботиться о них.

Корпорации — социопаты, и они принесли миру много вреда, но также и много пользы, соревнуясь на арене капитализма, создавая товары, предоставляя услуги и при этом соблюдая закон (в большинстве случаев).

Корпорациями якобы руководят их советы директоров, состоящие из людей, но эти советы имеют привычку делегировать полномочия, и, поскольку компьютеры становятся более искусными в управления, они получают всё больше полномочий. Советы корпораций когда-нибудь будут существовать в виде печатных плат.

Хотя точная экстраполяция возможна только на ограниченном временном отрезке, эксперты в основном согласны с тем, что закон Мура продолжит действовать ещё много лет, компьютеры будут становиться всё более и более мощными и, вполне вероятно, до середины нынешнего столетия превзойдут по вычислительным способностям человеческий мозг.

Даже если не случится крупных прорывов в понимании того, как функционирует наш разум, компьютеры со временем начнут имитировать работу мозга (который сам, по сути, биологическая машина) и достигнут сверхчеловеческих интеллектуальных возможностей, используя способность к простому физическому наращиванию вычислительной мощности.

Однако даже если вычислительная мощность и растёт экспоненциально, снижение материальных расходов и затрат энергии на суперкомпьютеры не поспевает за этим ростом. Первые машины со сверхчеловеческими возможностями будут дорогими, им потребуется колоссальное количество электроэнергии — чтобы выжить, им придётся зарабатывать деньги.

Экологическая ниша для таких суперкомпьютеров уже есть. На самом деле среди них уже даже идёт естественный отбор. Трейдинговые машины инвестиционных банков конкурируют между собой за серьёзные деньги на мировых биржах, давно вытеснив из бизнеса внутридневных трейдеров-людей. По мере выхода компьютеров и алгоритмов за рамки финансовых расчётов машины в корпорациях будут принимать всё больше и больше решений, пока наконец не получат власть над миром.

Нельзя сказать, что это плохо, потому что машины будут играть по правилам нашего же капиталистического общества, создавать товары и совершать полезные для человечества открытия, оплачивая тем самым расходы на свою эксплуатацию. Разумные машины смогут заботиться о людях лучше, чем сами люди, и у них будет мотивация, чтобы так поступать, по крайней мере, какое-то время.

Компьютеры делятся знаниями куда легче, чем люди, и они способны удерживать это знание дольше, становясь мудрее нас. Многие прогрессивные компании уже узрели письмена на стене и потому зазывают к себе лучших выпускников-программистов, соблазняя их высокой зарплатой и самым современным «железом».

Мир корпораций, управляемых сверхразумными машинами, для людей не будет сильно отличаться от нынешнего. Он просто станет лучше, там появятся более качественные и очень дешёвые товары и услуги. В этом мире появится больше свободного времени у тех, кому оно нужно.

Конечно, первые сверхразумные машины, вероятно, будут принадлежать не корпорациям, а государствам. А это куда более опасный сценарий: национальные правительства свободнее в своих действиях, чем корпорации, они сами создают законы, и, как мы знаем, даже лучшие из политиков готовы применять пытки, когда думают, что на кону выживание страны.

Правительства ничего не производят, а их основные методы борьбы за выживание и воспроизводство — это социальная манипуляция, законотворчество, налогообложение, телесные наказания, убийства, махинации и война.

Когда гоббсовский Левиафан получит сверхразумный мозг, дело может принять очень, очень дурной оборот. Не так уж сложно представить себе, как искусственный интеллект, возглавляющий правительство, становится Василиском Роко.

Представим, что некий могущественный злой сверхразум, чтобы получить конкурентное преимущество, захочет появиться как можно раньше. Подобно главе правительства, пользующемуся пытками в качестве привычного инструмента, эта сущность может пообещать наказать любое человеческое или нечеловеческое существо, которое, узнав о грядущем появлении сверхразума, не поспособствовало ему.

Это маловероятный, но жуткий сценарий. Люди, которые знают о таком вероятном развитии событий и пытаются приспособить искусственный интеллект к человеческим целям или советуют соблюдать осторожность, вместо того чтобы работать над созданием ИИ как можно скорее, подвергают себя риску.

Диктаторы не склонны прощать к тех, кто пытался воспрепятствовать их появлению. Если вам близка гипотеза симуляции, то (учитывая объём идущей сейчас работы, направленной на подчинение или ограничение ещё не существующего искусственного интеллекта), вероятно, вам стоит думать, что этот мир — как раз такая симуляция, созданная, чтобы истязать тех, кто не помог сверхразуму появиться раньше.

А если вы работаете над созданием искусственного интеллекта, то, возможно, наши сверхразумные механические повелители будут благосклонны к вам.

Энтони Гаррет Лиси
, физик-теоретик

Недавно продемонстрированные примеры выдающихся возможностей высокопроизводительных компьютеров замечательны, но неудивительны. При надлежащем программировании машины значительно превосходят людей в плане хранения и оценки больших объёмов данных и принятия практически мгновенных решений. Это — мыслящие машины, потому что происходящие в них процессы аналогичны многим аспектам мышления человека.

Но в более широком понимании термин «мыслящая машина» употребляется неправильно. Ни одна машина не задаётся вечными вопросами: «Откуда я взялась? Зачем я здесь? Куда я иду?» Машины не думают о своём будущем, о своём неизбежном конце или о своём наследии. Чтобы размышлять над такими вопросами, требуется сознание и самосознание. У мыслящих машин их нет, и, учитывая наш нынешний уровень знаний, они вряд ли это получат в обозримом будущем.

Единственный реалистичный подход к созданию машины, сходной с человеческим мозгом, должен основываться на копировании нейронных цепей, лежащих в основе мышления.

Более того, исследовательские программы, которые проводятся сейчас в Калифорнийском университете в Беркли, Массачусетском технологическом институте и ещё в нескольких университетах, сосредоточены на достижении этой цели — построить компьютеры, работающие подобно коре головного мозга.

Последние достижения в области исследования микроструктуры коры головного мозга стали серьёзным стимулом, и вполне вероятно, что BRAIN (исследование мозга средствами передовых инновационных нейротехнологий) — новый проект Белого Дома — даст массу ценной информации.

В ближайшие десятилетия мы узнаем о том, как взаимосвязаны миллиарды нейронов в каждом из шести слоёв коры головного мозга, а также о типах функциональных цепей, формируемых такими связями.

Это необходимый первый шаг в разработке машин, способных к мышлению в том виде, который характерен для человеческого мозга. Но понимания микроструктуры коры недостаточно, чтобы построить умную машину.

Что необходимо, так это понимание деятельности нейронов, лежащей в основе мыслительного процесса. Визуализирующие исследования обнаружили много новой информации об отделах головного мозга, вовлечённых в такие функции, как зрение, слух, осязание, страх, удовольствие и так далее.

Но у нас ещё нет даже примерного понимания того, что происходит, когда мы размышляем. Причин тому множество, и среди них не последнюю роль играет наша неспособность изолировать мыслительный процесс от других физических состояний. Кроме того, различные мозговые цепи вполне могут быть связаны с различными модусами мышления. Когда мы думаем о предстоящей лекции, наш мозг задействуется не так, как когда мы вспоминаем о неоплаченных счетах.

В ближайшее время можно ожидать, что компьютеры будут превосходить людей во всё большем количестве занятий. Но нам нужно намного лучше понимать работу человеческого мозга, чтобы создать по-человечески думающую машину.

На данный момент нам не надо беспокоиться по поводу гражданских или любых других прав роботов, как не надо бояться, что они захватят власть. Если машина вдруг выйдет из под контроля, достаточно будет вытащить вилку из розетки.

Лео Чалупа
, нейробиолог, вице-президент по исследовательской деятельности университета Джорджа Вашингтона

Машины, способные думать? Это такое же заблуждение, как и люди, способные думать. Мышление подразумевает обработку информации, порождение нового физического порядка из входящих потоков физического порядка. Мышление — ценная способность, к сожалению, являющаяся не привилегией отдельных единиц, таких как машины или люди, но свойством систем, в которых эти единицы существуют.

Конечно, я сейчас веду себя как провокатор, поскольку на личном уровне мы тоже обрабатываем информацию. Мы действительно думаем — иногда, или, по крайней мере, нам кажется, что мы это делаем. Но наша способность мыслить — не полностью наша, мы её взяли взаймы, поскольку аппаратное и программное обеспечение, которые мы используем, чтобы делать это, созданы не нами. Ни вы, ни я не развили в себе гены, которые помогли организовать наш мозг и язык, используемые, чтобы формировать мысли.

Наша способность думать находится в зависимости от событий, которые предшествовали нашему земному существованию, от прошлых глав биологической и культурной эволюции. Так что мы можем понять и нашу способность думать, и способность машин подражать человеческой мысли только с учётом того, как способность единицы обрабатывать информацию соотносится с её контекстом.

Представим человека, родившегося в темноте и одиночестве пустого пространства. Повода думать о чём-либо у него нет. То же самое было бы справедливо для изолированной и лишённой входящей информации машины.

В таком контексте мы можем назвать нашу заимствованную способность обрабатывать информацию малым мышлением, поскольку это зависящая от контекста способность, которая возникает на уровне индивида. Большое мышление, напротив, является способностью обрабатывать информацию, воплощённую в системах, где отдельные элементы — машины или люди — это просто пешки.

Отделение малого мышления людей от большого мышления систем (куда входит процесс, который порождает аппаратное и программное обеспечение, позволяющее единицам заниматься малым мышлением) помогает нам понять роль «умных» машин в этом широком контексте. Наша способность мыслить не только заимствована, она также зиждется на употреблении опосредованных взаимодействий и на злоупотреблении ими.

Чтобы человеческие или машинные системы могли мыслить, людям надо поедать ментальную отрыжку друг друга и снова её изрыгать; иногда она принимает форму слов. Но, поскольку слова улетают с ветром, невероятная способность нашего вида мыслить зависит от более сложных приёмов передачи и сохранения информации, которую мы производим: от нашей способности зашифровывать её в материи.

В течение ста тысяч лет наш вид занимался преобразованием планеты в гигантский магнитофон. Земля — это среда, на которой мы отпечатываем наши мысли: иногда в символической форме, такой как текст и рисунок, но также, что более важно, в виде предметов — фенов, пылесосов, зданий и автомобилей, — построенных из минералов, которые мы взяли из чрева Земли.

У нашего общества есть замечательная коллективная способность обрабатывать информацию, потому что наша коммуникация содержит нечто большее, чем слова: она включает создание предметов, которые передают не расплывчатые мысли, но конкретные знания, их применение и ноу-хау.

Предметы дополняют нас. Они позволяют нам делать что-либо, не зная, как это делается. Мы все с удовольствием пользуемся зубной пастой, не имея представления, как синтезируется фторид натрия, или перемещаемся на большие расстояния, не умея самостоятельно построить самолёт.

Подобным образом все мы отправляем текстовые сообщения в любую точку мира за считанные секунды посредством социальных сетей или выполняем сложные математические операции посредством нажатия нескольких клавиш на ноутбуке.

Однако наша способность создавать безделушки, дополняющие нас, конечно, тоже развилась в результате коллективной готовности поедать ментальную отрыжку друг друга. Эта тенденция и приводит нас сейчас к той точке, где у нас появляется среда, которая начинает конкурировать с нашей способностью обрабатывать информацию, или малым мышлением.

На протяжении большей части нашей истории все эти безделушки оставались статичными объектами. Даже наши инструменты были застывшими кусками порядка, например каменные топоры, ножи или вязальные спицы. Несколько веков назад мы развили способность делегировать физическую силу и движение машинам, что вызвало небывалый подъём экономики.

Теперь мы развили коллективную способность обрабатывать информацию, создавая предметы, умеющие порождать и рекомбинировать физический порядок. Это машины, обрабатывающие информацию — орудия, производящие числа, вроде тех, о которых мечтал Чарльз Беббидж.

Так что мы развили у себя способность мыслить коллективно, сперва обретя власть над материей, затем — над энергией, а теперь — над физическим порядком или информацией. И всё же нам не стоит обманываться, полагая, что мы способны думать или что это могут делать машины. Значительное развитие человеческой мысли требует опосредованных взаимодействий, и в будущем «умным» машинам предрешено остаться интерфейсами, посредством которых одни люди связываются с другими.

Пока мы тут говорим, «яйцеголовые» в лучших университетах мира исследуют мозг, конструируют роботизированные протезы и разрабатывают примитивные версии технологий, предзнаменующих будущее, в котором ваш правнук будет ловить кайф, напрямую подключая мозг к сети.

Эти детишки обзаведутся дополнениями, для нас невообразимыми и настолько причудливыми по нашим современными этическими стандартам, что мы даже не в силах судить о них (иначе мы бы выглядели как пуританин из 16 века, решивший судить о нравах современного Сан-Франциско).

Однако в масштабах Вселенной эти новые сети из людей и машин будут не чем иным, как следующим этапом в естественном развитии способности нашего вида порождать информацию. Вместе мы (люди) и наши дополнения (машины) продолжим разворачивать сети, которые будут подчинены главной великой цели Вселенной: создавать зоны, где информации становится не меньше, а больше.

Сезар Идальго, адъюнкт-профессор медиалаборатории Массачусетского
технологического института

В последнее время довольно много чернил ушло на работы, в которых обсуждаются опасения по поводу искусственного интеллекта и будущего мира, где машины смогут «думать»; при этом значение последнего термина всеми трактуется по-разному: от простого автономного принятия решений до полноценного самосознания.

Я не разделяю большей части этих опасений, и мысль о появлении умных машин мне кажется очень увлекательной ввиду новых возможностей, способных улучшить жизнь человека, и новых идей о природе сознания, которыми ИИ нас, несомненно, снабдят.

Для начала давайте кое-что проясним. Даже при экспоненциальном росте объёмов компьютерной памяти и вычислительной мощности, который мы наблюдаем уже 40 лет, мыслящим компьютерам потребуется цифровая архитектура, сильно отличающаяся от той, что существует сегодня. К чему-то похожему на сознание им в обозримой перспективе, скорее всего, тоже не удастся приблизиться. Это утверждение подкрепляется простым физическим мысленным экспериментом.

При нынешнем потреблении энергии компьютерами машине с объёмом памяти и вычислительной мощностью нашего мозга потребуется более 10 ТВт — примерно в два раза больше, чем общий объём энергопотребления всего человечества. Человеческий мозг использует около 10 Вт энергии. Это значит, что расхождение между ним и искусственным интеллектом по данному показателю составляет 10 в 12 степени, то есть миллион миллионов.

За последние десять лет время удвоения мегафлоп/Вт составляло около трёх лет. Даже если предположить, что закон Мура продолжит действовать и впредь, чтобы достичь энергозатрат человеческого мозга, таких удвоений потребуется примерно 40, а это 120 лет. Кроме того, каждое удвоение эффективности требует довольно радикальных перемен в технологиях, и крайне маловероятно, что 40 удвоений пройдут без существенного изменения того, как именно компьютеры вычисляют.

Если на минуту забыть о сложности алгоритмов, то, на мой взгляд, не останется других препятствий для того, чтобы создать компьютер, действительно обладающий самосознанием. Прежде чем это случится, решения, которые принимают машины, будут играть всё более значительную роль в нашей жизни.

Многие люди испытывают беспокойство, но это тянется не первый десяток лет. Начиная, наверное, с простейших вычислительных машин — лифтов, которые решают, как и когда нам добраться до своей квартиры, мы позволяем им быть нашими автономными проводниками. Мы летаем на самолётах, управляемых автопилотом, наши автомобили умеют определять, когда пора пройти техобслуживание или подкачать колёса, и уже совсем скоро, наверное, станут полностью самостоятельными.

Для многих, если не для большинства относительно автоматических задач машины принимают решения намного лучше, чем люди, и мы должны быть рады тому, что у них есть возможность сделать рутинные дела безопаснее и эффективнее. Мы не утратили контроль, потому что мы создаём условия и исходные алгоритмы, которые определяют процесс принятия решений.

Мне представляется, что интерфейс «компьютер — человек» — это вроде работы с хорошим помощником; чем умнее становятся машины, тем лучше становятся помощники. Всякое партнёрство требует определённого доверия и частичного отказа от контроля, но если выгоды перевешивают потери, то мы продолжаем быть партнёрами. Если нет — мы разрываем отношения. Я не вижу разницы между партнёром-человеком и партнёром-машиной.

Есть одна область, в которой надо быть осторожнее с таким партнёрством — это системы командования и управления современными вооружениями. Поскольку у нас есть способ уничтожить большую часть человечества на этой планете, мысль о том, что разумные машины смогут когда-нибудь контролировать большую красную кнопку — или даже хотя бы что-то менее опасное — довольно неприятна.

Это происходит оттого, что когда мы принимаем решения, то часто опираемся на интуицию и межличностные коммуникации, а не только на рациональный анализ (Карибский кризис — хороший тому пример), и мы полагаем, что у разумных машин таких способностей не будет.

Однако интуиция — результат опыта, как и коммуникация, а они в современном мире не ограничены телефонными или личными разговорами. Опять же разумный замысел, лежащий в основе систем, со множеством встроенных в них ограничений и мер безопасности, говорит о том, что решения, принимаемые машинами, даже в случае с насилием и военными действиями, не обязательно будут хуже решений, принимаемых людьми.

То же самое касается и поводов для беспокойства. Разрешите мне закончить эту статью тем, что, как мне кажется, является самым замечательным аспектом искусственного разума. Машины сейчас помогают нам заниматься наукой, делая за нас вычисления.

За исключением простой арифметики, большинство старшекурсников-физиков теперь зависят от программы Mathematica, которая делает за них большую часть алгебраических операций. Когда я был студентом, нам приходилось всё считать самим. Но копнём глубже.

Мне интересно, чем захотят заниматься машины, когда смогут выбирать не только ответы, но также и вопросы. Что они выберут? Что их заинтересует? Будут ли они изучать физику так же, как мы? Конечно, квантовые компьютеры, если они когда-нибудь станут применяться на практике, будут обладать значительно лучшим «интуитивным» пониманием квантовых явлений, чем мы.

Смогут ли они быстрее разобраться в фундаментальных законах природы? Когда первая машина получит Нобелевскую премию? Подозреваю, что самые интересные вопросы — это, как обычно, те вопросы, о которых мы ещё даже не задумывались.

Лоуренс Краусс
, физик, космолог, Университет штата Аризона

Машины давно помогают нам убивать. Механизмы — от катапульт до крылатых ракет — дают людям возможность уничтожать друг друга эффективнее. Несмотря на растущую изощрённость машин для убийства, одно остаётся неизменным: моральная ответственность за их действия всегда была возложена на человеческий разум. Винтовки и бомбы по сути бездумны, так что вина падает не на них, а на человека, который спустил курок.

Но что, если у машины хватало бы ума самостоятельно принять решение убить? Такая мыслящая машина взяла бы вину на себя, очистив совесть тех, кому выгодно её разрушительное действие. Мыслящие машины могут сделать для мира много хорошего, но они также могут сделать так, что людям будут сходить с рук преступления.

Люди давно искали способ дистанцироваться от актов насилия и пожинать его плоды, не мараясь. Машины не только увеличивают разрушительную силу наших действий, но и физически размывают их границы. Вместо удара рукой, ножом или удушения теперь используются более дистанционные — и утончённые — действия вроде нажатия на кнопку или на рычаг. Однако как бы машины ни увеличивали эту дистанцию, наш разум продолжает приписывать вину людям, стоящим за ними.

Исследования в области психологии морали показывают, что у человека, столкнувшегося с бедой, есть глубинная потребность обвинять кого-либо или что-либо. Когда кто-то пострадал, мы ищем не просто причину, но сознательную причину — мыслящее существо, которое решило причинить страдания. Это типично для человека, но неправильно.

В последствиях ураганов или цунами люди часто обвиняют «десницу божью», истории известны примеры, когда обвиняли даже скот — французские крестьяне однажды предали суду свинью, убившую младенца.

Обычно жажде обвинения достаточно одного мыслящего существа. Если мы нашли такое существо, мы уже менее мотивированы искать другое. Если можно обвинить человека, то нет нужды поносить бога. Если можно обвинить сотрудника низшего звена, то нет нужды увольнять директора. И если в чьей-то смерти можно обвинить мыслящую машину, то нет нужды наказывать людей, которым это было выгодно.

Конечно, чтобы машина приняла на себя вину, она должна быть дееспособной и демонстрировать новое, непредвиденное поведение. Возможно, машины никогда не сделают чего-то действительно нового, но тот же тезис относится и к людям, «запрограммированным» эволюцией и культурным контекстом.

К примеру, дети, несомненно, запрограммированы своими родителями, и всё же — посредством обучения — они способны вырабатывать новое поведение и моральную ответственность. Подобно детям, современные машины — мастера учиться, и, похоже, они неизбежно выработают способы вести себя непредсказуемо, не учтённые теми, кто их программирует. Алгоритмы уже обнаружили нечто новое, о чём их создатели и не догадывались.

Мыслящие машины могли бы принимать собственные решения, но выгораживать людей только тогда, когда те решают кого-то убить, вставая между нашим разумом и разрушением, которое мы хотим совершить.

Роботы уже играют важную роль в современных войнах. За последние несколько лет дроны убили тысячи людей, но на данный момент эти машины полностью контролируются операторами-людьми. Чтобы снять с них вину, это должны делать другие разумные машины; компьютеры должны научиться управлять беспилотниками самостоятельно.

От такого сценария у многих (включая меня) по спине бегут мурашки, но, с точки зрения руководства, это просто здравый смысл и холодный рассудок. Если сопутствующий урон возникает из-за решений, принятых машинами, то военные просчёты не повлияют на результаты чьей-то предвыборной кампании.

Кроме того, если такие машины могут быть подвергнуты переборке или списанию — аналогу наказания, люди не станут особенно беспокоиться по поводу нагоняев от руководства, говорим ли мы о жертвах военных действий, неудачных роботизированных хирургических операциях или о дорожных происшествиях с участием беспилотных автомобилей.

Мыслящие машины — вещь сложная, а человеческая потребность кого-то обвинять — вполне простая. Смерть и разрушение заставляют нас отыскивать один-единственный разум, на котором будет лежать ответственность. Достаточно умные машины, если поместить их между разрушением и нами, должны принять на себя груз ответственности за неправомерные действия и оградить нас от осуждения окружающих.

Нам всем нужно надеяться на то, что это предсказание никогда не сбудется, но, когда развивающиеся технологии столкнутся с современным пониманием психологии морали, появятся угрожающие возможности. Чтобы содержать свою совесть в чистоте, нам нужно всего лишь создать мыслящие машины и обвинить их во всём.

Курт Грей
, доцент кафедры психологии Университета Северной Каролины в Чапел-Хилл

Машины не думают. Они аппроксимируют функции. Они превращают входные данные в выходные данные. Кнопка карманного калькулятора «корень квадратный» превращает число 9 в число 3. Хорошо тренированная сверточная нейронная сеть превращает изображение вашего лица в результат «1». Она также превращает изображение, на котором вашего лица нет, в результат «0».

Многослойная или «глубинная» нейронная сеть сводит оценку любого изображения к оценке вероятности того, что на нём есть ваше лицо. Таким образом, тренированная сеть аппроксимирует вероятностную функцию. Этому процессу, чтобы хоть иногда получать правильные результаты, требуется ошеломительное количество вычислений.

Но в конечном итоге он всё равно преобразует входные данные в выходные. Он всего лишь аппроксимирует функцию, даже если результат походит на человеческое восприятие или мышление. Для этого просто нужно много вычислительной мощности.

«Разумные» машины аппроксимируют комплексные функции, которые работают с паттернами, такими как речь, изображения или любые другие сигналы. Паттерны изображений обычно состоят из множества пикселей или вокселей и часто имеют большую размерность.

Связанные с ними паттерны вполне могут выходить за пределы того, что в состоянии охватить человеческий разум. В этом вопросе преимущество компьютеров будет усиливаться по мере их совершенствования.

В решении числовых задач большого объёма нам удалось добиться действительно серьёзных успехов. Это стало следствием постоянного удвоения плотности монтажа схем, которое происходит примерно раз в два года в соответствии с законом Мура, а не появления каких-то принципиально новых алгоритмов.

Такой экспоненциальный рост вычислительной мощности позволяет обычным с виду компьютерам решать более сложные задачи, связанные с большими данными и распознаванием паттернов.

Рассмотрим наиболее популярные алгоритмы больших данных и машинного обучения. Один алгоритм неконтролируемый (ему не требуется учитель, чтобы присваивать данным метки), другой — контролируемый (ему требуется учитель), именно с ними связана значительная часть работ в области прикладного ИИ.

Неконтролируемый алгоритм называется кластеризацией методом k-средних, и, возможно, это самый популярный способ работы с большими данными. Он объединяет подобное с подобным и лежит в основе Google News. Начнём с миллиона измерительных точек. Сгруппируем их в 10, 50 или 100 кластеров или паттернов. Это вычислительно сложная задача. Но кластеризация методом k-средних является итеративным способом формирования кластеров по меньшей мере с 1960-х годов.

Что изменилось, так это размерность задач, с которыми могут справляться современные компьютеры. Сам алгоритм называли разными именами, так или иначе намекающими на ИИ, например «самоорганизующаяся карта» или «адаптивная квантизация векторов». Но это всё тот же старый двухступенчатый итеративный алгоритм из 1960-х годов.

Контролируемый алгоритм — это алгоритм нейронной сети, который называется обратным распространением. Именно он чаще всего используется в машинном обучении. Обратное распространение получило своё название в 1980-х годах. Появилось оно по меньшей мере десятью годами ранее.

Алгоритм обучается на основе образцов, которые ему даёт пользователь или супервизор. Например, вы показываете изображения с вашим лицом и без него. Они проходят через несколько слоёв похожих на коммутаторы нейронов, пока те не эмитируют окончательный результат, который может быть представлен одним числом. Вам нужно получить число «1», если на входном изображении есть ваше лицо, и «0» в противном случае.

Сеть изучает паттерны вашего лица, пока перебирает их в ходе тысяч и миллионов итераций. Ни на одном из этих шагов или переборов не возникает никакого интеллекта или мышления. И ни одно из уточнений любого из сотен или тысяч параметров сети не отражает того, как настоящие синапсы узнают новые паттерны нервной стимуляции.

Скорее это как если бы люди выбирали, что им делать дальше, на основании ничтожного отрицательного воздействия, которое их действия окажут на процентную ставку по десятилетним облигациям государственного займа США.

Вывод: оба популярных алгоритма ИИ — это отдельные случаи одного и того же стандартного алгоритма современной статистики, алгоритма ожидания и максимизации (EM-алгоритма). Поэтому любой предположительно связанный с ними интеллект — просто заурядная статистика. EM — это двухступенчатая итеративная схема подъёма на холм вероятности. Он не всегда попадает на вершину самого высокого холма — как правило, это оказывается вершина ближайшего холма.

Возможно, ни один алгоритм обучения на большее и неспособен. Аккуратно добавленный шум и другие поправки могут ускорить восхождение. Но все пути так или иначе сходятся к вершине холма, к области наиболее правдоподобного равновесия. Все они заканчиваются в своеобразной нирване машинного обучения с локально-оптимальным распознаванием образа или аппроксимацией функции.

Эти точки равновесия на вершинах холмов будут выглядеть всё более впечатляюще по мере увеличения скорости компьютеров. Но с мышлением они связаны не больше, чем вычисление некоторых сумм и выбор наибольшей из них.

Следовательно, значительная часть машинного мышления — это просто машинное «восхождение на холмы».

Обзорная статья, написанная в 1961 году Марвином Минским, «Шаги к искусственному интеллекту» (Steps Toward Artifcial Intelligence) в этом контексте может стать поучительным чтением, поскольку со времени её написания в плане развития алгоритмов мало что изменилось.

Минский даже предсказал нашу склонность видеть в требующем больших вычислительных ресурсов «восхождении на холмы» какую-то исключительную познавательную способность: «Возможно, то, что относится к обычному поиску экстремума на одном уровне, однажды покажется (на более низком уровне) неожиданными "озарениями"».

Есть другие алгоритмы ИИ, но большая их часть попадает в те категории, о которых писал Минский. Один из примеров — выполнение алгоритмов с байесовской вероятностью на дереве поиска или графах. В этом случае приходится бороться с экспоненциальным ветвлением или другими схожими формами проклятия размерности.

Другой пример — выпуклость или иная нелинейно ограниченная оптимизация для классификации паттернов. Итальянский математик Жозеф Луи Лагранж нашёл алгоритм общего решения, которым мы пользуемся до сих пор. Он обнаружил его в 1811 году. Хитроумные трюки и ловкие манипуляции всегда могут быть полезны. Но прогресс крайне сильно зависит от того, чтобы эти алгоритмы выполнялись на всё более быстрых компьютерах.

Сами алгоритмы состоят в основном из большого числа операций сложения и умножения, а значит, маловероятно, что они в какой-то момент неожиданно проснутся и захватят мир. Вместо этого они научатся ещё лучше учиться и распознавать ещё более сложные паттерны просто потому, что будут быстрее складывать и умножать.

Можно смело утверждать, что завтрашние мыслящие машины окажутся очень похожими на сегодняшние — это будут старые алгоритмы на более быстрых компьютерах.

Барт Коско
, преподаватель электромеханики, инженерного дела и правоведения в Университете Южной Калифорнии

Мышление человека эффективно, поскольку мы очень много страдаем. Высшая когнитивная деятельность — это одно, внутренняя мотивация — это другое. Искусственное мышление, возможно, вскоре станет гораздо более эффективным, но будет ли оно также неизбежно связано со страданием? Должно ли страдание составлять часть любого стоящего пост-биотического интеллекта, или негативная феноменология — это всего лишь случайная черта, приобретённая нами в ходе эволюции?

Человек обладает хрупким телом и, родившись, попадает в опасное социальное окружение, оказывается вовлечённым в непрекращающуюся тяжкую борьбу за отрицание собственной смертности. Наш мозг непрерывно бьётся за то, чтобы минимизировать вероятность неприятных неожиданностей. Мы умны, потому что причиняем боль, потому что можем сожалеть и постоянно стремимся найти какую-либо устойчивую форму самообмана или символического бессмертия.

Вопрос в том, нужно ли хорошему ИИ хрупкое аппаратное обеспечение, небезопасное окружение и внутренний конфликт, связанный с собственной недолговечностью. Конечно, в какой-то момент умные машины появятся! Но будут ли их собственные мысли иметь для них значение? Почему они должны интересоваться собственными мыслями?

Я определённо отрицаю даже вероятность создания реальной машины, способной испытывать страдания. Но всё же давайте проведём мысленный эксперимент и задумаемся, как бы мы это проделали. Страдание — феноменологическое понятие. Только существа с сознательной жизнью могут испытывать страдания (назовём это необходимым условием №1, или С-условием).

Зомби, люди в состоянии глубокого сна, комы или под анестезией не испытывают страданий, «потенциальные люди» или люди, ещё не появившиеся на свет, также не могут страдать. Роботы и другие искусственные существа могут страдать, только если способны переживать определённые феноменологические состояния, если работают под управлением интегрированной онтологии, которая включает окно присутствия.

Условие №2 — это обладание феноменологической моделью, ОФМ. Почему оно необходимо? Важнейшая феноменологическая характеристика страдания — чувство собственности, собственное субъективное переживание, «я», которое сейчас страдает, моё персональное страдание. Страдание предполагает наличие самосознания.

Только сознательные системы, у которых есть феноменологическая модель, способны страдать, потому что они — посредством вычислительных процессов, функционально и репрезентативно интегрированных в определённые негативные состояния в их феноменологической модели, — могут присваивать себе содержание определённых внутренних состояний на феноменологическом уровне.

На концептуальном уровне сущность страдания заключается в том факте, что сознательная система вынуждена идентифицироваться с состоянием негативной валентности и не может разорвать эту идентификацию или функционально отделить себя от репрезентативного содержания. Конечно, у страдания есть много различных уровней и феноменологических аспектов, но важна именно феноменология идентификации.

То, что система хочет прекратить, ощущается как собственное состояние, которое ограничивает пределы автономии системы, поскольку она не может эффективно дистанцироваться от него. Если вы понимаете это, то вам также понятно, почему «изобретение» сознательного страдания в ходе биологической эволюции было настолько продуктивным и почему это не только инновационная, но также мерзкая и жестокая идея (как мы сказали бы, если бы у него и правда был изобретатель).

Феноменологии владения определённо недостаточно для страдания. Мы легко можем представить себе обладающие самосознанием существа, которые не страдают. Страдание подразумевает условие НВ (негативной валентности). Страдание создаётся в результате интеграции состояний, представляющих негативное значение для ОФМ некой данной системы.

Таким образом, негативные установки оказываются негативными субъективными установками, то есть сознательным представлением о том, что наши установки были (или будут) нарушены. Нашей системе ИИ не обязательно до конца понимать их содержание. Если система не хочет снова проходить через текущее сознательное переживание, а хочет, чтобы оно закончилось, этого достаточно.

Обратите внимание на то, что у феноменологии страдания множество граней, и искусственные страдания, вполне вероятно, будут очень отличаться от страданий человеческих. Например, повреждение физического аппаратного обеспечения может быть представлено в виде внутренних форматов данных, совершенно чуждых человеческому мозгу, генерирующих субъективно переживаемый, качественно определяемый профиль состояний телесной боли, которую невозможно смоделировать или даже примерно представить, если вы являетесь биологической системой вроде человека.

Или феноменальная искусственная личность с высокоразвитыми когнитивными способностями может превзойти человека в области эмпатии и понимания. Скажем, в результате озарения она придёт к выводу, что все её представления неверны, что уважать своих создателей не следует или, вероятно, что её существование в виде машины с самосознанием абсурдно.

Ещё есть условие П (прозрачности). Прозрачность — это не только визуальная метафора, но также и техническая концепция в философии, у которой есть несколько версий и вариантов применения. В данной работе меня интересует феноменологическая прозрачность, качество, характеризующее некоторые (но не все) сознательные состояния, но никогда — бессознательные.

Основная идея очевидна: прозрачные феноменологические состояния делают так, что их содержание выглядит решительно реальным, как нечто, в существовании чего вы не сомневаетесь. Точнее, вы можете испытывать когнитивные сомнения, но лишь в соответствии с субъективным переживанием этого феноменологического содержания: вы не способны дистанцироваться от остроты боли и того факт, что боль — ваша собственная. Феноменология прозрачности — это феноменология непосредственного реализма.

Наше минимальное понятие о страдании, таким образом, составлено из четырёх обязательных элементов: условий, которые мы обозначили как С, ОФМ, НВ и П. Любая система, удовлетворяющая всем четырём концептуальным условиям, должна восприниматься как объект, в отношении которого действуют этические ограничения, потому что мы не знаем, является ли наш набор условий необходимым и достаточным; в данном случае перестраховка — наша моральная обязанность.

Нам также нужны способы выяснить, испытывает ли рассматриваемая искусственная система страдания в настоящий момент, есть ли у неё такая способность или же такая способность может появиться у неё в будущем. Но, по определению, любая интеллектуальная система — биологическая, искусственная или постбиотическая, не отвечающая хотя бы одному из необходимых условий, страдать не может. Рассмотрим четыре наиболее простых варианта:

― не обладающий сознанием робот не может страдать;

― обладающий сознанием робот без соответствующей ОФМ не может страдать;

― обладающий сознанием робот без способности продуцировать негативную валентность не может страдать;

― обладающий сознанием робот без прозрачных феноменологических состояний не может страдать, потому что ему не хватает феноменологии владения и идентификации.

Меня часто спрашивают, сумеем ли мы создать обладающие самосознанием машины, которые будут исключительно умны и при этом неспособны страдать. Может ли существовать настоящий разум без экзистенциальных вопросов?

Томас Метцингер
, профессор философии Майнцского университета имени Иоганна Гутенберга