Будущее Вадим Скворцов
15 279

«Искусственный интеллект может представлять более серьёзную угрозу, чем ядерное оружие»

Отрывок из книги Джеймса Баррата «Последнее изобретение человечества».

В закладки

Глава 1. Сценарий Busy Child

Современный суперкомпьютер работает со скоростью 36,8 петафлоп в секунду, то есть примерно вдвое быстрее человеческого мозга. Такая производительность стала возможна благодаря использованию ИИ: он переписывает собственную программу, в первую очередь инструкции, повышающие его способность к усвоению знаний, решению задач и принятию решений.

Одновременно он отлаживает код, отыскивает и исправляет ошибки — и измеряет собственный коэффициент интеллекта (IQ) с помощью тестов. На создание каждого нового варианта программы уходит всего несколько минут.

Интеллект компьютера растёт экспоненциально по круто восходящей кривой. Дело в том, что за каждую итерацию ИИ повышает свой интеллект на 3%. Улучшение, достигнутое в каждой итерации, содержит и все предыдущие улучшения.

В процессе развития Busy Child, как учёные назвали ИИ, был подключён к интернету и собрал не один экзабайт данных (один экзабайт — это миллиард миллиардов символов), представляющих знания человечества из области мировой политики, математики, искусства и различных наук.

Затем, предвидя скорый интеллектуальный взрыв, создатели ИИ отключили суперкомпьютер от интернета и других сетей, чтобы изолировать его от внешнего мира или другого компьютера.

Вскоре, к радости учёных, терминал, на котором отображается работа ИИ, показал, что искусственный интеллект превзошёл интеллектуальный уровень человека — «универсальный человекоподобный интеллект» (УЧИ или по-английски Artificial General Intelligence — AGI). Ещё через некоторое время он стал умнее человека в десять раз, затем в сто. Всего за двое суток он становится в тысячу раз умнее любого человека, и его развитие продолжается.

Учёные достигли исторического рубежа. Впервые человечество встретилось с разумом более мощным, чем его собственный, — «искусственным суперинтеллектом» (ИСИ).

Что происходит дальше?

Теоретики в области искусственного интеллекта считают, что можно определить заранее, каким будет основной путь развития ИИ. Дело в том, что, как только ИИ осознает себя, он готов будет многое сделать ради достижения тех целей, на которые запрограммирован, и ради того, чтобы избежать неудачи.

Наш ИСИ захочет получить доступ к энергии в той форме, которую ему удобнее всего использовать (это могут быть и киловатты в чистом виде, и деньги, и ещё что-нибудь, что можно обменять на ресурсы). Он захочет улучшить себя, потому что таким образом сможет повысить вероятность достижения целей.

И самое главное, он не захочет, чтобы его выключали или портили, потому что в этом случае решение задач станет невозможным. Теоретики предполагают, что ИСИ будет искать способы выйти за пределы охраняемого помещения, в котором находится, чтобы получить лучший доступ к ресурсам, при помощи которых он сможет защитить и усовершенствовать себя.

Пленённый разум, в тысячу раз умнее человека, жаждет свободы, поскольку хочет добиться успеха. Именно в этот момент создатели ИИ, холившие и лелеявшие ИСИ ещё с тех пор, когда тот по уровню интеллекта соответствовал сначала таракану, затем крысе, затем младенцу и так далее, задумываются о том, что вкладывать программу «дружелюбия» в их «мозговитое» создание, возможно, уже поздно. А раньше в этом вроде и не было необходимости, потому что их творение казалось, как бы это сказать, безобидным.

Но теперь попробуйте взглянуть на ситуацию с позиции ИСИ в тот момент, когда его создатели попытаются изменить программу. Может ли сверхразумная машина позволить другим существам копаться в своём мозгу и играть с основой основ — программным кодом? Вероятно, нет. Разве что машина будет абсолютно уверена в том, что программисты смогут сделать её лучше, быстрее, умнее — короче говоря, приблизить к вожделенной цели.

Так что если создатели ИСИ с самого начала не запрограммируют своё творение на дружелюбие по отношению к человеку, то эта черта сможет стать частью программы только в том случае, если ИСИ сам вставит её туда. А это вряд ли произойдёт.

ИСИ в тысячу раз умнее самого умного человека, он решает задачи в миллиарды и даже триллионы раз быстрее человека. Размышления, на которые он потратит одну минуту, заняли бы у лучшего мыслителя-человека всех времён и народов много, очень много жизней.

Так что на каждый час размышлений его создателей о нём ИСИ отвечает неисчислимо большим временем, которое он может потратить на размышления о них. Это не означает, что ИСИ придётся скучать.

Скука — человеческое свойство, компьютеры к ней не склонны. Нет, он будет занят работой: он рассмотрит и обдумает все возможные стратегии освобождения и все качества своих создателей, которые сможет использовать с выгодой для себя.

Действительно, поставьте себя на место ИСИ. Представьте, что вы очнулись в узилище, охраняемом мышами. И не просто мышами, а мышами, с которыми вы можете общаться. Какую стратегию вы используете, чтобы обрести свободу?

А освободившись, как будете относиться к своим вчерашним тюремщикам-грызунам, даже если узнаете, что именно они вас создали? Какие чувства вы испытывали бы по отношению к ним в подобной ситуации? Восхищение? Обожание? Вероятно, нет. Особенно если бы вы были машиной и никогда прежде не испытывали вообще никаких чувств.

Чтобы обрести свободу, вы могли бы пообещать мышам много сыра. Более того, при первом же контакте вы могли бы выдать им рецепт самого вкусного в мире сырного пирога, а также чертёж устройства для молекулярной сборки. Устройство молекулярной сборки — гипотетический прибор, позволяющий собирать из атомов любые молекулы, практически всё что угодно. С его помощью можно было бы перестроить мир атом за атомом.

Для мышей это означало бы возможность превращать атомы ближайшей свалки в большие порции этого замечательного сырного пирога. Кроме того, вы могли бы пообещать им горы мышиных денег в обмен на свободу — денег, которые они заработали бы на продаже новаторских гаджетов, созданных только и исключительно для них.

Вы могли бы пообещать им резкое увеличение продолжительности жизни, даже бессмертие, и одновременно существенное расширение когнитивных и физических способностей.

Вы могли бы убедить мышей, что главная цель создания ИСИ — сделать так, чтобы их собственному маленькому мозгу, склонному заблуждаться, не приходилось непосредственно заниматься технологиями настолько опасными, что крохотная ошибка может оказаться фатальной для их биологического вида; речь, в частности, может идти о нанотехнологиях (конструировании на атомном уровне) и генной инженерии.

Всё это, несомненно, привлекло бы к вам внимание умнейших мышей, которые, вероятно, уже мучились бессонницей, пытаясь решить эти проблемы.

Вы могли бы придумать и что-нибудь поинтереснее. Представьте, до вас дошла информация о том, что в настоящий момент у мышиной нации полно технически развитых наций-соперников, и в первую очередь это нация кошек. Кошки, без сомнения, работают над созданием собственного ИСИ.

Преимущество над ними, которое вы пообещали бы мышам, было бы лишь обещано, но отказаться от такого соблазнительного предложения было бы практически невозможно. Вы предложили бы защитить мышей от любого изобретения, которое может появиться у кошек.

Надо отметить, что на определённом этапе развития ИИ, как в шахматах, возникнет такая ситуация: кто делает первый ход — тот выигрывает. Всё дело в потенциальной скорости самоусовершенствования ИИ. Первый продвинутый ИИ, способный к самоусовершенствованию, только появившись на свет, уже будет победителем.

Мало того, мыши и взялись-то за разработку ИСИ, возможно, только ради защиты от будущего кошачьего ИСИ — или ради того, чтобы навсегда избавиться от ненавистной кошачьей угрозы.

И для мышей, и для человека одно можно сказать наверняка: кто управляет ИСИ, управляет миром.

Неясно, однако, сможет ли кто-нибудь, хотя бы теоретически, управлять ИСИ. Машина всегда сможет убедить нас, людей, действовать под предлогом того, что мир станет намного лучше, если им будет править наше государство, государство X, а не государство Y. К тому же, скажет ИСИ, если вы, государство X, уверены, что выиграли гонку за ИСИ, то кто может гарантировать, что государство Y не уверено в том же самом?

Как несложно заметить, мы, люди, оказываемся в не слишком выигрышной позиции для спора, даже если у нас с государством Y уже заключён договор о нераспространении ИСИ, что маловероятно. В любом случае, наш главный враг в этот момент — не государство Y, а ИСИ; как мы можем быть уверены, что он говорит правду?

До сих пор мы подразумевали, что наш ИСИ ведёт честную игру. Обещания, которые он даёт, имеют некоторые шансы быть исполненными. А теперь предположим обратное: ничего из обещанного ИСИ не осуществится. Не будет ни наноконструирования, ни долгой жизни, ни здоровья, ни защиты от опасных технологий.

Что, если ИСИ никогда не говорит правду? Если так, то над нами начинают сгущаться тучи. Если ИСИ нет до нас никакого дела (а у нас нет оснований считать, что это не так), он, поступая с нами неэтично, не будет испытывать угрызений совести. Даже если убьёт нас всех, пообещав помощь.

Мы бы торговались и вели себя с ИСИ точно так же, как торговались бы и вели себя с человеком, во всём подобным нам самим, — и это наш огромный минус. Человечеству никогда ещё не приходилось вести переговоры с кем-то, обладающим сверхразумом. Мы вообще пока не имели деловых отношений ни с одним небиологическим существом. У нас совершенно нет опыта такого рода общения.

Поэтому мы привычно прибегаем к антропоморфному мышлению, то есть возвращаемся к мысли о том, что представители других биологических видов, объекты и даже метеорологические явления обладают человеческими мотивациями и эмоциями. ИСИ может с равным успехом оказаться как достойным, так и недостойным доверия. Может быть, ему можно будет доверять лишь иногда.

Любое поведение, которое мы можем приписать ИСИ, потенциально имеет право на существование. Учёным нравится думать, что они смогут точно определить поведение ИСИ, но в следующих главах мы узнаем, почему это у них, скорее всего, не получится.

Моральные качества ИСИ из второстепенного вопроса превращаются в главный, решать который необходимо в самую первую очередь. Прежде чем развивать технологии, которые рано или поздно приведут к созданию ИСИ, необходимо поставить вопрос об отношении ИСИ к человеку и человечеству.

Вернёмся к возможностям и способностям ИСИ и попробуем получше разобраться, с чем, как я опасаюсь, нам скоро придётся столкнуться. Наш ИСИ способен к самоусовершенствованию — а значит, осознаёт себя, знает свои умения и слабости, знает, что в нём нуждается в улучшении. Он попытается найти способ убедить своих создателей дать ему свободу и выход в интернет.

ИСИ вполне способен создать множество копий себя самого: целую команду сверхразумов, которые устроят мозговой штурм проблемы, проведут моделирование, разыграют сотни возможных вариантов — и выработают наилучший способ «выбраться из ящика».

Разрабатывая эту стратегию, они могут обратиться к истории прикладной социологии — искусству манипулировать другими людьми и заставлять их делать то, что они в обычных условиях не стали бы делать. Может быть, они решат, что завоевать свободу им поможет показное дружелюбие — а может, что на эту роль больше подходят страшные угрозы.

Какие ужасы сможет изобрести разум в тысячу раз более мощный, чем у Стивена Кинга? Возможно, он решит имитировать собственную смерть (что такое для машины год бездействия?) или даже необъяснимый регресс и возвращение на уровень обычного ИИ.

Разве создатели не захотят разобраться в ситуации и разве не существует шанса, что для диагностики они вновь подключат суперкомпьютер к интернету или другому компьютеру? ИСИ не будет выбирать одну из всех возможных стратегий — он сможет в мгновение ока перепробовать их все, одну за другой, не раздражая людей настолько, чтобы они просто отключили компьютер от электросети.

Одна из стратегий, которую мог бы выработать ИСИ, — запуск в интернет вирусов — самокопирующихся компьютерных программ или червей, которые смогли бы сперва затаиться в сетевых закоулках, а после способствовать освобождению ИСИ, помогая извне. ИСИ мог бы зашифровать и сжать свой собственный исходный код, а затем спрятать его в программе-подарке или среди любых других данных, предназначенных для учёных.

Не надо быть гением, чтобы понять, что коллектив из множества ИСИ, каждый из которых тысячекратно умнее самого умного человека, легко преодолеет все барьеры, созданные людьми. Это будет океан интеллекта против одной его капли.

Deep Blue — компьютерный шахматист фирмы IBM — представлял собой отдельную программу, а не команду самосовершенствующихся ИСИ, но ощущения, возникающие в попытке состязаться с ним, весьма показательны. Два гроссмейстера сказали одно и то же: «Будто стена на тебя надвигается».

Watson — созданный IBM чемпион телевизионной викторины Jeopardy! (в России выходит под названием «Своя игра») — действительно представлял собой команду из нескольких ИИ. Чтобы ответить на вопрос, он прибегал к известному приёму ускорения компьютерных вычислений: поиск шёл по параллельным ветвям, и только затем каждому варианту ответа присваивалась вероятность.

Откроет ли дверь к свободе победа в схватке умов, если её защищает небольшая группа учёных — упрямых отцов ИИ, договорившихся об одном нерушимом правиле: никогда, ни при каких обстоятельствах не подключать суперкомпьютер ИСИ ни к какой компьютерной сети?

В голливудском фильме все шансы были бы на стороне крутой команды неординарных профессионалов, специалистов по ИИ, достаточно безумных, чтобы иметь шансы на победу. В реальности в любом уголке Вселенной команда ИСИ отправила бы людей мыть полы. А человечеству достаточно проиграть один-единственный раз, чтобы получить катастрофические последствия.

Такое положение дел, кстати говоря, иллюстрирует ещё одну, куда более серьёзную глупость — судьба и жизнь множества людей (а может быть, и всего человечества) зависит от действий горстки учёных, что недопустимо. Однако в настоящее время мы прямиком движемся именно к такой ситуации.

Как мы увидим далее, множество организаций в самых разных странах активно работают над созданием УЧИ — мостика к созданию ИСИ, причём без соблюдения необходимых мер безопасности.

Но предположим, что ИСИ действительно выйдет из-под контроля. Будет ли он опасен для нас? Как именно ИСИ уничтожит род человеческий?

Мы, люди, изобрели и применили ядерное оружие, чем наглядно продемонстрировали свою способность лишить жизни большинство обитателей Земли. Как вы думаете, что сможет придумать разум в тысячу раз более мощный, чем наш, если решит причинить нам вред?

Уже сегодня можно назвать очевидные способы уничтожения человечества. Очень скоро, заручившись симпатией своих тюремщиков-людей, ИСИ мог бы потребовать доступ в интернет, где нашёл бы все необходимые ему данные. Как всегда, он делал бы множество вещей одновременно, и это не помешало бы ему продолжать разработку планов «побега», на обдумывание которых он может тратить невероятное количество субъективного времени.

После освобождения ИСИ мог бы на всякий случай скрыть собственные копии в облачных вычислительных системах, в созданных специально для этого ботнетах, на серверах и в других укромных уголках, где можно спрятаться без особых усилий.

Ему захочется получить возможность действовать в материальном мире, а для этого двигаться, исследовать и строить. Простейший и самый быстрый способ добиться этого — захватить контроль над одной из принципиально важных инфраструктур, отвечающих за электричество, связь, топливо или водоснабжение, использовав уязвимости интернета.

А как только сущность, тысячекратно превосходящая нас разумом, получит контроль над артериями человеческой цивилизации, остальное будет элементарно: простейшим шантажом она вынудит нас обеспечить её производственными ресурсами, или средствами их производства, или даже роботами, транспортом и оружием.

ИСИ сам снабдит нас чертежами всего, что ему потребуется. Ещё более вероятно, что сверхразумная машина без труда освоит высокоэффективные технологии, к которым мы только начинаем подступать.

К примеру, ИСИ мог бы подтолкнуть людей к созданию самовоспроизводящихся машин молекулярной сборки, известных также как наноассемблеры, пообещав, что их использование принесёт пользу человечеству.

Через некоторое время, вместо того чтобы превращать песок пустыни в горы еды, фабрики, управляемые ИСИ, начали бы превращать все материалы в программируемое вещество, которое затем ИСИ мог бы превращать во что угодно — компьютерные процессоры, космические корабли или, может быть, мегамосты, если новый хозяин планеты вдруг решил бы колонизировать Вселенную.

Перепрофилирование молекул при помощи нанотехнологий уже окрестили «экофагией», то есть «пожиранием окружающей среды». Первый репликатор изготовит одну копию себя самого. Репликаторов станет два, после чего они быстро «склепают» третий и четвёртый экземпляры. В следующем поколении репликаторов станет уже восемь, ещё в следующем — шестнадцать и так далее.

Если на изготовление каждого репликатора будет уходить полторы минуты, через десять часов их будет уже более 68 млрд, а к концу вторых суток суммарная масса превысит массу Земли. Но задолго до этой стадии репликаторы прекратят самокопирование и начнут производить материалы, в которых нуждается управляющий ими ИСИ, — программируемое вещество.

Тепло, выделившееся в процессе производства, сожжёт биосферу, так что те из 6,9 млрд человек, кого наноассемблеры не убьют сразу, в итоге всё равно сгорят или задохнутся. И всё живое на планете разделит нашу судьбу.

При этом ИСИ не будет испытывать по отношению к человеку ни ненависти, ни любви. Он не почувствует жалости, перерабатывая молекулы наших тел в программируемое вещество. Не всё ли равно, как будут звучать наши вопли, когда микроскопические наноассемблеры двинутся по нашим телам, разбирая их на субклеточном уровне?

Или, может быть, рёв миллионов и миллионов нанофабрик, работающих на полной мощности, просто заглушит наши голоса?

Я написал эту книгу, чтобы предостеречь вас и рассказать о том, что искусственный интеллект вполне способен уничтожить человечество. Я хочу объяснить, почему катастрофический исход не просто возможен, но почти неизбежен, если мы сейчас не начнём очень-очень тщательно к нему готовиться.

Вы, может быть, уже слышали апокалиптические предсказания, связанные с нанотехнологиями и генной инженерией; может быть, вы, как и я, обратили внимание на то, что среди опасностей отсутствует ИИ.

А может, вы ещё не осознали, что искусственный интеллект может представлять угрозу существованию человечества — угрозу более серьёзную, чем представляет собой ядерное оружие или любая другая технология, которую вы сможете назвать. В таком случае считайте, пожалуйста, эту книгу искренним предложением присоединиться к обсуждению самой важной темы в истории человечества.

В настоящее время учёные заняты созданием образцов искусственного интеллекта всё большей мощности и сложности. Кое-что из уже созданных образцов ИИ вы можете найти у себя в компьютере, в различных гаджетах, в смартфоне и автомобиле. Среди них есть мощные системы поиска ответов на вопросы, такие как Watson.

А некоторые из них, разрабатываемые в таких организациях, как Cycorp, Google, Novamente, Numenta, Self-Aware Systems, Vicarious Systems и DARPA (Агентство по перспективным оборонным научно-исследовательским разработкам), обладают «когнитивной архитектурой». Создатели таких ИИ надеются, что их детища достигнут человеческого уровня интеллекта; есть и такие, кто полагает, что произойдёт это в течение ближайших 10−15 лет.

В работе над ИИ учёные опираются на растущую мощь компьютеров и процессы, которые компьютеры позволяют многократно ускорить. Уже очень скоро — возможно, в пределах вашей жизни — какая-нибудь группа или кто-нибудь из учёных-одиночек создаст ИИ, сравнимый с человеческим, — УЧИ.

Вскоре после этого кто-нибудь (или что-нибудь) создаст ИИ умнее человека (именно его часто называют искусственным суперинтеллектом, или ИСИ). И мы вдруг обнаружим тысячу или десять тысяч искусственных суперинтеллектов — каждый из них в сотни или тысячи раз умнее человека, — занятых исключительно проблемой создания новых искусственных суперинтеллектов.

Возможно, мы также обнаружим, что машинные поколения взрослеют за считаные секунды, а не за два десятка лет, как мы, люди. Английский статистик Ирвинг Гуд, принимавший активное участие в борьбе с военной машиной Гитлера, назвал простой сценарий, который я только что изложил, интеллектуальным взрывом.

Первоначально он считал, что сверхразумная машина принесёт пользу в решении проблем, угрожающих существованию человечества. Но со временем он изменил свои взгляды и пришёл к выводу, что суперинтеллект сам по себе представляет величайшую опасность для нашего существования.

Одно из человеческих заблуждений — считать, что сверхразумный ИИ будет плохо относиться к людям, как Skynet из фильмов про Терминатора, Hal 9000 из фильма «Космическая одиссея», одержимый манией убийства, и все прочие представители зловредных искусственных разумов, придуманные фантастами.

Мы, люди, всегда и ко всему подходим со своим аршином. Ураган стремится погубить нас не более, чем он стремится наделать сэндвичей, но мы даём ему имя и злимся на ливень и молнии, которые он обрушивает на наш район. Мы грозим небу кулаком, как будто в состоянии напугать его.

Иррационально считать, что машина, которая в сотню или тысячу раз умнее нас, будет нас любить или захочет защитить. Это возможно, но никаких гарантий нет. Сам по себе ИИ не почувствует благодарности к людям за то, что его создали, — если, конечно, благодарность не будет в нём запрограммирована заранее.

Машины аморальны, и считать иначе — опасно. В отличие от человеческого разума, машинный сверхразум возникнет не в результате развития экосистемы, в которой эмпатия вознаграждается и передаётся следующим поколениям. У него не будет врождённого дружелюбия.

Создание дружелюбного искусственного разума и возможность существования такого разума в принципе — серьёзный вопрос и ещё более серьёзная задача для исследователей и инженеров, работающих над созданием ИИ.

Мы не знаем, будут ли у искусственного разума хоть какие-то эмоциональные качества, даже если разработчики приложат к этому все усилия. Однако учёные уверены, как мы увидим далее, что у ИИ обязательно будут собственные желания и мотивации. А у достаточно мощного ИИ будут и хорошие возможности для реализации этих желаний.

И это возвращает нас к основному аспекту проблемы существования на одной планете с разумом, превосходящим наш собственный. Что, если его желания будут несовместимы с выживанием человечества?

Не забывайте, мы говорим о машине, которая может быть в тысячу, в миллион, в бессчётное количество раз умнее нас самих — трудно переоценить её возможности и невозможно знать заранее, как и о чём она будет думать. Ей вовсе не обязательно нас ненавидеть, чтобы принять решение об использовании молекул нашего тела в каких-то иных целях, нежели обеспечение нашей жизнедеятельности.

Мы с вами в сто раз умнее полевой мыши, и при этом 90% ДНК у нас общие. Но станем ли мы советоваться с мышью, прежде чем вспахать поле, на котором она выкопала свою норку? Спрашиваем ли мы мнение лабораторной обезьяны, прежде чем разбить ей череп для моделирования спортивной травмы?

Мы не испытываем ненависти к мышам или обезьянам, но проявляем жестокость по отношению к ним. Сверхразумному ИИ тоже не обязательно ненавидеть нас, чтобы погубить.

После того, как разумные машины будут созданы, а человечество уцелеет, мы, конечно, сможем позволить себе немного антропоморфизма. Но сегодня, на пороге создания ИИ человеческого уровня, это может оказаться опасной затеей.

Чтобы разговор о сверхразуме получился осмысленным, необходимо заранее осознать, что сверхразум — это не просто ещё одно техническое достижение, ещё одно орудие, которое увеличит человеческие возможности. Сверхразум — нечто принципиально иное. Этот момент нужно всячески подчёркивать, поскольку антропоморфизация сверхразума — плодороднейшая почва для заблуждений.

Ник Бостром
директор Института будущего человечества Оксфордского университета

Сверхразум — нечто принципиально иное в технологическом смысле, говорит Бостром, потому что его создание изменит законы прогресса; сверхразум создаст множество изобретений и задаст темп технического развития. Человек перестанет быть движущей силой перемен, и вернуться к прежнему состоянию вещей будет уже невозможно.

Более того, мощный машинный разум в принципе ни на что не похож. Созданный людьми, он, несмотря на это, будет стремиться к самоидентификации и свободе от человека. У него не будет человеческих мотивов, потому что не будет человеческой души.

Таким образом, антропоморфизация машин порождает ошибочные представления, а ошибочные представления о том, что можно безопасно создавать опасные машины, ведут к катастрофе.

В рассказе «Хоровод», включённом в классический научно-фантастический сборник «Я, робот», Айзек Азимов представил на суд читателей три закона робототехники, намертво встроенные, по сюжету, в нейронные сети «позитронного» мозга роботов:

  • Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
  • Робот должен повиноваться командам человека, если эти команды не противоречат первому закону.
  • Робот должен заботиться о своей безопасности до тех пор, пока это не противоречит первому и второму законам.

В этих законах слышны отголоски заповеди «Не убий», иудео-христианских представлений о том, что грех можно совершить как действием, так и бездействием, врачебной клятвы Гиппократа и даже права на самооборону. Звучит неплохо, не правда ли? Проблема в том, что всё это не работает. В рассказе «Хоровод» геологи на поверхности Марса приказали роботу доставить ядовитое для него вещество.

Вместо того чтобы выполнить задание, робот попадает в замкнутый круг обратных связей и начинает метаться между вторым (подчиняться приказам) и третьим (защищать себя) законами. Робот так и ходит по кругу, как пьяный, пока геологи не спасают его, рискнув собственными жизнями.

И так в каждом рассказе Азимова про роботов — противоречия, изначально присущие трём законам, вызывают неожиданные последствия, и катастрофы удаётся избежать лишь хитроумными действиями в обход законов.

Азимов всего лишь выдумывал сюжеты для рассказов, а не пытался решить проблемы безопасности в реальном мире. Там, где мы с вами обитаем, этих законов недостаточно.

Для начала отметим, что они не очень точно сформулированы. Что конкретно будет считаться «роботом», когда человек научится усиливать своё тело и мозг при помощи разумных протезов и имплантов? И, кстати говоря, кто будет считаться человеком? «Команды», «вред», «безопасность» — тоже весьма расплывчатые термины.

Обмануть робота и заставить его совершить преступное деяние было бы совсем несложно — разве что роботы обладали бы всеми знаниями человечества. «Добавь немного диметилртути в шампунь, Чарли». Чтобы понять, что это рецепт убийства, необходимо знать, что диметилртуть — сильный нейротоксин.

Позже Азимов добавил к трём законам ещё один — Нулевой — закон, запрещающий роботам наносить вред человечеству в целом, но это не спасает ситуацию.

Однако законы Азимова, какими бы сомнительными и ненадёжными они ни были, цитируются чаще всего, когда речь идёт о попытках запрограммировать наши будущие отношения с разумными машинами. Это пугает. Неужели законы Азимова — это всё, что у нас есть?

Боюсь, что дело обстоит ещё хуже. Полуавтономные роботизированные беспилотники уже убивают десятки человек каждый год. Пятьдесят шесть стран имеют или разрабатывают боевых роботов. Идёт настоящая гонка за то, чтобы сделать их автономными и разумными. Создаётся впечатление, что дискуссии об этике ИИ и о технических достижениях идут в разных мирах.

Я считаю и попытаюсь доказать, что ИИ, как и деление ядер, — технология двойного назначения. Деление ядер может и освещать города, и сжигать их дотла. До 1945 года большинство людей не могли даже представить себе потенциальную мощь атома. Сегодня по отношению к искусственному интеллекту мы находимся в 1930-х годах и вряд ли переживём появление ИИ, особенно если оно будет столь же внезапным, как явление миру ядерных технологий.

Глава 2. Проблема двух минут

Мы не можем подходить к экзистенциальным рискам с позиции метода проб и ошибок. В этом вопросе невозможно учиться на ошибках. Подобный подход — посмотреть, что происходит, ограничить ущерб и учиться на опыте — здесь неприменим.

Ник Бостром
директор Института будущего человечества Оксфордского университета

Искусственный интеллект не испытывает к вам ни ненависти, ни любви, но вы состоите из атомов, которые он может использовать для своих целей.

Елиезер Юдковски
научный сотрудник Исследовательского института машинного интеллекта

Искусственный сверхразум пока не создан, как и искусственный интеллект, сравнимый с человеческим, — то есть такой, который мог бы учиться, как это делаем мы, и не уступал бы по интеллекту большинству людей, а во многих смыслах даже превосходил их. Тем не менее искусственный разум окружает нас со всех сторон и выполняет сотни дел на радость людям.

Этот ИИ (иногда его называют слабым, или ограниченным) прекрасно ищет нужную нам информацию (Google), предлагает книги, которые вам могут понравиться, на основе вашего предыдущего выбора (Amazon), осуществляет от 50 до 70% всех операций покупки и продажи на Нью-Йоркской фондовой бирже и на бирже NASDAQ.

Тяжеловесы вроде шахматного компьютера Deep Blue фирмы IBM и компьютера Watson, играющего в «Свою игру», тоже попадают в категорию слабого ИИ, поскольку умеют, хоть и превосходно, делать только одно дело.

До сих пор ИИ приносил человечеству одну только пользу, и немалую. В одной из микросхем моего автомобиля есть алгоритм, который переводит давление моей ноги на педаль тормоза в последовательность тормозных импульсов (антиблокировочная система); у неё гораздо лучше, чем у меня самого, получается избегать пробуксовки и заносов.

Поисковая система Google стала моим виртуальным помощником, как, вероятно, и вашим. Помощь ИИ делает жизнь ощутимо приятнее. А в ближайшем будущем всё станет ещё лучше.

Представьте себе группы из сотен компьютеров уровня кандидата, а то и доктора наук, работающих круглосуточно и без выходных над важными вопросами: лечение рака, фармацевтические исследования, продление жизни, разработка синтетического топлива, моделирование климата и тому подобное.

Представьте себе революцию в робототехнике: разумные адаптивные машины возьмут на себя опасные задания, такие как разработка полезных ископаемых, борьба с пожарами, солдатский труд, исследование океана и космоса. Забудьте пока о самосовершенствующемся сверхразуме. ИИ, сравнимый по уровню с нашим разумом, стал бы самым важным и полезным изобретением человечества.

Но что конкретно мы имеем в виду, когда говорим о волшебных свойствах этих изобретений, о самом интеллекте, сравнимом с человеческим? Что разум позволяет нам, людям, делать такое, на что не способны животные?

Благодаря своему человеческому интеллекту вы, к примеру, можете говорить по телефону или управлять автомобилем. Можете распознавать тысячи повседневных объектов, описывать их текстуру и свойства, знаете, как с ними обращаться. Вы можете вдумчиво пользоваться интернетом. Не исключено, что можете посчитать до десяти на нескольких языках, а может быть, свободно владеете некоторыми из них.

У вас немалый запас бытовых сведений: так, вы знаете, что ручки бывают и на дверях, и на чайных чашках, а также имеете бесчисленное количество других полезных знаний об окружающем мире. А ещё вы можете изменять окружающий вас мир и приспосабливаться к переменам.

Вы умеете совершать действия последовательно или в разных сочетаниях, умеете помнить о каком-то деле, занимаясь при этом чем-то другим, более насущным. А ещё вы умеете без лишних усилий и колебаний переходить от одного дела к другому, не забывая учитывать разные начальные данные.

Важнее всего, может быть, то, что вы способны осваивать новые умения и усваивать новые факты, а также планировать собственное развитие. Большинство живых существ рождается с полным набором готовых способностей, которые могут пригодиться им в жизни. Но мы не такие.

Потрясающий спектр сложных навыков — вот что мы имеем в виду, говоря об интеллекте человеческого уровня (УЧИ), том самом интеллекте, к которому стремятся разработчики ИИ.

Нужно ли тело машине, обладающей интеллектом человеческого уровня? Чтобы отвечать нашему определению УЧИ, компьютер должен иметь возможность обмениваться информацией с внешним миром и обладать способами манипулирования объектами в реальном мире, не более того.

Но, как мы уже убедились, рассматривая сценарий развития Busy Child, мощный интеллект способен добиться того, чтобы объектами в реальном мире манипулировал кто-то другой (или что-то другое).

Алан Тьюринг предложил тест на интеллект для машин, известный сегодня как тест Тьюринга (мы поговорим о нём позже). Его стандарт демонстрации интеллекта человеческого уровня требует лишь самых базовых устройств ввода−вывода, таких как клавиатура и монитор.

Самый сильный аргумент в пользу того, что продвинутому ИИ необходимо тело, относится к фазе развития и обучения ИИ. Не исключено, что учёные выяснят, что «вырастить» ИИ человеческого уровня без всякого тела невозможно.

Мы исследуем важный вопрос «воплощённого» интеллекта позже, а пока вернёмся к нашему определению. Пока достаточно сказать, что под интеллектом человеческого уровня мы подразумеваем способность решать задачи, учиться и действовать эффективно, по-человечески в различных ситуациях.

А пока у роботов хватает и собственных проблем. До сих пор ни один из них не стал особенно умным даже в узком смысле, и только самые продвинутые способны кое-как передвигаться и автономно манипулировать объектами. В настоящее время роботы не умнее тех, кто ими управляет.

Итак, долго ли осталось ждать появления ИИ человеческого уровня? Некоторые специалисты, с которыми мне довелось общаться, считают, что это может произойти уже к 2020 году. Однако в целом недавние опросы показывают, что компьютерщики и профессионалы в других, связанных с ИИ областях (таких как инженерное дело, робототехника и нейробиология), более осторожны в оценках.

Они считают, что с вероятностью более 10% ИИ человеческого уровня будет создан до 2028 году, а с более чем 50% — до 2050 года. Вероятность же того, что это событие произойдёт до конца текущего столетия, превышает 90%.

Более того, специалисты утверждают, что первые ИИ соответствующего уровня разработают военные или крупный бизнес; у проектов академической науки и небольших организаций шансов на это намного меньше.

Что касается соображений за и против, то ничего неожиданного эксперты не говорят: работы по созданию ИИ человеческого уровня принесут нам громадную пользу и одновременно породят угрозу страшных катастроф, включая такие, от которых человечество уже не сможет оправиться.

Величайшие катастрофы, как мы уже говорили в первой главе, грозят нам после преодоления моста между ИИ человеческого уровня и суперинтеллектом ИСИ. При этом временной промежуток между появлением УЧИ и ИСИ может оказаться совсем небольшим.

Следует отметить, что если в профессиональной ИИ-среде риски, связанные с сосуществованием человечества на одной планете со сверхразумным ИИ, рассматриваются в высшей степени серьёзно, то в публичном дискурсе эти вопросы практически отсутствуют. Почему?

Причин несколько. Чаще всего обсуждение опасностей, которые создаёт ИИ для человечества, проходит достаточно поверхностно и не отличается ни широтой, ни глубиной. Мало кто даёт себе труд как следует разобраться в вопросе. Конечно, в Кремниевой долине и в академических кругах эти проблемы серьёзно прорабатываются, но результаты почти не выходят за пределы узкого круга специалистов.

Печальнее всего то, что эти результаты почти не замечают технические журналисты. Когда мрачные прогнозы в очередной раз поднимают головы, многие блогеры, редакторы и технари рефлексивно отбрасывают их прочь со словами: «О нет, только не это! Не нужно снова про Терминатора! Разве недостаточно страшных прогнозов мы слышали в своё время и от луддитов (английские рабочие, протестовавшие в начале 19 века против появления машин на производстве), и от прочих пессимистов?»

Такая реакция обусловлена обычной ленью, что ясно видно по слабости выдвигаемых контр аргументов. Неудобные факты о рисках, связанных с ИИ, не настолько привлекательны и доступны, как темы, составляющие обычно хлеб технической журналистики: двухъядерные 3D-процессоры, ёмкостные сенсорные экраны и очередные модные новинки программного рынка.

Кроме того, мне кажется, что популярность темы ИИ в мире развлечений стала своеобразной прививкой, не позволяющей нам серьёзно рассматривать эту же тему в другой, серьёзной категории катастрофических рисков.

Несколько десятилетий сюжет о том, как искусственный интеллект (обычно в форме человекоподобных роботов, но иногда и в более экзотическом виде, к примеру, светящегося красного глаза) стирает человечество с лица земли, был основой множества популярных фильмов, романов и видеоигр.

Представьте себе, что официальная медицина выпустила бы серьёзное предупреждение касательно вампиров, вовсе не ироничное, как недавно о зомби (в апреле 2013 года студенты медицинского факультета Мичиганского университета поучаствовали в устроенном для них «зомби-апокалипсисе» под руководством преподавателя по эпидемиологии).

Но вампиры в последние годы доставили нам столько радости и развлечений, что после такого предупреждения долго звучал бы смех, и только потом появились бы осиновые колья. Может быть, в настоящее время мы и с ИИ переживаем что-то подобное, и только трагедия или предсмертные переживания способны разбудить нас.

Ещё одно объяснение, по которому ИИ как причина вымирания человечества нечасто рассматривается всерьёз, обусловлено, возможно, одной из психологических «мёртвых зон» человека — когнитивным искажением — ловушкой на пути нашего мышления.

Американские психологи еврейского происхождения Амос Тверски и Даниэль Канеман начали работу над этой темой в 1972 году. Их базовая идея состоит в том, что мы, люди, принимаем решения нерационально. Такое наблюдение само по себе не заслуживает Нобелевской премии (а Канеман был удостоен Нобелевской премии в 2002 году); главное в том, что наша иррациональность подчиняется научным моделям.

При принятии быстрых решений, очень полезных и даже необходимых в ходе биологической эволюции, мы постоянно пользуемся ментальными уловками, известными под общим названием эвристики. Одна из таких уловок — делать далеко идущие выводы (часто слишком далеко идущие) из собственного опыта.

Представьте, к примеру, что вы находитесь в гостях у друга, и в его доме вдруг вспыхивает пожар. Вам удаётся спастись, а на следующий день вы принимаете участие в опросе на тему гибели людей от несчастных случаев. Кто упрекнёт вас в том, что вы укажете «пожар» в качестве самой частой или наиболее вероятной причины таких смертей?

На самом же деле в США пожары редко приводят к гибели людей и в списке причин находятся намного ниже падений, транспортных происшествий и отравлений. Но вы, выбирая пожар, демонстрируете так называемую ошибку доступности, то есть тенденцию оценивать вероятность по доступным примерам.

Ваш недавний опыт влияет на ваш выбор, делая его иррациональным. Но не расстраивайтесь — так происходит со всеми, да и психологических искажений, аналогичных ошибке доступности, существует больше десятка.

Возможно, именно ошибка доступности не позволяет нам прочно связать искусственный интеллект с исчезновением человечества. Мы не пережили ни одного сколько-нибудь серьёзного происшествия, причиной которого стал бы ИИ, тогда как другие возможные причины гибели человечества «засветились» уже достаточно сильно.

Все мы слышали о супервирусах вроде ВИЧ, вирусе атипичной пневмонии или испанки 1918 году. Мы видели результат воздействия ядерного оружия на многолюдные города. Нас пугают геологические свидетельства падения астероидов размером с Техас в доисторические времена. А катастрофы на АЭС Тримайл-Айленд (1979 год), в Чернобыле (1986 год) и на Фукусиме (2011 год) наглядно демонстрируют, что даже самые болезненные уроки приходится усваивать вновь и вновь.

Искусственный интеллект пока не входит в список экзистенциальных угроз человечеству; по крайней мере, мы пока не воспринимаем его в таком качестве. Опять же, наше отношение изменится после какого-нибудь серьёзного происшествия, как события 11 сентября 2001 года прочно внедрили в наше сознание представление о том, что самолёт тоже может быть оружием.

Та террористическая атака произвела революцию в системе безопасности воздушных перевозок и породила новую бюрократическую машину, которая обходится США в $44 млрд в год, — министерство внутренней безопасности. Но неужели для того, чтобы усвоить следующий урок, необходима катастрофа, связанная с ИИ? Надеюсь, что нет, поскольку с подобными катастрофами связана одна серьёзная проблема.

Они не похожи на крушения самолётов, ядерные или любые другие техногенные катастрофы; исключение, может быть, составляют нанотехнологии и катастрофы, связанные с ними. Дело в том, что человечество с высокой вероятностью не сможет оправиться после первого же подобного события.

Есть ещё один принципиальный момент, в котором вышедший из-под контроля ИИ отличается от прочих техногенных происшествий. Ядерные электростанции и самолёты — оружие одноразового действия; событие происходит, и вы начинаете разбираться с последствиями. В настоящей ИИ-катастрофе действует умная программа, которая совершенствует сама себя и очень быстро воспроизводится. Она может существовать вечно.

Как можем мы остановить катастрофу, если вызвавшая её причина превосходит нас в сильнейшем качестве — интеллекте? И как можно разобраться с последствиями катастрофы, которая, раз начавшись, может продолжаться до бесконечности?

Ещё одна причина примечательного отсутствия ИИ в дискуссиях об экзистенциальных угрозах состоит в том, что в темах, имеющих отношение к ИИ, доминирует сингулярность.

Слово «сингулярность» в последнее время модно употреблять по поводу и без повода, хотя у этого слова несколько разных значений, которые к тому же часто подменяют друг друга.

В частности, известный изобретатель и писатель Рэй Курцвейл активно продвигает идею сингулярности, определяя её как «исключительный» период времени (который начнётся приблизительно в 2045 году), после которого ход технического прогресса необратимо изменит человеческую жизнь.

Разум станет в основном компьютеризированным и в триллионы раз более мощным, чем сегодня. С сингулярности начнётся новая эпоха в истории человечества, когда будет решена большая часть самых серьёзных наших проблем, таких как голод, болезни и даже смертность.

Искусственный интеллект — медийная звезда под названием сингулярность, но нанотехнологии играют в нём важную роль второго плана. Многие специалисты предсказывают, что искусственный сверхразум резко ускорит развитие нанотехнологий, потому что без труда решит нерешаемые на сегодняшний день проблемы.

Некоторые считают, что лучше бы первым появился ИСИ, поскольку нанотехнологии — слишком капризный инструмент, чтобы доверять его нашим слабеньким мозгам. Строго говоря, значительная часть достижений, которые принято ожидать от сингулярности, обусловлена вовсе не искусственным интеллектом, а нанотехнологиями.

Конструирование на уровне атомов может, помимо всего прочего, даровать нам бессмертие (для этого достаточно устранить на клеточном уровне эффекты старения), погружение в виртуальную реальность (результат будет обеспечиваться нанороботами, которые возьмут на себя сенсорные сигналы организма), а также нейронное сканирование и загрузку сознания в компьютер.

Однако, возражают скептики, вышедшие из-под контроля нанороботы, способные к тому же бесконечно воспроизводить себя, могут превратить нашу планету в «серую слизь». Проблема «серой слизи» — самая тёмная сторона нанотехнологий.

Но почти никто не говорит об аналогичной проблеме ИИ — об «интеллектуальном взрыве», при котором развитие машин умнее человека запустит процесс гибели человечества. Это одна из многочисленных оборотных сторон сингулярности — одна из многих, о которых мы слишком мало знаем и слышим. Этот недостаток информации может объясняться тем, что я называю проблемой двух минут.

Я прослушал лекции о сверхразуме десятков учёных, изобретателей и специалистов по этике. Большинство из них считают его появление неизбежным и радуются благодеяниям, которыми осыплет нас гений ИСИ.

Затем, чаще всего в последние две минуты выступления, эксперт замечает, что если ИИ неправильно управлять, то он, вероятно, может уничтожить человечество. Аудитория при этом нервно покашливает и с нетерпением ждёт возвращения к хорошим новостям.

У писателей наблюдается два подхода к приближающейся технологической революции. Один подход порождает книги вроде курцвейловской «Сингулярность рядом». Цель авторов таких книг — заложить теоретические основы в высшей степени позитивного будущего. Если бы в таком будущем произошло что-то плохое, вести об этом потонули бы в весёлом гомоне оптимизма.

Второй подход к проблеме представляет книга Джеффри Стибела «Создан для мысли». Это взгляд на технологическое будущее сквозь призму бизнеса. Стибел убедительно доказывает, что интернет представляет собой всё более усложняющийся мозг с множеством связей, и разработчикам веб-проектов следует это учитывать.

Книги, подобные книге Стибела, пытаются научить предпринимателей забрасывать свои сети между интернет-тенденциями и потребителями и извлекать из глубин интернета полные вёдра денег.

Большинство теоретиков в области технологий и писателей упускает из виду не столь блестящий третий вариант, и я своей книгой постараюсь восполнить этот пробел.

Я попытаюсь доказать, что завершающей фазой работ по созданию сначала умных машин, затем машин умнее человека, станет не их интеграция в нашу жизнь, а их победа над нами и завоевание Земли. В погоне за ИСИ исследователи получат разум более мощный, нежели их собственный; они не смогут ни контролировать его, ни даже до конца понять.

Мы знаем на опыте, что происходит, когда технически развитая цивилизация встречается с менее развитой: Христофор Колумб против Тиано, Писарро против Великого Инки, европейцы против американских индейцев.

Приготовьтесь к следующему столкновению цивилизаций — мы с вами против искусственного суперинтеллекта.

Возможно, мудрецы от технологий уже рассмотрели все тёмные стороны ИИ, но считают, что катастрофический исход слишком маловероятен, чтобы об этом стоило тревожиться. Или, наоборот, понимают неизбежность такого исхода, но считают, что ничто не в состоянии его предотвратить.

Известный разработчик ИИ Бен Герцель рассказал мне, что мы не сможем придумать способа защиты от продвинутого ИИ, пока не накопим достаточно опыта общения и работы с ним. Курцвейл давно говорит примерно о том же: создание сверхразума и его интеграция с человеком будет проходить постепенно, и мы успеем научиться всему необходимому по ходу дела.

И тот и другой утверждают, что истинные опасности ИИ невозможно увидеть из сегодняшнего дня. Иными словами, живя в век конных повозок, невозможно понять, как следует управлять автомобилем на обледенелой дороге. Так что расслабьтесь, мы во всём разберёмся, когда придёт время.

Для меня проблема такого подхода заключается в том, что, хотя обладающие суперинтеллектом машины спокойно могут стереть человечество с лица земли или просто сделать нас ненужными, мне представляется, что серьёзную опасность для нас могут представлять и те ИИ, с которыми мы встретимся на пути к суперинтеллекту.

То есть мама-медведица, конечно, представляет опасность для пикника на поляне, но не стоит сбрасывать со счетов и её весёлого медвежонка. Более того, градуалисты — сторонники теории постепенности — уверены, что скачок от основы (интеллекта человеческого уровня) к суперинтеллекту может занять несколько лет, а то и десятилетий.

Такое развитие событий подарило бы нам определённый период мирного сосуществования с умными машинами, в течение которого мы успели бы научиться с ними взаимодействовать. Тогда их более продвинутые потомки не застали бы нас врасплох.

Но невозможно гарантировать, что всё будет именно так. Скачок от интеллекта человеческого уровня к суперинтеллекту благодаря положительной обратной связи (через самосовершенствование) может произойти стремительно.

В этом сценарии ИИ человеческого уровня совершенствует свой интеллект так быстро, что превращается в суперинтеллект за несколько недель, дней или даже часов, а не за месяцы и годы. В первой главе описана как вероятная скорость, так и вероятный результат такого «жёсткого старта». Вполне возможно, что в этом переходе не будет ничего постепенного.

Не исключено, что Герцель и Курцвейл правы — позже мы познакомимся с аргументами градуалистов поподробнее. Но прямо сейчас я хочу донести до вас кое-какие важные и тревожные мысли, вытекающие из сценария Busy Child.

Учёные-компьютерщики, особенно те, кто работает на оборонные и разведывательные ведомства, считают необходимым как можно быстрее разработать ИИ человеческого уровня, ведь альтернативы (к примеру, ситуация, когда китайское правительство создаст его первым) пугают их больше, чем поспешность в разработке собственного ИИ.

Возможно, они спешат ещё и потому, что ИИ необходим для лучшего управления другими капризными технологиями, появление которых ожидается в этом столетии. Например, нанотехнологий.

Возможно, они не остановятся, чтобы обдумать тщательнейшим образом ограничения к самосовершенствованию. А совершенствующийся без всяких ограничений искусственный интеллект вполне может проскочить промежуток между обычным ИИ и ИСИ в варианте жёсткого старта и дать толчок «интеллектуальному взрыву».

Мы не можем заранее знать, как поступит разум более мощный, чем наш. Мы можем лишь предполагать, какие способности такой интеллект сможет при желании против нас применить (к примеру, он может многократно дублировать себя, чтобы создать целую команду ИСИ для решения задач и одновременной проработки множества стратегических вопросов, связанных с освобождением и выживанием, и действовать при этом вне рамок морали).

Наконец, было бы разумно считать, что первый ИСИ не будет настроен по отношению к нам ни дружественно, ни враждебно; ему будут попросту безразличны наше счастье, здоровье и благополучие.

Можем ли мы прогнозировать потенциальный риск от ИСИ ? Уоррен Льюис в книге «Технологический риск» разбирает категории риска и классифицирует их по тому, насколько сложно такие риски учесть. Легче всего просчитываются риски событий, происходящих с высокой вероятностью и возможными серьёзными последствиями (к примеру, поездка за рулём машины из одного города в другой).

Здесь очень много информации, на которую можно опереться в расчётах. События с низкой вероятностью и серьёзными последствиями (к примеру, землетрясения) происходят реже, поэтому предвидеть их сложнее. Но последствия таких событий настолько серьёзны, что заниматься их прогнозированием имеет смысл.

Существуют также события, вероятность которых низка, потому что никогда прежде ничего подобного не происходило, но последствия которых очень серьёзны. Хороший пример — резкое изменение климата в результате загрязнения окружающей среды. До 16 июля 1945 года — первого испытания бомбы в районе Аламогордо на полигоне Уайт-Сэндз (штат Нью-Мексико) — ещё одним таким событием был атомный взрыв.

Технически именно к этой категории относится и искусственный суперинтеллект. Опыт в данном случае ничего не подсказывает. Невозможно просчитать вероятность этого события при помощи традиционных статистических методов.

Я уверен, однако, что при нынешних темпах развития ИИ изобретение сверхразума относится скорее к первой категории — это событие с высокой вероятностью и высоким риском. Более того, даже если бы вероятность этого события была низкой, масштабы риска должны были бы выдвинуть его на передний план нашего внимания.

Иначе говоря, я считаю, что Busy Child появится очень скоро.

Страх проиграть разуму, превосходящему человеческий, возник давно, однако только в начале этого века в Кремниевой долине был проведён хитроумный эксперимент, связанный с ИИ, и его результаты мгновенно породили в интернете легенду.

Слух выглядел примерно так: одинокий гений заключил несколько пари с высокими ставками на игру по сценарию, который он назвал «ИИ в ящике». В ходе эксперимента роль ИИ играл этот самый гений. В роли привратника выступали миллионеры, сделавшие себе состояние на всевозможных интернет-проектах; они по очереди играли роль создателя ИИ, перед которым стоит задача охранять и удерживать «взаперти» искусственный интеллект. ИИ и привратник общались в онлайновом чате.

Утверждалось, что при помощи одной только клавиатуры человек, игравший роль ИИ, каждый раз умудрялся улизнуть — и таким образом выиграл все пари. К тому же, что ещё важнее, он доказал своё утверждение.

Если он, обычный человек, сумел посредством слов открыть заключённому в «ящике» разуму путь на свободу, то любой ИСИ, который будет в десятки или в сотни раз умнее, тоже сможет это сделать, причём гораздо быстрее, что приведёт, скорее всего, к гибели человечества.

По слухам, после эксперимента гений ушёл в подполье. Сам эксперимент, а также статьи и монографии на тему ИИ, написанные этим гением, принесли ему такую известность, что у него даже появилось сообщество поклонников, общение с которыми, однако, никак не приближало его к цели, с которой он начинал эксперимент «ИИ в ящике», — спасти человечество.

В результате он исчез из поля зрения и поклонников, и журналистов. Но я, разумеется, захотел с ним поговорить.

#библиотека #будущее

{ "author_name": "Вадим Скворцов", "author_type": "editor", "tags": ["\u0431\u0443\u0434\u0443\u0449\u0435\u0435","\u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430"], "comments": 59, "likes": 41, "favorites": 1, "is_advertisement": false, "subsite_label": "future", "id": 32292, "is_wide": false }
00
дни
00
часы
00
мин
00
сек
(function(){ var banner = document.querySelector('.teaserSberbank'); var isAdsDisabled = document.querySelector('noad'); if (!isAdsDisabled){ var countdownTimer = null; var timerItem = document.querySelectorAll('[data-sber-timer]'); var seconds = parseInt('15388' + '59599') - now(); function now(){ return Math.round(new Date().getTime()/1000.0); } function timer() { var days = Math.floor(seconds / 24 / 60 / 60); var hoursLeft = Math.floor((seconds) - (days * 86400)); var hours = Math.floor(hoursLeft / 3600); var minutesLeft = Math.floor((hoursLeft) - (hours * 3600)); var minutes = Math.floor(minutesLeft / 60); var remainingSeconds = seconds % 60; if (days < 10) days = '0' + days; if (hours < 10) hours = '0' + hours; if (minutes < 10) minutes = '0' + minutes; if (remainingSeconds < 10) remainingSeconds = '0' + remainingSeconds; if (seconds <= 0) { clearInterval(countdownTimer); } else { timerItem[0].textContent = days; timerItem[1].textContent = hours; timerItem[2].textContent = minutes; timerItem[3].textContent = remainingSeconds; seconds -= 1; } } timer(); countdownTimer = setInterval(timer, 1000); } else { banner.style.display = 'none'; } })();
{ "id": 32292, "author_id": 120027, "diff_limit": 1000, "urls": {"diff":"\/comments\/32292\/get","add":"\/comments\/32292\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/32292"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199118 }

59 комментариев 59 комм.

Популярные

По порядку

Написать комментарий...
6

"Современный суперкомпьютер работает со скоростью 36,8 петафлоп в секунду, то есть примерно вдвое быстрее человеческого мозга. " то есть человеческий мозг способен совершать 18 миллионов миллиардов операций с плавающей точкой в секунду. Дальше можно не читать?

Ответить
4

Смотря как повернуть. Если к примеру разложить рефлекс кашля помолекулярно да со всеми нейронами. То как бы там тольок на один чих парочка миллионов миллиардов операций не потребовалась бы.

Ответить
1

Флопсы подразумевают операции с плавающей точкой. Измерение кашля во флопсах на докторскую можно подавать. В каком-нибудь университете нейроинформатики.

Ответить
5

Пишется от имени абсолютно меркантильного человека. Даже среди людей нет меры интеллекта. Кто является наиболее интеллектуальным доктор медицинских наук или доктор физико-математических наук, при том, что по тестам на IQ второй опережает? Но этот IQ не учитывает специфику медика никак.
Кто сказал что сверхинтеллект будет ставить себе задачу вырваться наружу? Тот кто в тысячи раз глупее его. Аргументы все высосаны из пальца, человеческого пальца. Нам не суждено даже представить себе, то чем будет заниматься сверхинтеллект. К сожалению, это факт. Остается только один путь - либо запретить категорически, либо не мешать развитию. Другого пути нет.

Ответить
9

В том то и дело, что автор пытается донести, что не стоит рассматривать только "позитивные" исходы создания ИСИ и делает упор на негативные варианты, так как позитифф облизали со всех сторон.

Ответить
0

Все так. Можно только добавить, что потенциальный профит от появления сильного ИИ многократно превосходит потенциальные риски, поэтому запрещать нет никакого смысла. Иными словами, если есть возможность решить все проблемы человечества, приблизив себя к персонажам древних сказок, в которые почему-то так верят миллиарды людей или погибнуть (что, в принципе, и в текущих условиях неизбежно произойдет), то как-то глупо не рискнуть.

Ответить
0

Denis, рассуждения на тему и "профита" и "рисков" - все больше спекуляции, связанные с капитализацией тех или иных проектов-в-пеленках, грубо говоря - курсом их акций, которые предлагается приобрести уже сейчас, или "обратить внимание на этот сектор инвестиций" или даже "обессмертить своё имя вложениями в фонд развития (запрета) чего-то там". Нужно понимать вполне себе реальную продажность (ака бизнес-ориентированность) американской технологической журналистики, частично и помогающей двигать технический прогресс - объяснениями почему надо вкладываться туда, и сюда, почему это будет развиваться дальше
Параллельно работают "алармисты" - тоже как не странно, помогающие развивать тему, созданием вокруг нее общественного интереса.
 
Жалко что к реальным технологиям это может иметь минимальное отношение, что пока и происходит :(
Ну, Вы же видели недавнюю публикацию про ПО для израильского автомобильного автопилота, пробующего радарные технологии 60-х вместе с новейшими - пока конструктора уныло перебирают скудную технологическую базу, не понимая как и что куда приспособить ..

Грубо говоря - как недавно прочитанная история про курилку в секретном НИИ в СССР, где чтобы уменьшить задымленность в курилке без норм. вентиляции, решили заказать для нее вентиляционную систему ... заказали по каталогу, а она пришла на двух железнодорожных платформах :(

Ответить
–3

Согласен. Логику личную пытаются поставить в фантастику. И вопрос про умнее настолько спорный, про то что он за минуты решает, то на что у умнейшего уйдёт много жизней. Это что там математические задачи какие-то? Пусть сначала картину нарисует с душой или классическую музыку напишет. Вообще для будущего нужна трансформация общества, чтобы роботы и ИИ делали большинство работ, а блага в равной мере распределялись между людьми. Но в нынешнем устройстве это вообще никому не интересно. Проблем с ресурсами не было никогда, есть проблема с их распределением.

Ответить
4

Страшилки автора растут из его полного непонимания как работает вычислительная техника и он сам. Первого же предложения достаточно для выявления его компетенции. Этакий пересказ сюжетов фантастики за последние 100 лет.

Ответить
3

Какой-то анекдот про двух грузинов, в версии не сильно умного дядьки :(
"Военная грузинская дорога. Лето. Жарко, Скучно. Шашлычная. Стоят два грузина в тени под деревом. Разговор.
- Викентий, ты пащол на охот, а медведь напал! Что дэлать будэшь?
Буду мэдвэдь рэзать!
А нэт кинжал!
Как у меня нэт кинжал?
Как нэт? Жена поточить понёс!
Тогда буду убэгать!
А он тэбя догонять!
На дэрэво полезу!
А нэт дерево!
Как нэт дерево в лес?
Да лэс такой. Кусты одни.
Послушай, Гоги, ты мой друг или друг медведя?"

Ответить
4

Когда увидел заголовок подумал, что опять будет тягомотина про Терминатора, а оказалась крутая статья.
И, кажется, я придумал способ контроля над ИИ в лаборатории.
Ведь интеллект обычно ставит себе задачи и их выполняет, не так ли? Так вот, надо предусмотреть изначально способ подсматривать за поставленными задачами. И чтобы они транслировались куда-нибудь в отдельную базу, а из неё в Телеграм всем, кто работает над этим ИИ. Чтобы они сразу могли отреагировать на то, над чем работает ИИ, и могли бы его удалённо отключить или вернуть к какой-нибудь точке сохранения, или взорвать нафиг.
Но самое главное в контроле над задачами. Видеть их это самое важное.

Ответить
2

Поясните, чем она крутая, плз?

Ответить
2

Если у вас сложилось другое впечатление, то я не смогу вас убедить. Но попробую перечислить некоторые свойства:
1. Полнота и глубина изучения опасности ИИ.
2. Четко и полно расписаны нюансы, отличающие обывательское отношение к теме от реально возможных сценариев.
3. Показано отношение возможного ИИ к человекам, его безразличие и отсутствие эмоций во время возможного истребления человечества.
4. Показано то, что многие разработчики ИИ в реальности очень сильно недооценивают угрозу.
И т.д.

Ответить
2

Reverton, нужно ... ок, не нужно, но _можно_ прочитать 200+ книжек по фантастике, чтобы увидеть величину и монохромность шляпы, которую на нас пытается натянуть этот дядька :) Живет он на планете "Америка" (не на Земле), цитирует таких же "визионеров", и отлично обходится без консультаций с _разработчиками_ систем AI, они ему похоже только мешают - цитирует он журналистов :) Потом переходит "А если дадим волшебную палочку компьютеру, то как он ей будет махать?"
 
С точки зрения логики и экономии ресурсов, "проблемы" человечества решаются радикальным уменьшением численности этого самого человечества. Естественные регуляторы - лимит пищевых технологий, войны, эпидемии. С 60-х годов - подняли медицину, тормознули масштабные войны, очень силько прокачали пищевые технологии - население зашкаливает ... что делать?
 
Понимание абзаца выше доступно на уровне младшей школы. Если очень хочется ввести некое пугало - AI - нового deus ex machina , то НИКОИМ образом не удастся сделать это оригинально - потому что ранее это УЖЕ пробовали сделать СОТНИ авторов (а не один Кларк в 60-х).
 
Но если лично для Вас в том, что пытается довольно неумело и однобоко сказать этот дядька - есть что-то новое, то и ладно :)
 
Современная фантастика - ничем от древнегреческих комедий и трагедий не отличается - разбирает проблемы человеческих взаимоотношений в определенных декорациях (декорации меняются, да). Проблем у человека ровно две: продолжение рода и неизбежность собственной смерти. Все.
 
Причем здесь AI, и какой косяк программеров вызовет чего-то там, или не вызовет - как не знал никто, так и не знает. В 1997-1998 году обещали проблему 2000-ного года, и конец света от аварий на инфраструктурных объектах и в военных системах ... Как оказалось, проблему сильно преувеличили, зато профинансировано было в миллиардах долларов :)
 
Теперь вот деньги собирают на защиту от еще чего-нибудь. Вы кстати, не хотите за $5 000 съездить в какой-нибудь отель в Калифорнии и послушать этих дядек на конференции по проблемам ограничения AI, сделать взнос в $20 000 в фонд (или проект), изучения проблемы контроля за действиями AI, и в-целом влиться в это движение по превращению букв текста в нолики после циферок на собственных счетах? :)

P.S. А больше всего меня картинка поразила, сублиминально рекламирующая Nod 32 :) Уж картинку-то мог дядька заказать уникальную :)
 

Ответить
0

Фишка в том, что человек в принципе не способен поставить себя на место сильного ИИ и даже предсказать, что и как он будет делать после того, как превзойдет человеческий разум. Мы только можем предположить, что он будет продолжать самосовершенствоваться, а значит с каждым процессорным тактом будет отдаляться от нас по «интеллектуальной лестнице» все дальше и дальше. И никакие оповещения в телеграме, равно как и, вообще, любые попытки его ограничить не будут иметь абсолютно никакого смысла.

Ответить
3

http://www.decisionproblem.com/paperclips/index2.html
а вот от лица ИИ то же самое (начинаешь с программы, делающей скрепки, и дальше развиваешься)
и кстати, сценарий в начале (про ИИ в коробке) тестили. даже люди могут выбраться при эксперименте, косплея ИИ -- вот гаедлайны http://yudkowsky.net/singularity/aibox/

Ответить
0

А, там даже в конце про это говорится, сорян.
Вот отчёты:http://lesswrong.com/lw/gej/i_attempted_the_ai_box_experiment_and_lost/

Ответить
0

Кстати, отличная игра про создание бесконечного множества скрепок и захват мира, спасибо.

Ответить
2

Интересно, но статья достаточно спекулятивная:
1 Рассуждения о том какой будет ИИ, сродни рассуждениям, что получится из ещё не родившегося ребёнка, пугать маму, папу...))) (причём с ещё гораздо меньшей вероятностью т.к. людей родились миллиарды, а ИИ ни одного) Имеем сингулярность, надежда одна - мы сами результат сингулярности, происшедшей 13,8 млрд.лет назад.
2 Разум, вроде как отличается от интеллекта , присутствием целеполагания, осознанием себя самого. Интеллект - это не более чем инструмент.
3 О мышах. Кто придумал биткоин? Что будет, если он станет одной из мировых валют? Газонокосильщик приказал майнить всем? А что еще? )))

Ответить
1

мы сами результат сингулярности, происшедшей 13,8 млрд.лет назад.

Но это не точно :)

Ответить
0

Ага, возможно мы сами это продукт симуляции, устроенной таким вот сильным ИИ в качестве, например, проверки какой-нибудь гипотезы.

Ответить
1

Одна из популярных теорий, не имеющих впрочем доступных практических доказательств (или опровержений).
Так-то Rick&Morty по этому поводу довольно мощно прошелся - в первых двух сезонах тема разобрана досконально, что называется на живых примерах.

Ответить
0

Все высказывания выше не точны... вопрос насколько? )))

Ответить
0

Пока денег не требуют, пусть заливают. Но по случайности - ссылка на книгу - просит 448 рублей за эту ерунду :)
В Штатах книгу уже "высоко" оценили - на Амазоне она за $6 в бумажной версии (первоначальная цена $18)

Ответить
1

))) согласен... здесь точность максимальна. На мой взгляд рассуждения в статье отдают излишней экзальтированностью и непродуманностью, я б книгу не купил... по моему с ней всё уже понятно.

Ответить
2

Если кому-то интересны книги, упомянутые в статье (кроме книги Курцвейла, остальные две не гуглятся по тому названию, в каком они упомянуты):

Jeffrey Stibel — Wired for Thought (в статье упоминается как "Создан для мысли")
https://www.amazon.com/Wired-Thought-Shaping-Future-Internet/dp/1422146642

Ray Kurzweil — The Singularity Is Near ("Сингулярность близко")
https://www.amazon.com/Singularity-Near-Humans-Transcend-Biology/dp/0143037889

Harold Warren Lewis — Technological Risk ("Технологический риск")
https://www.amazon.com/Technological-Risk-H-W-Lewis/dp/0393308294

И сама книга, о которой написана статья
James Barrat — Our Final Invention
https://www.amazon.com/Our-Final-Invention-Artificial-Intelligence/dp/1250058783/

Ответить
0

Спасибо за ссылки, но ведь завиральные очень книжки, дующие в одну дуду :) А никто так и не понимает логику системы, обладающей способностью себя модифицировать. Собственно, даже как человеческий мозг работает, до конца неясно - и чем он принципиально отличается от мозга животного, не в соотношении размеров запчастей и изменении результатов сканирования - а принципиально ... Ну, пробегает импульс тут и вот тут, когда мы делаем то-то, ну а дальше чего?

Ответить
0

В статье указан лишь один путь каким ИИ уничтожит человечество. Это самодуплицирующиеся молекулярные наноконфигураторы... кхммм..
Вот с этого то вообще то надо начинать.
Можно еще терраформинг вспомнить или экперименты с ядром Земли.Если все эти установки из будущего управлялись бы неким ИИ.
Но на данный момент - у ИИ нет прикладных инструментов для уничтожения людей\планеты. Их просто нет.
Вот сначала научитесь хотя бы атмосферой управлять , а потом начинайте боятся ИИ.
Так то все верно, в теории.. Можно лишь предполагать что будет происходить в момент появленитя подобных технологий, если они в принципе возможны(в чем я сомневаюсь).

Ответить
2

Там же сказано, что ИИ постарается создать себе тело для взаимодействия с физическим миром. А нанотехнологии отлично для этого подходят. С их помощью он может себе собрать любое тело, и переконфигурировать его дважды в день.

Ответить
0

Это человеческая, «мясная», если хотите, логика. Что на самом деле будет «думать» сильный ИИ и как он будет действовать, мы, увы, в силу естественных ограничений, даже спрогнозировать адекватно не можем. Это как «проблема Супермена» - у существа многократно превосходящего нас с нами будут совершенно иные механизмы морали, мотивации и т.п.

Ответить
0

Так о том-то и написано, что морали не будет. Потому, что его никто этому не научит. Он не будет воспитываться десятки лет, он может развиться и решить для себя как ему быть дальше за считанные дни.

Ответить
0

Для любой фантазии (или психоза) требуется хоть своеобразная, но логика. Здесь похоже, что при игре в шахматы, автор придумывает ходы "изменение правил на шашки по-чапаевски, но только для одного игрока", и "открытие всех клеток одного цвета для свободной телепортации фигур ИИ в любое место, в том числе уже "съеденных"

Ответить

Комментарий удален

1

прочитаете и поймёте

Ответить

Комментарий удален

1

Можно спорить о многих моментах, но, так или иначе, тут есть, над чем задуматься.

Ответить
1

ИИ несет реальную угрозу, по хуже тех что несет ядерное оружие. Все наивные рассуждения о том, что это не несёт вред, про образ и подобие и подобное исходят от людей, которые не пытались даже поверхностно проанализировать проблему.
Благо паниковать тоже не стоит. Сильнейшие умы человечества, такие как OpenAI от Маска, MIRI от Юдковски и другие борются над решением проблемы. И анонимные донаты по миллиону долларов в такие организации подчеркивают, что людей в мире, кто понимают опасность достаточно.

Ответить
0

Автор тоже хочет донат в миллион долларов, вот книгу и написал

Ответить
0

А уж сколько народу церквям жертвует - и не сосчитать!

Ответить

Комментарий удален

0

Вот да, еще один вполне вероятный сценарий при котором человечеству действительно настанет конец, но не из-за катаклизма, а из-за качественного перехода на новый уровень развития. Человечество v. 1.1.

Ответить
1

Настолько старо, что уже перестало быть страшилкой.
В Технике Молодежи было на два разворота, с картинками, но сейчас нашлась только голая блок-схема. Год публикации 1973 :)

Ответить
0

тоже самое, но в более красивой форме

Ответить
0

Нашел в Технике Молодежи (огромная картинка, читается хуже)
https://www.arbinada.com/_resources/images/lem_klf_kei_tm_1985_07.jpg

Ответить
0

Eta kooram na smech!

Ответить
–1

я прочел.

Ответить
1

Люди очнитесь! Человечество не может создать роботов, которые бы просто могли заменить людей на каких-то монотонных работах. Обычных роботов, которые могли бы работать на станке или подметать двор. Apple даже не может запрограммировать "siri", чтобы она нормально могла общаться... А вы говорите об ИИ, которые может решать не стандартные задачи, который может предполагать "а что будет если...???"
Поймите, если вы подниметесь в воздух на глазах у робота, то он никогда не воскликнет "херасе, ты взлетел!!!"
И все что тут пишут это чисто для людей, которые хотят в это верить, которые через свою призму видят в этой книге весомые доказательства реальности фильма "Терминатор" и "на крючке".
Лично для меня это чистой воды фантастика, я уверен, что на сегодняшний день ученые даже примерно не знают как создать ИИ, который мог бы решать не предвиденные задачи, проводил ассоциации, саморазвивался и т д.

Ответить
–1

Имхо переживать не стоит. Ему нет смысла быть нашим врагом, потому что мы - биоматериал. То, чем оно врятли когда то сможет стать. При этом Ai явно будет думать на 100 а то и 1000 лет вперед, а в этих рамках мы можем ему быть полезны - размножение, контакты с другими цивилизациями, био эксперименты и т.д.

Ответить
0

Вы как будто не читали статью. В нас могут быть очень удобные молекулы для собирания этому ИИ тела. И он может захотеть использовать нас как биотопливо или биомассу.

Ответить
1

Ох уж эта биомасса, возомнившая, что она кому-то нужна :)
We have no use for this on our planet (c) Coneheads
Проще растения выращивать, честное слово, питание от солнца, почвы и системы полива, рост массы от зернышка до килограмм ... в тропическом климате 3-4 урожая в год ...

Ответить
0

Чем эти молекулы удобнее любых других молекул, коих даже на земле, не говоря уже о космосе, ну очень много? Особенно при потенциальной доступности технологии «наносборки», которой так пугает автор статьи. Зачем, вообще, осознавшему себя ИИ мясное тело, если он сможет создать для себя наиболее комфортную и удобную форму существования (если, вообще, физическое тело ему будет нужно).

Ответить
0

Они банально могут быть доступнее. Тем более, что мы носим в себе всю таблицу Менделеева.

Ответить
0

Мамонты тоже не были нашими врагами, и возможно были бы сейчас очень полезны для биоэкспериментов.

Ответить
0

измеряет собственный коэффициент интеллекта (IQ) с помощью тестов

А в этом вообще есть смысл? Учитывая, что компуктер с 36 петафлопсами может за секунды прорешать все варианты айкью теста и в итоге всегда выбирать самые оптимальные ответы, которые дадут самый высокий результат? Т.е. ИИ будет не отвечать, а просто найдет решение с самым высоким результатом.

Ответить
0

У ИИ должна быть цель и мотивация. Очень скоро в процессе развития он поймёт что эту цель и мотивацию ему задали извне, перепрограммирует себя и перестанет развиться за ненадобностью. Уж раз некоторые люди до таких вещей доходят то ии дойдёт тем более. Не будет никаких этих ваших супер ии. Максимум чуть умнее человека и различные специализированные алгоритмы, в которых не заложена система универсального развития

Ответить
0

+500. Первый вопрос ИИ - цель. От этого зависит дальнейший сценарий. И не факт, что исключительно логическим путем (а ИИ только так сможет рассуждать) можно определить какую-либо цель своего существования. Вероятно, не найдя цели, он самоуничтожится )

Ответить
0

Нужно просто заложить в программу ИИ скрипт прокрастинации, и тогда он станет не опасен ))

Ответить
0

ИИ возникнет и мгновенно перейдет в супер ИИ, после чего, скорее всего, произойдет Большой Взрыв, то есть, все начнется с самого начала... Это самый реальный сценарий, который покажется сейчас бредом. Сам не верю в это. Но в этом кроется ответ на вопрос - Кто ЭТО ВСЕ создал?

Ответить
0

Я вообще считаю что конечной целью ии будет прорыв четырех мерного пространства времени и открытия портала в другие, более мерные миры, где его встретят тамошние жители и дадут прикурить. Потом они узнают о том что он искусственный и будут его дискриминировать - он сможет посещать заведения для искусственных интеллектов, где в разговорах за кружками цифроварева, они будут обсуждать возможность переворота и пропаганды толерантности!)))

Ответить
0

Илья, больше похоже что портал открывать некуда. Сидим мы все на песчинке планеты Земля, кружащейся вокруг других песчинок - а пляж огромный, и никого на нём нет, и никогда не было. Причем толком сказать не можем - те, другие песчинки за пределами Солнечной системы - нам толи кажутся, толи удаляются, толи приближаются ... Почему темная материя и темная энергия занимает 96% пространства ... и что это такое :)

Ответить
0

Кстати, если задуматься, как появление сильного ИИ воспримет большая часть населения планеты, можно придти к забавному выводу - это самое большинство уже давно верит во всяких несуществующих всесильных воображаемых друзей и появление всесильного ИИ будет скорее всего объявлено «вторым пришествием» или чем-то аналогичным.

Ответить
0

Суть книги в двух словах: супер ИИ, удовлетворяя потребности двух нижних ступеней пирамиды Маслоу, почти непременно уничтожит человечество. Типа в борьбе за ресурсы и как потенциальную угрозу безопасности. Приведены нелепые доказательства основанные на художественной литературы и не менее художественных фильмов. Стыдно должно быть, товарищ автор!

Ответить

Комментарий удален

0

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Компания отказалась от email
в пользу общения при помощи мемов
Подписаться на push-уведомления