«Сверхразуму трудно общаться с людьми — те просто не успевают за ним»

Основные идеи из книги Ника Бострома «Искусственный интеллект. Этапы. Угрозы. Стратегии».

Выжимка от команды сервиса Smart Reading.

Машины уже превзошли человека во многих областях, однако общий уровень интеллектуального развития человека несравненно выше. Но недалек тот день, когда машины станут сверхразумными.

Программа Fritz играет в шахматы значительно сильнее ведущих гроссмейстеров, при этом ее нельзя назвать сверхразумной, поскольку она превосходит человека лишь в одной узкой области.

Ник Бостром полагает, что сверхразум — это интеллект, который многократно превосходит самых выдающихся людей в умственном развитии, научно-технической деятельности, житейской мудрости и развитии социальных навыков.

В книге представлена разнообразная информация об истории искусственного интеллекта и современном положении дел. Автор размышляет о том, будет ли сверхразум полезным или разрушительным, дружелюбным или враждебным.

Читать эту книгу очень непросто: научная лексика, примеры из физики, математики, экономики и нанотехнологий наряду с многочисленными таблицами и диаграммами не дают читателю расслабиться ни на минуту. Сам автор признается, что пытался сделать книгу более простой для восприятия, но ему это не удалось. Он также предупреждает, что далеко не вся информация достоверна и имеет научное подтверждение. В то же время, книга представляет интерес для тех, кому небезразлично будущее человечества и кто интересуется современными технологиями.

После появления первых компьютеров в 1940-х годах ученые заговорили о скором возникновении сверхразума. Прогнозы не оправдались, однако современные футурологи, так же как их предшественники, верят, что сверхразумные машины будут созданы в недалеком будущем.

1642–1940-е — нулевое поколение — простейшие механические вычислительные машины.

1940–1955 — первое поколение — компьютеры на электронных лампах.

1955–1965 — второе поколение — компьютеры на транзисторах.

1965–1980 — третье поколение — компьютеры на интегральных схемах.

1980–… — четвертое поколение — компьютеры на огромных интегральных схемах.

Пятое поколение, ориентированное на распределенные вычисления, так и не было создано; оно должно было стать базой для устройств, способных к имитации мышления.

Летом 1956 года группа ученых приехала на первый симпозиум по искусственному интеллекту в Дартмутский колледж в США. Именно это событие стало отправной точкой исследований в области искусственного интеллекта, a многие участники того симпозиума приобрели всемирную известность. Сначала они создавали лишь небольшие системы, каждая из которых в лабораторных условиях могла делать что-то, прежде недоступное машинному интеллекту.

Одна из ранних систем, «Логический теоретик», преуспела в доказательстве теорем, причем одно из доказательств было более элегантным, чем в оригинальном варианте.

В середине 1970-х мода на искусственный интеллект прошла. Спонсоры отказывались от финансирования проектов по созданию искусственного интеллекта, поскольку считали это направление бесперспективным.

Новым золотым веком искусственного интеллекта можно считать начало 1980-х годов, когда Япония запустила крупный проект по созданию компьютеров пятого поколения. Проект финансировался государством совместно с коммерческими структурами, и его целью было создание машины с высокой производительностью, которая мыслит как человек и может работать с большими базами данных. Многие страны последовали примеру Японии и возобновили работу над созданием искусственного интеллекта. Разработчики пытались создать так называемые экспертные системы — программы, обрабатывающие значительные базы данных, призванные частично заменить человека в различных областях деятельности. Были созданы сотни подобных систем, коды для которых вручную писали тысячи программистов. Однако через несколько лет стало очевидно, что разрабатывать, контролировать и обновлять экспертные системы сложно и дорого. Таким образом, проект по созданию компьютеров пятого поколения прекратил свое существование к концу 1980-х.

С 1990-х начали развиваться методы нейронных систем и генетических алгоритмов, основанные на моделировании человеческого мозга.

К настоящему времени машинный интеллект уже опередил человека во многих видах деятельности. Ранее люди наивно полагали, что для того, чтобы стать сильным шахматистом, необходимо иметь развитое абстрактное мышление, быть сильным стратегом, уметь создавать хитроумные гибкие планы и пытаться «прочитать» мысли соперника. Оказалось, что самого сильного шахматиста может победить программа со специальным алгоритмом, соединенная с мощным процессором. Однако такой искусственный интеллект ограничен лишь игрой в шахматы.

Сегодня эти достижения уже никого не удивляют. Как заметил Джон Маккартни (американский ученый, который впервые употребил термин «искусственный интеллект».): «Как только искусственный интеллект начинает функционировать, люди перестают считать его искусственным интеллектом».

Искусственный интеллект уже показал себя во многих сферах деятельности: с его помощью слуховые аппараты фильтруют посторонний шум, а навигаторы помогают найти наиболее удобный и короткий путь, интернет-магазины анализируют предпочтения покупателей, исходя из предыдущих покупок, а медицинские программы помогают поставить диагноз и назначать лечение.

Современные системы распознавания речи позволяют виртуальным ассистентам отвечать на простые вопросы и выполнять незамысловатые просьбы. Оптическое распознавание печатного и рукописного текста помогает сортировать электронную почту и оцифровывать старые документы. Распознавание лиц широко используется на пропускных пунктах государственных границ разных стран.

Компьютерный перевод все еще далек от совершенства, однако его вполне можно использовать для определенных нужд. Новые программы-переводчики основаны на статистических самообучающихся системах, которые автоматически анализируют языковые конструкции. Программисты, работающие над этими системами, даже не владеют языками, с которыми работают.

Интеллектуальная диспетчеризация — еще одна область, в которой искусственный интеллект успешно используется на протяжении нескольких десятилетий.

В 1991 году во время операции «Буря в пустыне» программа по автоматическому планированию и оперативному управлению агентства передовых оборонных исследовательских проектов США сэкономила министерству обороны сумму, равную тридцатилетним инвестициям в разработку искусственного интеллекта.

Робототехника — еще одно направление, где используется искусственный интеллект. Сегодня нашу планету населяют более 10 миллионов роботов: домашние животные, уборщики, спасатели, хирурги и промышленные роботы.

В последние годы интерес к искусственному интеллекту значительно возрос, что, вероятно, даст толчок к работе над мощным оборудованием, программным обеспечением нового поколения и разработками в смежных отраслях, таких как нейроинформатика.

Одним из показателей интереса к машинному разуму можно считать тот факт, что на бесплатный онлайн-курс по искусственному интеллекту, проводимый Себастьяном Труном и Питером Норвигом из Стэнфордского университета в 2011 году, записались 160 тысяч слушателей со всего мира, и 23 тысячи из них получили сертификаты о его окончании.

Ученые выделяют несколько возможных способов создания сверхразума:

Совершенствование искусственного интеллекта. Уже сегодня стало очевидно, что для достижения сверхразумного состояния система должна быть самообучающейся и способной к постоянному самообновлению и улучшению: ранняя версия создаст свою улучшенную версию, которая затем будет непрерывно обновляться и совершенствоваться.

Полномасштабное имитационное моделирование головного мозга человека. Посредством сканирования и последующего моделирования структуры человеческого мозга может быть создана мощная интеллектуальная программа, что потребует последовательного выполнения следующих шагов:

О положительном результате моделирования можно будет говорить, если удастся воспроизвести интеллект, память и личностные особенности мышления «владельца» моделируемого мозга. Созданная модель мозга может существовать либо в виртуальной реальности, либо быть реализованной в настоящей реальности в качестве отдельного «органа» для робота.

Усиление человеческого мозга. Третий способ превзойти интеллект современного человека заключается в усовершенствовании человеческого мозга посредством генетической селекции. Однако это слишком долгий путь — смена поколений происходит каждые 20–30 лет, то есть о результатах можно будет судить лишь в следующем веке. Этот процесс можно искусственно ускорить, применив метод итеративной эмбриональной селекции, который включает четыре этапа:

Таким образом, можно завершить процесс генетической селекции, который в естественных условиях продлился бы не один век, за несколько лет.

Разработка человеко-машинных интерфейсов. Если человеческий мозг объединить с компьютером посредством вживления импланта, он может стать сверхразумом.

Подобные интерфейсы уже создаются в медицинских целях: в мозг пациентов, страдающих болезнью Паркинсона, имплантируют прибор, который стимулирует определенный участок мозга с помощью электрического тока.

Несмотря на то, что импланты способны оптимизировать мыслительный процесс, обеспечить быстрое и точное решение сложных задач и высокоскоростную передачу информации, маловероятно, что подобные интерфейсы будут широко использоваться в будущем. Основным препятствием являются возможные осложнения: инфекции, смещения электродов, кровотечения и снижение когнитивных способностей.

Создание коллективного разума. Еще одна возможность создания сверхразума заключается в постепенном усилении организаций и информационных сетей. Однако более вероятно, что этот путь, подобно генетической селекции, приведет лишь к некоторому улучшению человеческих способностей, но не сделает людей сверхразумными в сравнении с нашими современниками.

Ник Бостром уверен, что существование нескольких возможностей создания сверхразума увеличивает вероятность его возникновения. При этом наиболее вероятно, что сверхразум станет продуктом развития искусственного интеллекта.

Даже незначительные отличия в объеме мозга и количестве нейронных связей могут давать серьезные преимущества. Лучшей иллюстрацией этого утверждения являются интеллектуальные и технологические достижения человека по сравнению с обезьяной.

Машины уже сейчас многократно превосходят человека по ряду параметров:

Частота. Скорость вычислений у человеческого мозга определяется частотой, которая у человека на 7 порядков ниже, чем у микропроцессора: 200 Гц против 2 ГГц.

Скорость внутренней связи. Скорость аксонов головного мозга составляет не более 120 м/с, в то время как ядра процессора могут передавать информацию со скоростью света — 300,000,000 м/c.

Количество вычислительных элементов. В человеческом мозге около 100 миллиардов нейронов. Это количество обусловлено размерами черепной коробки и обменными процессами. Машина может быть огромной, например, размером с дом, кроме того, она может использовать дополнительные мощности посредством высокоскоростных кабелей.

Объем памяти. Человеческая память не удерживает более 4–5 порций информации, к тому же долговременная память может давать сбои. Возможности компьютерной памяти несравненно выше.

Другие преимущества оборудования:

Цифровой мозг имеет ряд плюсов по сравнению с биологическим:

Переход на уровень сверхразума может осуществляться по одному из трех сценариев:

Скорость развития интеллектуальных способностей системы — это монотонно возрастающая функция двух переменных: силы оптимизации и реакции системы на эту оптимизацию:

Скорость изменения интеллекта = сила оптимизации ÷ сопротивляемость.

Техника и некоторые животные превосходят человека во многих узких областях.

Превосходство программ будет расширяться и усиливаться, однако мы сможем говорить о появлении сверхразума, только если этот интеллект будет значительно превосходить человека в большинстве областей познавательной деятельности. Будущий сверхразум, вероятно, будет иметь одну из трех форм:

Скоростной сверхразум — система, которая умеет делать то же, что и человек, но намного быстрее.

Самый простой пример скоростного сверхразума — полномасштабная имитационная модель головного мозга, управляемая посредством мощного оборудования. Модель действует со скоростью, в десять тысяч раз превышающей скорость человеческого мозга. Она может прочитать книгу за несколько секунд, написать докторскую диссертацию за четыре часа и сделать все то, что человек делает в течение жизни, за пару дней.

Скоростному сверхразуму трудно общаться с людьми — те просто не успевают за ним. Если общение необходимо, на помощь придет наномасштабный манипулятор — микроробот, который выполняет тонкую работу.

Коллективный сверхразум — система, достигающая высоких результатов за счет объединения различных электронных умов. Коллективный сверхразум эффективен в решении задач, которые можно разбить на части.

Задачи наподобие создания космического корабля или организации сети ресторанов быстрого питания дают массу возможностей для разделения труда: каждый разработчик отвечает за определенные компоненты шаттла, а в разных ресторанах трудятся разные повара, официанты и уборщики.

Качественный сверхразум — это система, более умная и не менее быстрая, чем человеческий мозг. Пока трудно представить, как выглядит качественный сверхразум, поскольку человеку еще не приходилось сталкиваться с системами, которые превосходят его по интеллекту.

Очевидно, что качественный сверхразум будет интеллектуально превосходить человека в большей мере, чем человек превосходит слонов, дельфинов и шимпанзе.

Сверхразум, существующий в одной из этих форм, сможет самостоятельно совершенствовать и создавать различные технологии.

Сейчас непросто представить, как поведет себя сверхразум и чем это закончится. Тем не менее, футурологические исследования позволяют выдвинуть более или менее реалистичные гипотезы относительно будущего искусственного интеллекта.

Сверхразум будет действовать быстрее и эффективнее, чем лучшие умы человечества, благодаря соответствующим суперспособностям:

На первый взгляд, разработчик первого сверхразумa будет иметь решающее стратегическое преимущество перед теми, кто ничего о нем не знает. В то же время сам сверхразум может оказаться настолько могущественным, что уничтожит своих создателей, а вслед за ними — остальной мир.

Захват власти на Земле произойдет в четыре этапа:

Поскольку взрывное развитие искусственного интеллекта может привести к экзистенциальной катастрофе, необходимо искать пути предотвращения трагического поворота событий. Потенциальные методы контроля над искусственным разумом можно разделить на две группы: методы управления функциональными возможностями сверхразума и методы выбора мотивации.

Методы управления функциональными возможностями бывают:

Методы выбора мотивации включают:

Важно помнить, что самые эффективные методы контроля (или комбинации методов) будут совершенно бесполезны после того, как система уже стала сверхразумной и получила решающее стратегическое преимущество.

Ник Бостром выделяет четыре типа искусственного интеллекта: оракулы, джинны, монархи и инструменты. У каждого из них есть плюсы и минусы с точки зрения контроля.

Оракул — это вопросно-ответная система. Она может воспринимать речь и выдавать ответы на вопросы в виде текста. Когда будет создан оракул, способный ответить на любой вопрос из любой области знаний, возможно, появится искусственный интеллект, понимающий не только слова, но и мысли.

Сверхразумные оракулы уже существуют в узких областях знаний: карманный калькулятор способен дать ответ на любой арифметический вопрос, а поисковые системы являются оракулами в области декларативных знаний человека.

Оракула можно контролировать как посредством методов управления функциональными возможностями, так и с помощью методов выбора мотивации. Подобрать мотивацию для оракула проще, чем для любого другого типа сверхразума, поскольку цель оракула сравнительно проста. Он должен выдавать правдивые недвусмысленные ответы, не пытаясь изменить мир. С помощью метода правильных ценностей можно сделать так, чтобы оракул искал ответы исключительно на разрешенных ресурсах.

Можно запрограммировать оракула на поиск ответов в предварительно загруженной базе с использованием определенного количества шагов. В специальных протоколах следует подробно описать, какие вопросы считать правильными, какую последовательность — безопасной и как формулировать и выдавать ответы. При создании оракула стоит научить его распознавать и игнорировать опасные вопросы.

Джинн — это система, выполняющая команды. Джинн получает команду, выполняет ее и ждет следующей. Оптимально было бы создать такого джинна, который исполняет не слова, а намерения человека, дающего задания. Во всех заданиях он должен находить гуманный смысл, иначе велика вероятность того, что джинн может неправильно понять пользователя, нанести ему вред и даже убить его.

Идеальный джинн — это суперлакей, предугадывающий желания хозяина, а не аутичный ученый-гений.

Монарх — это система, имеющая право на любые действия на пути к цели. После активации ее нельзя перенаправить и остановить, и на ней установлена мощная защита от случайного вмешательства.

Может показаться, что джинн безопаснее монарха, потому что его можно остановить и перезапустить в случае ошибки, однако у джинна кнопки «стоп» и «отмена» будут активны лишь в случае обнаружения ошибки самой системой.

Инструмент — это тип искусственного интеллекта, созданный как программное обеспечение, не имеющий собственной воли и желаний и выполняющий только то, на что он запрограммирован.

Инструментальный искусственный интеллект подобен системе управления полетом или виртуальному помощнику, только он более гибкий и умелый.

Может показаться, что разнообразное программное обеспечение, выполняющее всевозможные задачи, снижает потребность в универсальном сверхразуме. Однако использование отдельных программ значительно замедляет любую деятельность, в то время как современная жизнь требует быстрого выполнения разнообразных задач. Следовательно, потребность в многофункциональной самообучающейся программе, способной к самостоятельному планированию и анализу, будет неуклонно расти.

Поскольку возникновение сверхразума неизбежно, важно определить, какой из его типов будет наиболее безопасным для людей. Многое зависит от условий, в которых сверхразум будет применяться. Оракул удобен с точки зрения контроля, однако он может стать опасным оружием в руках глупого или коррумпированного оператора. Монарх защищен от злоумышленников, но его можно контролировать только при помощи методов выбора мотивации. Джинны представляются компромиссным вариантом, но они становятся опасными, если задание неоднозначно сформулировано. Инструмент кажется безопасным до тех пор, пока система не начнет становиться универсальной. Универсальность потребует включения процессов внутреннего поиска и планирования, что может привести к выходу искусственного интеллекта из-под контроля.

История создания искусственного интеллекта началась в 1956 году, и сейчас мы неуклонно движемся к появлению сверхразума — интеллекта, значительно превосходящего человеческий мозг в познавательной и научной деятельности, житейской мудрости и коммуникативных навыках. Искусственный интеллект уже обогнал человека в интеллектуальных играх, арифметике и навигации. Он стал незаменимым помощником в логистике, производстве и диагностике, а также в распознавании текста и лиц.

Существуют разные предположения относительно формы, в которой будет существовать сверхразум: это может быть искусственный интеллект, полномасштабное имитационное моделирование головного мозга, усовершенствованный человеческий мозг, человеко-машинные интерфейсы и коллективный разум. Однако наиболее вероятным представляется создание сверхразума на основе искусственного интеллекта, который имеет множество преимуществ перед человеческим мозгом: он быстрее, мощнее, имеет большую память, его легко усовершенствовать и воссоздать, он не знает усталости и может быстро передавать и аккумулировать информацию.

Сверхразум может появиться как завтра, так и через несколько десятилетий, и никто не знает, насколько дружелюбным он будет. Он сможет усиливать свой интеллект, разрабатывать хитроумные стратегии, манипулировать людьми, взламывать компьютерные системы, проводить технологические исследования и организовывать эффективную деятельность.

Если сверхразум решит захватить мир, это произойдет в несколько этапов:

Чтобы предотвратить трагический финал, следует заранее, еще до появления сверхразума, применять методы управления функциональными возможностями и методы выбора мотивации. Контроль каждого из четырех типов искусственного интеллекта (оракулы, джинны, монархи и инструменты) должен осуществляться с учетом поставленных целей и условий применения.

#библиотека #будущее