Дмитрий Волков, SDVentures: «Искусственный интеллект может представлять угрозу даже без сознания»

Ответ инвестору Николаю Давыдову.

Дмитрий Волков
Дмитрий Волков

В разработках искусственного интеллекта мы движемся быстро, возможно, даже слишком быстро. И это может быть страшнее атомной войны и экологической катастрофы.

Об этом всерьёз говорят не самые последние люди: физик-теоретик Стивен Хокинг, магнаты из Кремниевой долины Элон Маск и Билл Гейтс, философ Ник Бостром. Впрочем, их голоса пока не убедили большинство. Да и среди оптимистов — не менее влиятельные люди. Лидеры самых мощных компаний Марк Цукерберг и Ларри Пейдж, футуролог Рэй Курцвейл, напротив, в искусственном интеллекте видят решение всех проблем человечества. Как определить, призываем мы демона-анигилятора или ангела-хранителя?

Стоя на экспоненциальной кривой

Собственно, риск не в искусственном интеллекте, а в сверхразуме, который может появиться в результате технического прогресса, и, в частности, развития искусственного интеллекта. Это произойдет быстрее, чем мы ожидаем, так как темпы прогресса ускоряются в геометрической прогрессии.

Несколько миллионов лет назад наши предки прыгали с ветки на ветку в африканских лесах. 200 тысяч лет назад сформировался вид хомо сапиенс. Способность к абстрактному мышлению (в первую очередь в связи с появлением языка) дала этому виду принципиальное преимущество в выживании.

Примерно 5 тысяч лет назад в результате неолитической революции (переход от собирательства к земледелию) население и его плотность увеличились на порядки. 200 лет назад произошла индустриальная революция, после чего радикально изменился облик планеты.

Чуть больше 50 лет назад появилась машина, способная совершать любые математические и логические операции — компьютер. Вот с тех пор всё и понеслось. Если смотреть назад на историю технического прогресса, то это бесконечная долина, а впереди — отвесная вертикаль.

Мы стоим на экспоненциальной кривой. Следующий рывок может быть связан с искусственным интеллектом.

Отцы и дети

Некоторые преимущества машин над их создателями были очевидны сразу: у машин потенциально больше память и скорость вычислений. Алан Тьюринг продемонстрировал, что машина может разгадать шифр, который не сможет разгадать ни один человек (или даже какое угодно число людей).

Затем стало понятно, что и в других интеллектуальных соревнованиях машина оказывается победителем (шашки — в 1956 году, шахматы в — 1997 году, игра го — в 2014 году). Ещё несколько десятилетий назад победа в этих играх казалась признаком абсолютного интеллектуального превосходства.

Однако, как верно заметил Джон Маккарти (автор термина «искусственный интеллект»), стоит системе нормально начать работать, как её сразу перестают называть интеллектуальной. Искусственный интеллект применяется для решения задач в сотнях областей (пару дней назад мой хороший друг и эксперт в этой области Давид Ян опубликовал список из сотен реализаций).

Остается непокорённая вершина — тест Тьюринга, то есть разработка универсального рационального речевого поведения. После её покорения уже никто не решится отрицать интеллектуальные способности машины. И эксперты считают, что эта вершина скоро будет взята — универсальный машинный интеллект будет создан к середине 21 века, то есть всего через 30 лет. «Дети» станут явно умнее своих родителей, и наступит Армагеддон.

Сверхразум как Армагеддон

Сверхразум — это любой интеллект, значительно превосходящий когнитивные возможности человека во всех ключевых областях. Сверхразум станет следствием разработки машинного интеллекта, способного самосовершенствоваться со скоростью, превышающей скорость совершенствования человеческого разума.

Подобные системы машинного интеллекта в узких областях уже созданы, и сейчас создаются универсальные системы подобного рода. Как я уже сказал, эти попытки предпринимаются самыми мощными и интеллектуальными компаниями в мире. Но почему это предвещает Армагеддон?

Скептики считают, что, какие бы цели ни были поставлены программистами сверхразума, в итоге его подзадачей станет захват всех доступных ресурсов. И человечество — естественное препятствие на пути этой монополии. Оно будет мгновенно аннигилировано. Тезис о неизбежности подобной подзадачи называется тезисом инструментальной конвергенции.

Оптимисты — те, кто верит в светлое будущее вместе с искусственным интеллектом, — считают, что захват всех ресурсов не станет неизбежной задачей сверхразума. Этот тезис об ортогональности. Он означает, что сверхразум может иметь любые конечные и инструментальные цели, то есть цели и уровень интеллекта ортогональны. Тогда сверхразум для человечества — это бесконечно могущественный союзник (с нашими общими целями), и, соответственно, бесконечное благоденствие.

Армагеддон в эсхатологии — это место последней битвы сил добра и зла. В этом смысле сверхразум и станет Армагеддоном. Чтобы понять, будет ли победа за «демоном» или «ангелом», нужно выяснить, какой из тезисов окажется верен: тезис об инструментальной конвергенции или тезис об ортогональности.

Но искусственно создать сознание невозможно — даже случайно

Сегодня мой хороший знакомый и партнер по венчурным инвестициям Николай Давыдов высказал такое возражение: мы до сих пор не знаем, как работает мозг, и как в нём появляется сознание. Искусственно создать сознание невозможно. Тогда какую угрозу может представлять для нас искусственный интеллект?

Мне кажется, это любопытное наблюдение, однако оно не снимает потенциальные риски, о которых я говорил. Так как для того, чтобы создать что-то функционально похожее, но более совершенное, нет необходимости использовать «старые» инженерные решения.

Человек летает гораздо выше, быстрее и дальше, чем птицы. Но не потому, что быстрее машет крыльями. Чтобы создать «летающую машину», не было необходимости воссоздавать в точности органические крылья и дублировать механизмы полета орла или комара. Эти знания попросту избыточны.

Природа — слепой конструктор, действует методом проб и ошибок, и создаёт далеко не самые оптимальные структуры. Думаю, так обстоит дело и с интеллектом.

Конечно, можно предполагать, что сознание необходимо для эффективных размышлений, но пока нет свидетельств тому, что оно не излишне. Можно не обладать сознанием и прекрасно играть в шахматы, водить машину. Да что говорить, даже люди обрабатывают самые сложные и быстрые процессы бессознательно. Так, что вполне возможно, что сознание — это атавизм, побочный продукт или совсем не оптимальная часть интеллекта.

13
29 комментариев

На тему "самосознание не является необходимым качеством разумности" рекомендую роман Питера Уоттса "Ложная слепота", там действительно такой пример сконструирован (и с пугающей убедительностью!).

3
Ответить

Я бы сказал "не самые последние популисты".Интелект не сухая математика,а еще к примеру и творчество,не представляю как это в формулы уложат,рандомом?Если грубо по фрейду то ему и незачем этим заниматься,останется пожалеть существо с отсутствием желания бессмертия через продолжение рода,желания выживать,любое его стремление задается из вне(по сути такой же калькулятор).О эмоциях,"ярости альтрона" вообще и речи не может быть у него даже гормонов нет,сдались ему ресурсы.
Тут мало программистов,надо еще и экспертом в нейробиологии быть,последнии пока говорят что и мозг смоделировать пока не представляется возможным.

1
Ответить

Мой аргумент в конце статьи был как раз о том, что не совсем обязательно моделировать мозг, чтобы сделать что-то, что умнее человека. Не обязательно моделировать крыло и перья, чтобы летать. Если бы для того, чтобы быстро передвигаться мы пытались воспроизвести механизмы движения животных, мы бы все еще не смогли ходили пешком от Москвы до Петербурга.

1
Ответить

А почему тест Тюринга считается таким абсолютным водоразделом? Ведь это тоже по сути мнение людей, а не закон. Нет доказательства того, что прохождение текста Тюринга является признаком создания настоящего искусственного интеллекта.

1
Ответить

Тест Тьюринга считается водоразделом, так как пока программы его не прошли. И представляется, что для прохождения теста нужна универсальная рациональность. То есть рациональность в самой широкой области. Пройти тест просто симулируя понимание просто не получится

Ответить

Потому что после его прохождения AI сможет обманывать человека, маскироваться и, соответственно, выйдет из под его контроля. Грубо говоря, мы не будем знать, какие действия совершил AI, какие - люди, будем не в состоянии оценить степень его развития и опасности и не сможем вовремя отключить "рубильник".

Ответить

Эх, сколько мы уже видели попыток напугать тем, что "ууу, компьютер уже обыгрывает всех в го, скоро он захватит мир". Все такие эксперты, к сожалению, не понимают разницу между алгоритмом и сознанием. И не удосужились погрузиться хоть немного в тему и понять, что учёные уже не одно десятилетие пытаются подступиться к пониманию сознания, и пока там полный абсолютный круглый ноль. Но через 30 лет, конечно, точно будет армагеддон. Если же автор имеет ввиду, что мир захватит алгоритм (без сознания), то этот алгоритм сначала должен быть создан человеком. То есть проблема, как обычно, в нас самих и не в страшном искусстыенном интеллекте

1
Ответить