Дмитрий Волков, SDVentures: «Искусственный интеллект может представлять угрозу даже без сознания»

Ответ инвестору Николаю Давыдову.

В разработках искусственного интеллекта мы движемся быстро, возможно, даже слишком быстро. И это может быть страшнее атомной войны и экологической катастрофы.

Об этом всерьёз говорят не самые последние люди: физик-теоретик Стивен Хокинг, магнаты из Кремниевой долины Элон Маск и Билл Гейтс, философ Ник Бостром. Впрочем, их голоса пока не убедили большинство. Да и среди оптимистов — не менее влиятельные люди. Лидеры самых мощных компаний Марк Цукерберг и Ларри Пейдж, футуролог Рэй Курцвейл, напротив, в искусственном интеллекте видят решение всех проблем человечества. Как определить, призываем мы демона-анигилятора или ангела-хранителя?

Собственно, риск не в искусственном интеллекте, а в сверхразуме, который может появиться в результате технического прогресса, и, в частности, развития искусственного интеллекта. Это произойдет быстрее, чем мы ожидаем, так как темпы прогресса ускоряются в геометрической прогрессии.

Несколько миллионов лет назад наши предки прыгали с ветки на ветку в африканских лесах. 200 тысяч лет назад сформировался вид хомо сапиенс. Способность к абстрактному мышлению (в первую очередь в связи с появлением языка) дала этому виду принципиальное преимущество в выживании.

Примерно 5 тысяч лет назад в результате неолитической революции (переход от собирательства к земледелию) население и его плотность увеличились на порядки. 200 лет назад произошла индустриальная революция, после чего радикально изменился облик планеты.

Чуть больше 50 лет назад появилась машина, способная совершать любые математические и логические операции — компьютер. Вот с тех пор всё и понеслось. Если смотреть назад на историю технического прогресса, то это бесконечная долина, а впереди — отвесная вертикаль.

Мы стоим на экспоненциальной кривой. Следующий рывок может быть связан с искусственным интеллектом.

Некоторые преимущества машин над их создателями были очевидны сразу: у машин потенциально больше память и скорость вычислений. Алан Тьюринг продемонстрировал, что машина может разгадать шифр, который не сможет разгадать ни один человек (или даже какое угодно число людей).

Затем стало понятно, что и в других интеллектуальных соревнованиях машина оказывается победителем (шашки — в 1956 году, шахматы в — 1997 году, игра го — в 2014 году). Ещё несколько десятилетий назад победа в этих играх казалась признаком абсолютного интеллектуального превосходства.

Однако, как верно заметил Джон Маккарти (автор термина «искусственный интеллект»), стоит системе нормально начать работать, как её сразу перестают называть интеллектуальной. Искусственный интеллект применяется для решения задач в сотнях областей (пару дней назад мой хороший друг и эксперт в этой области Давид Ян опубликовал список из сотен реализаций).

Остается непокорённая вершина — тест Тьюринга, то есть разработка универсального рационального речевого поведения. После её покорения уже никто не решится отрицать интеллектуальные способности машины. И эксперты считают, что эта вершина скоро будет взята — универсальный машинный интеллект будет создан к середине 21 века, то есть всего через 30 лет. «Дети» станут явно умнее своих родителей, и наступит Армагеддон.

Сверхразум — это любой интеллект, значительно превосходящий когнитивные возможности человека во всех ключевых областях. Сверхразум станет следствием разработки машинного интеллекта, способного самосовершенствоваться со скоростью, превышающей скорость совершенствования человеческого разума.

Подобные системы машинного интеллекта в узких областях уже созданы, и сейчас создаются универсальные системы подобного рода. Как я уже сказал, эти попытки предпринимаются самыми мощными и интеллектуальными компаниями в мире. Но почему это предвещает Армагеддон?

Скептики считают, что, какие бы цели ни были поставлены программистами сверхразума, в итоге его подзадачей станет захват всех доступных ресурсов. И человечество — естественное препятствие на пути этой монополии. Оно будет мгновенно аннигилировано. Тезис о неизбежности подобной подзадачи называется тезисом инструментальной конвергенции.

Оптимисты — те, кто верит в светлое будущее вместе с искусственным интеллектом, — считают, что захват всех ресурсов не станет неизбежной задачей сверхразума. Этот тезис об ортогональности. Он означает, что сверхразум может иметь любые конечные и инструментальные цели, то есть цели и уровень интеллекта ортогональны. Тогда сверхразум для человечества — это бесконечно могущественный союзник (с нашими общими целями), и, соответственно, бесконечное благоденствие.

Армагеддон в эсхатологии — это место последней битвы сил добра и зла. В этом смысле сверхразум и станет Армагеддоном. Чтобы понять, будет ли победа за «демоном» или «ангелом», нужно выяснить, какой из тезисов окажется верен: тезис об инструментальной конвергенции или тезис об ортогональности.

Сегодня мой хороший знакомый и партнер по венчурным инвестициям Николай Давыдов высказал такое возражение: мы до сих пор не знаем, как работает мозг, и как в нём появляется сознание. Искусственно создать сознание невозможно. Тогда какую угрозу может представлять для нас искусственный интеллект?

Мне кажется, это любопытное наблюдение, однако оно не снимает потенциальные риски, о которых я говорил. Так как для того, чтобы создать что-то функционально похожее, но более совершенное, нет необходимости использовать «старые» инженерные решения.

Человек летает гораздо выше, быстрее и дальше, чем птицы. Но не потому, что быстрее машет крыльями. Чтобы создать «летающую машину», не было необходимости воссоздавать в точности органические крылья и дублировать механизмы полета орла или комара. Эти знания попросту избыточны.

Природа — слепой конструктор, действует методом проб и ошибок, и создаёт далеко не самые оптимальные структуры. Думаю, так обстоит дело и с интеллектом.

Конечно, можно предполагать, что сознание необходимо для эффективных размышлений, но пока нет свидетельств тому, что оно не излишне. Можно не обладать сознанием и прекрасно играть в шахматы, водить машину. Да что говорить, даже люди обрабатывают самые сложные и быстрые процессы бессознательно. Так, что вполне возможно, что сознание — это атавизм, побочный продукт или совсем не оптимальная часть интеллекта.

#Будущее